Benchmarks
CUTEst benchmark
With JSO-compliant solvers, we can run the solver on a set of problems, explore the results, and compare to other JSO-compliant solvers using specialized benchmark tools. We are following here the tutorial in SolverBenchmark.jl to run benchmarks on JSO-compliant solvers.
using CUTEst Downloading artifact: sifcollectionTo test the implementation on bound-constrained problems, we use the package CUTEst.jl, which implements CUTEstModel an instance of AbstractNLPModel.
using SolverBenchmarkLet us select bound-constrained problems from CUTEst with a maximum of 300 variables.
nmax = 300
pnames_unconstrained = CUTEst.select_sif_problems(
max_con = 0,
only_free_var = true, # unconstrained
max_var = nmax,
objtype = 3:6,
)
pnames = CUTEst.select_sif_problems(
max_con = 0,
max_var = nmax,
objtype = 3:6,
)
pnames = setdiff(pnames, pnames_unconstrained)
cutest_problems = (CUTEstModel(p) for p in pnames)
length(cutest_problems) # number of problems102We compare here TRON from JSOSolvers.jl with Ipopt (Wächter, A., & Biegler, L. T. (2006). On the implementation of an interior-point filter line-search algorithm for large-scale nonlinear programming. Mathematical programming, 106(1), 25-57.), via the NLPModelsIpopt.jl thin wrapper, on a subset of CUTEst problems.
using JSOSolvers, NLPModelsIpoptTo make stopping conditions comparable, we set Ipopt's parameters dual_inf_tol=Inf, constr_viol_tol=Inf and compl_inf_tol=Inf to disable additional stopping conditions related to those tolerances, acceptable_iter=0 to disable the search for an acceptable point.
#Same time limit for all the solvers
max_time = 1200. #20 minutes
tol = 1e-5
solvers = Dict(
:ipopt => nlp -> ipopt(
nlp,
print_level = 0,
dual_inf_tol = Inf,
constr_viol_tol = Inf,
compl_inf_tol = Inf,
acceptable_iter = 0,
max_cpu_time = max_time,
x0 = nlp.meta.x0,
tol = tol,
),
:tron => nlp -> tron(
nlp,
max_time = max_time,
max_iter = typemax(Int64),
max_eval = typemax(Int64),
atol = tol,
rtol = tol,
),
)
stats = bmark_solvers(solvers, cutest_problems)Dict{Symbol, DataFrames.DataFrame} with 2 entries:
:tron => 102×40 DataFrame…
:ipopt => 102×41 DataFrame…The function bmark_solvers return a Dict of DataFrames with detailed information on the execution. This output can be saved in a data file.
using JLD2
@save "ipopt_dcildl_$(string(length(pnames))).jld2" statsThe result of the benchmark can be explored via tables,
pretty_stats(stats[:tron])┌─────────────┬────────┬────────────┬────────┬────────┬────────┬─────────────┬───────────┬──────────────┬────────┬───────────┬─────────────┬───────────┬────────────┬────────────┬────────────────┬────────────────┬────────────┬─────────────┬───────────┬───────────────┬───────────────┬─────────────┬─────────────────┬─────────────────┬──────────────┬──────────────────┬──────────────────┬────────────┬─────────────┬─────────────┬──────────────┬────────────────┬────────────────────┬──────────────────────┬───────────────────────┬─────────────────────┬──────────────────────┬──────────────────────┬───────────┐
│ solver_name │ id │ name │ nvar │ ncon │ nequ │ status │ objective │ elapsed_time │ iter │ dual_feas │ primal_feas │ neval_obj │ neval_grad │ neval_cons │ neval_cons_lin │ neval_cons_nln │ neval_jcon │ neval_jgrad │ neval_jac │ neval_jac_lin │ neval_jac_nln │ neval_jprod │ neval_jprod_lin │ neval_jprod_nln │ neval_jtprod │ neval_jtprod_lin │ neval_jtprod_nln │ neval_hess │ neval_hprod │ neval_jhess │ neval_jhprod │ neval_residual │ neval_jac_residual │ neval_jprod_residual │ neval_jtprod_residual │ neval_hess_residual │ neval_jhess_residual │ neval_hprod_residual │ extrainfo │
├─────────────┼────────┼────────────┼────────┼────────┼────────┼─────────────┼───────────┼──────────────┼────────┼───────────┼─────────────┼───────────┼────────────┼────────────┼────────────────┼────────────────┼────────────┼─────────────┼───────────┼───────────────┼───────────────┼─────────────┼─────────────────┼─────────────────┼──────────────┼──────────────────┼──────────────────┼────────────┼─────────────┼─────────────┼──────────────┼────────────────┼────────────────────┼──────────────────────┼───────────────────────┼─────────────────────┼──────────────────────┼──────────────────────┼───────────┤
│ tron │ 1 │ 3PK │ 30 │ 0 │ 0 │ first_order │ 1.72e+00 │ 9.29e-04 │ 16 │ 1.42e-04 │ 0.00e+00 │ 17 │ 17 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 437 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 2 │ AIRCRFTB │ 8 │ 0 │ 0 │ first_order │ 4.57e-10 │ 1.64e-03 │ 28 │ 7.75e-05 │ 0.00e+00 │ 29 │ 17 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1445 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 3 │ ALLINIT │ 4 │ 0 │ 0 │ first_order │ 1.67e+01 │ 1.18e-03 │ 17 │ 1.65e-06 │ 0.00e+00 │ 18 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 867 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 4 │ BIGGS3 │ 6 │ 0 │ 0 │ first_order │ 3.04e-16 │ 2.09e-04 │ 10 │ 7.99e-09 │ 0.00e+00 │ 11 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 71 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 5 │ BIGGS5 │ 6 │ 0 │ 0 │ first_order │ 4.85e-10 │ 3.83e-04 │ 16 │ 1.70e-06 │ 0.00e+00 │ 17 │ 16 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 147 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 6 │ BLEACHNG │ 17 │ 0 │ 0 │ max_time │ 1.82e+04 │ 1.20e+03 │ 342 │ 1.04e+01 │ 0.00e+00 │ 343 │ 634 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1401 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 7 │ BOX2 │ 3 │ 0 │ 0 │ first_order │ 2.86e-07 │ 6.01e-05 │ 5 │ 4.96e-05 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 25 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 8 │ BQP1VAR │ 1 │ 0 │ 0 │ first_order │ 0.00e+00 │ 1.60e-05 │ 1 │ 0.00e+00 │ 0.00e+00 │ 2 │ 2 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 2 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 9 │ BQPGABIM │ 50 │ 0 │ 0 │ first_order │ -3.79e-05 │ 2.53e-04 │ 3 │ 1.84e-06 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 45 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 10 │ BQPGASIM │ 50 │ 0 │ 0 │ first_order │ -5.52e-05 │ 2.44e-04 │ 3 │ 8.44e-06 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 47 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 11 │ BRANIN │ 2 │ 0 │ 0 │ first_order │ 3.98e-01 │ 1.99e-04 │ 11 │ 5.94e-08 │ 0.00e+00 │ 12 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 265 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 12 │ CAMEL6 │ 2 │ 0 │ 0 │ first_order │ -2.15e-01 │ 6.10e-05 │ 7 │ 1.09e-05 │ 0.00e+00 │ 8 │ 7 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 46 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 13 │ CHEBYQAD │ 100 │ 0 │ 0 │ first_order │ 8.72e-03 │ 3.58e+00 │ 79 │ 5.93e-06 │ 0.00e+00 │ 80 │ 61 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 3791 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 14 │ DECONVB │ 63 │ 0 │ 0 │ first_order │ 3.34e-03 │ 3.97e-03 │ 13 │ 6.79e-05 │ 0.00e+00 │ 14 │ 12 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 296 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 15 │ DECONVU │ 63 │ 0 │ 0 │ first_order │ 7.18e-06 │ 7.31e-03 │ 31 │ 1.03e-03 │ 0.00e+00 │ 32 │ 27 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 536 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 16 │ DEVGLA1B │ 4 │ 0 │ 0 │ first_order │ 6.59e-12 │ 8.43e-03 │ 47 │ 1.08e-05 │ 0.00e+00 │ 48 │ 32 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 2067 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 17 │ DEVGLA2B │ 5 │ 0 │ 0 │ first_order │ 1.06e+04 │ 5.00e-04 │ 9 │ 4.28e-07 │ 0.00e+00 │ 10 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 94 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 18 │ DGOSPEC │ 3 │ 0 │ 0 │ first_order │ -9.97e+02 │ 4.60e-05 │ 4 │ 6.49e-08 │ 0.00e+00 │ 5 │ 5 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 30 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 19 │ DIAGIQB │ 10 │ 0 │ 0 │ first_order │ -1.01e+13 │ 1.10e-01 │ 2061 │ 1.29e-15 │ 0.00e+00 │ 2062 │ 2063 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 117149 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 20 │ EG1 │ 3 │ 0 │ 0 │ first_order │ -1.13e+00 │ 5.10e-05 │ 5 │ 6.19e-09 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 32 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 21 │ EGGCRATEB │ 2 │ 0 │ 0 │ first_order │ 9.49e+00 │ 3.29e-04 │ 9 │ 3.30e-05 │ 0.00e+00 │ 10 │ 5 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 436 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 22 │ ELATVIDUB │ 2 │ 0 │ 0 │ first_order │ 5.48e+01 │ 6.41e-05 │ 10 │ 3.91e-05 │ 0.00e+00 │ 11 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 64 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 23 │ EXP2B │ 2 │ 0 │ 0 │ first_order │ 4.31e-12 │ 7.70e-05 │ 6 │ 1.23e-06 │ 0.00e+00 │ 7 │ 7 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 37 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 24 │ FBRAIN2LS │ 4 │ 0 │ 0 │ first_order │ 3.68e-01 │ 7.15e-02 │ 13 │ 1.82e-05 │ 0.00e+00 │ 14 │ 13 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 127 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 25 │ FBRAINLS │ 2 │ 0 │ 0 │ first_order │ 4.17e-01 │ 1.52e-02 │ 6 │ 2.23e-06 │ 0.00e+00 │ 7 │ 7 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 46 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 26 │ HART6 │ 6 │ 0 │ 0 │ first_order │ -3.32e+00 │ 4.66e-04 │ 13 │ 2.59e-06 │ 0.00e+00 │ 14 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 388 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 27 │ HATFLDA │ 4 │ 0 │ 0 │ first_order │ 2.98e-14 │ 2.00e-04 │ 28 │ 1.82e-07 │ 0.00e+00 │ 29 │ 29 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 248 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 28 │ HATFLDB │ 4 │ 0 │ 0 │ first_order │ 5.57e-03 │ 1.68e-04 │ 25 │ 2.57e-08 │ 0.00e+00 │ 26 │ 26 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 221 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 29 │ HATFLDC │ 25 │ 0 │ 0 │ first_order │ 1.14e-11 │ 1.27e-04 │ 5 │ 1.02e-05 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 53 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 30 │ HIMMELP1 │ 2 │ 0 │ 0 │ first_order │ -6.21e+01 │ 1.12e-04 │ 8 │ 2.42e-07 │ 0.00e+00 │ 9 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 139 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 31 │ HOLMES │ 180 │ 0 │ 0 │ first_order │ 1.25e+03 │ 1.44e-01 │ 4 │ 5.28e-04 │ 0.00e+00 │ 5 │ 5 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 104 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 32 │ HS1 │ 2 │ 0 │ 0 │ first_order │ 2.80e-05 │ 1.09e-04 │ 24 │ 5.64e-03 │ 0.00e+00 │ 25 │ 23 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 157 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 33 │ HS110 │ 10 │ 0 │ 0 │ first_order │ -4.58e+01 │ 7.89e-05 │ 4 │ 1.51e-05 │ 0.00e+00 │ 5 │ 5 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 20 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 34 │ HS2 │ 2 │ 0 │ 0 │ first_order │ 4.94e+00 │ 6.51e-05 │ 5 │ 1.14e-02 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 47 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 35 │ HS25 │ 3 │ 0 │ 0 │ first_order │ 3.28e+01 │ 0.00e+00 │ 0 │ 2.00e-08 │ 0.00e+00 │ 1 │ 1 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 36 │ HS3 │ 2 │ 0 │ 0 │ first_order │ 0.00e+00 │ 5.41e-05 │ 3 │ 0.00e+00 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 18 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 37 │ HS38 │ 4 │ 0 │ 0 │ first_order │ 1.09e-11 │ 3.37e-03 │ 78 │ 3.77e-05 │ 0.00e+00 │ 79 │ 51 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 4599 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 38 │ HS3MOD │ 2 │ 0 │ 0 │ first_order │ 0.00e+00 │ 3.98e-05 │ 5 │ 0.00e+00 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 32 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 39 │ HS4 │ 2 │ 0 │ 0 │ first_order │ 2.67e+00 │ 1.72e-05 │ 1 │ 0.00e+00 │ 0.00e+00 │ 2 │ 2 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 2 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 40 │ HS45 │ 5 │ 0 │ 0 │ first_order │ 1.00e+00 │ 3.41e-05 │ 1 │ 0.00e+00 │ 0.00e+00 │ 2 │ 2 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 15 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 41 │ HS5 │ 2 │ 0 │ 0 │ first_order │ -1.91e+00 │ 3.70e-05 │ 4 │ 1.43e-09 │ 0.00e+00 │ 5 │ 5 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 24 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 42 │ JNLBRNG1 │ 16 │ 0 │ 0 │ first_order │ -2.25e-01 │ 5.39e-05 │ 1 │ 3.51e-16 │ 0.00e+00 │ 2 │ 2 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 43 │ JUDGEB │ 2 │ 0 │ 0 │ first_order │ 1.61e+01 │ 1.38e-04 │ 8 │ 8.86e-08 │ 0.00e+00 │ 9 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 54 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 44 │ KOEBHELB │ 3 │ 0 │ 0 │ first_order │ 1.12e+02 │ 2.68e-02 │ 48 │ 1.05e-04 │ 0.00e+00 │ 49 │ 25 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 2186 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 45 │ LEVYMONT │ 100 │ 0 │ 0 │ first_order │ 1.55e+02 │ 4.25e-04 │ 3 │ 1.32e-06 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 29 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 46 │ LEVYMONT10 │ 10 │ 0 │ 0 │ first_order │ 1.64e+02 │ 7.80e-05 │ 3 │ 1.08e-05 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 30 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 47 │ LEVYMONT5 │ 2 │ 0 │ 0 │ first_order │ 1.25e+01 │ 4.60e-05 │ 5 │ 9.39e-05 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 26 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 48 │ LEVYMONT6 │ 3 │ 0 │ 0 │ first_order │ 1.25e+01 │ 1.73e-04 │ 11 │ 8.20e-05 │ 0.00e+00 │ 12 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 168 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 49 │ LEVYMONT7 │ 4 │ 0 │ 0 │ first_order │ 1.25e+01 │ 3.74e-04 │ 11 │ 1.66e-06 │ 0.00e+00 │ 12 │ 7 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 351 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 50 │ LEVYMONT8 │ 5 │ 0 │ 0 │ first_order │ 1.73e+02 │ 5.91e-05 │ 3 │ 1.23e-05 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 31 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 51 │ LEVYMONT9 │ 8 │ 0 │ 0 │ first_order │ 1.66e+02 │ 6.91e-05 │ 3 │ 1.79e-05 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 30 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 52 │ LOGROS │ 2 │ 0 │ 0 │ first_order │ 4.44e-16 │ 2.30e-03 │ 136 │ 8.09e-06 │ 0.00e+00 │ 137 │ 70 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 4023 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 53 │ MAXLIKA │ 8 │ 0 │ 0 │ first_order │ 1.14e+03 │ 2.56e-02 │ 36 │ 3.73e-05 │ 0.00e+00 │ 37 │ 35 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 365 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 54 │ MDHOLE │ 2 │ 0 │ 0 │ first_order │ 0.00e+00 │ 4.81e-03 │ 117 │ 0.00e+00 │ 0.00e+00 │ 118 │ 59 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 7882 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 55 │ MINSURF │ 64 │ 0 │ 0 │ first_order │ 1.00e+00 │ 6.11e-04 │ 8 │ 3.09e-06 │ 0.00e+00 │ 9 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 53 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 56 │ OSLBQP │ 8 │ 0 │ 0 │ first_order │ 6.25e+00 │ 4.01e-05 │ 2 │ 0.00e+00 │ 0.00e+00 │ 3 │ 3 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 57 │ PALMER1 │ 4 │ 0 │ 0 │ first_order │ 1.18e+04 │ 6.39e-03 │ 48 │ 2.88e-02 │ 0.00e+00 │ 49 │ 25 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 2344 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 58 │ PALMER1A │ 6 │ 0 │ 0 │ first_order │ 7.11e-01 │ 2.02e-03 │ 48 │ 6.53e-02 │ 0.00e+00 │ 49 │ 33 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 635 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 59 │ PALMER1B │ 4 │ 0 │ 0 │ first_order │ 3.45e+00 │ 2.16e-03 │ 46 │ 1.40e-02 │ 0.00e+00 │ 47 │ 29 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 787 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 60 │ PALMER1E │ 8 │ 0 │ 0 │ first_order │ 1.22e+01 │ 9.38e-04 │ 22 │ 1.22e+01 │ 0.00e+00 │ 23 │ 19 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 243 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 61 │ PALMER2 │ 4 │ 0 │ 0 │ first_order │ 3.65e+03 │ 2.56e-03 │ 39 │ 4.06e-03 │ 0.00e+00 │ 40 │ 19 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1095 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 62 │ PALMER2A │ 6 │ 0 │ 0 │ first_order │ 1.87e-02 │ 1.47e-03 │ 43 │ 2.62e-02 │ 0.00e+00 │ 44 │ 31 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 617 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 63 │ PALMER2B │ 4 │ 0 │ 0 │ first_order │ 6.23e-01 │ 2.42e-03 │ 40 │ 4.04e-05 │ 0.00e+00 │ 41 │ 23 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1135 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 64 │ PALMER2E │ 8 │ 0 │ 0 │ first_order │ 3.48e+00 │ 2.10e-04 │ 6 │ 3.86e+00 │ 0.00e+00 │ 7 │ 5 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 70 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 65 │ PALMER3 │ 4 │ 0 │ 0 │ small_step │ 2.32e+03 │ 5.50e-03 │ 57 │ 8.94e-02 │ 0.00e+00 │ 58 │ 82 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 2701 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 66 │ PALMER3A │ 6 │ 0 │ 0 │ first_order │ 4.18e-02 │ 1.02e-03 │ 39 │ 4.74e-03 │ 0.00e+00 │ 40 │ 29 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 410 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 67 │ PALMER3B │ 4 │ 0 │ 0 │ first_order │ 4.23e+00 │ 1.91e-03 │ 42 │ 4.01e-03 │ 0.00e+00 │ 43 │ 25 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 904 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 68 │ PALMER3E │ 8 │ 0 │ 0 │ first_order │ 9.69e-01 │ 3.27e-04 │ 10 │ 9.82e-01 │ 0.00e+00 │ 11 │ 7 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 108 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 69 │ PALMER4 │ 4 │ 0 │ 0 │ small_step │ 2.33e+03 │ 5.88e-03 │ 57 │ 7.72e-02 │ 0.00e+00 │ 58 │ 83 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 2803 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 70 │ PALMER4A │ 6 │ 0 │ 0 │ first_order │ 4.21e-02 │ 1.03e-03 │ 45 │ 6.05e-03 │ 0.00e+00 │ 46 │ 31 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 415 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 71 │ PALMER4B │ 4 │ 0 │ 0 │ first_order │ 6.84e+00 │ 1.79e-03 │ 43 │ 1.73e-02 │ 0.00e+00 │ 44 │ 25 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 829 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 72 │ PALMER4E │ 8 │ 0 │ 0 │ first_order │ 3.51e-01 │ 3.22e-04 │ 10 │ 1.15e+00 │ 0.00e+00 │ 11 │ 7 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 112 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 73 │ PALMER5A │ 8 │ 0 │ 0 │ first_order │ 2.80e-01 │ 2.89e-03 │ 61 │ 4.79e-03 │ 0.00e+00 │ 62 │ 37 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1791 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 74 │ PALMER5B │ 9 │ 0 │ 0 │ first_order │ 9.25e-01 │ 2.15e-03 │ 57 │ 3.37e-01 │ 0.00e+00 │ 58 │ 34 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1311 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 75 │ PALMER5E │ 8 │ 0 │ 0 │ first_order │ 1.34e-01 │ 1.23e-03 │ 57 │ 4.37e-03 │ 0.00e+00 │ 58 │ 49 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 744 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 76 │ PALMER6A │ 6 │ 0 │ 0 │ first_order │ 7.82e-02 │ 1.04e-03 │ 46 │ 4.41e-03 │ 0.00e+00 │ 47 │ 34 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 645 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 77 │ PALMER6E │ 8 │ 0 │ 0 │ first_order │ 1.54e-01 │ 2.83e-04 │ 12 │ 1.39e-01 │ 0.00e+00 │ 13 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 152 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 78 │ PALMER7A │ 6 │ 0 │ 0 │ first_order │ 1.28e+01 │ 1.62e-03 │ 98 │ 3.55e-02 │ 0.00e+00 │ 99 │ 84 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1036 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 79 │ PALMER7E │ 8 │ 0 │ 0 │ first_order │ 1.17e+01 │ 4.03e-04 │ 16 │ 2.15e-01 │ 0.00e+00 │ 17 │ 13 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 216 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 80 │ PALMER8A │ 6 │ 0 │ 0 │ first_order │ 8.71e-02 │ 1.00e-03 │ 58 │ 1.44e-02 │ 0.00e+00 │ 59 │ 53 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 685 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 81 │ PALMER8E │ 8 │ 0 │ 0 │ first_order │ 1.92e-01 │ 7.15e-04 │ 26 │ 9.57e-02 │ 0.00e+00 │ 27 │ 18 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 419 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 82 │ PFIT1LS │ 3 │ 0 │ 0 │ first_order │ 1.38e-04 │ 3.57e-03 │ 46 │ 8.59e-04 │ 0.00e+00 │ 47 │ 21 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 3787 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 83 │ PFIT2LS │ 3 │ 0 │ 0 │ first_order │ 7.22e-05 │ 1.54e-03 │ 38 │ 4.26e-04 │ 0.00e+00 │ 39 │ 22 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1577 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 84 │ PFIT3LS │ 3 │ 0 │ 0 │ first_order │ 5.23e-04 │ 1.71e-03 │ 32 │ 2.62e-03 │ 0.00e+00 │ 33 │ 18 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1745 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 85 │ PFIT4LS │ 3 │ 0 │ 0 │ first_order │ 5.96e-03 │ 2.78e-03 │ 58 │ 1.40e-02 │ 0.00e+00 │ 59 │ 31 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 2941 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 86 │ POWERSUMB │ 4 │ 0 │ 0 │ first_order │ 3.74e+01 │ 1.16e-04 │ 6 │ 2.41e-10 │ 0.00e+00 │ 7 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 37 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 87 │ PRICE3B │ 2 │ 0 │ 0 │ first_order │ 4.91e-09 │ 8.92e-05 │ 14 │ 7.43e-04 │ 0.00e+00 │ 15 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 108 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 88 │ PRICE4B │ 2 │ 0 │ 0 │ first_order │ 3.07e-14 │ 3.18e-04 │ 16 │ 1.62e-05 │ 0.00e+00 │ 17 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 464 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 89 │ PSPDOC │ 4 │ 0 │ 0 │ first_order │ 2.41e+00 │ 4.60e-05 │ 4 │ 2.49e-06 │ 0.00e+00 │ 5 │ 5 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 25 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 90 │ QINGB │ 5 │ 0 │ 0 │ first_order │ 4.27e-12 │ 6.17e-04 │ 12 │ 1.75e-05 │ 0.00e+00 │ 13 │ 7 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 746 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 91 │ S368 │ 8 │ 0 │ 0 │ first_order │ -7.50e-01 │ 3.61e-04 │ 7 │ 4.08e-07 │ 0.00e+00 │ 8 │ 7 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 49 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 92 │ SANTALS │ 21 │ 0 │ 0 │ first_order │ 1.23e-05 │ 2.48e-03 │ 33 │ 2.43e-05 │ 0.00e+00 │ 34 │ 33 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 571 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 93 │ SIM2BQP │ 2 │ 0 │ 0 │ first_order │ 0.00e+00 │ 1.60e-05 │ 1 │ 0.00e+00 │ 0.00e+00 │ 2 │ 2 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 2 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 94 │ SIMBQP │ 2 │ 0 │ 0 │ first_order │ 0.00e+00 │ 2.72e-05 │ 2 │ 0.00e+00 │ 0.00e+00 │ 3 │ 3 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 95 │ SPECAN │ 9 │ 0 │ 0 │ first_order │ 6.25e-12 │ 1.14e-01 │ 8 │ 5.94e-05 │ 0.00e+00 │ 9 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 93 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 96 │ STRTCHDVB │ 10 │ 0 │ 0 │ first_order │ 3.39e-07 │ 2.10e-04 │ 10 │ 1.95e-04 │ 0.00e+00 │ 11 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 72 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 97 │ TRIGON1B │ 10 │ 0 │ 0 │ first_order │ 3.21e-13 │ 3.18e-04 │ 8 │ 2.41e-06 │ 0.00e+00 │ 9 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 89 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 98 │ TRIGON2B │ 10 │ 0 │ 0 │ first_order │ 1.01e+01 │ 8.03e-04 │ 20 │ 4.43e-04 │ 0.00e+00 │ 21 │ 14 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 363 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 99 │ WAYSEA1B │ 2 │ 0 │ 0 │ first_order │ 3.78e-12 │ 6.99e-05 │ 14 │ 1.26e-04 │ 0.00e+00 │ 15 │ 15 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 84 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 100 │ WAYSEA2B │ 2 │ 0 │ 0 │ first_order │ 1.21e-06 │ 1.02e-04 │ 19 │ 6.00e-03 │ 0.00e+00 │ 20 │ 20 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 155 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 101 │ WEEDS │ 3 │ 0 │ 0 │ first_order │ 2.59e+00 │ 1.94e-03 │ 54 │ 3.16e-04 │ 0.00e+00 │ 55 │ 41 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1319 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ tron │ 102 │ YFIT │ 3 │ 0 │ 0 │ first_order │ 2.24e-01 │ 7.55e-04 │ 34 │ 2.87e-02 │ 0.00e+00 │ 35 │ 29 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 313 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
└─────────────┴────────┴────────────┴────────┴────────┴────────┴─────────────┴───────────┴──────────────┴────────┴───────────┴─────────────┴───────────┴────────────┴────────────┴────────────────┴────────────────┴────────────┴─────────────┴───────────┴───────────────┴───────────────┴─────────────┴─────────────────┴─────────────────┴──────────────┴──────────────────┴──────────────────┴────────────┴─────────────┴─────────────┴──────────────┴────────────────┴────────────────────┴──────────────────────┴───────────────────────┴─────────────────────┴──────────────────────┴──────────────────────┴───────────┘or it can also be used to make performance profiles.
using Plots
gr()
legend = Dict(
:neval_obj => "number of f evals",
:neval_grad => "number of ∇f evals",
:neval_hprod => "number of ∇²f*v evals",
:neval_hess => "number of ∇²f evals",
:elapsed_time => "elapsed time"
)
perf_title(col) = "Performance profile on CUTEst w.r.t. $(string(legend[col]))"
styles = [:solid,:dash,:dot,:dashdot] #[:auto, :solid, :dash, :dot, :dashdot, :dashdotdot]
function print_pp_column(col::Symbol, stats)
ϵ = minimum(minimum(filter(x -> x > 0, df[!, col])) for df in values(stats))
first_order(df) = df.status .== :first_order
unbounded(df) = df.status .== :unbounded
solved(df) = first_order(df) .| unbounded(df)
cost(df) = (max.(df[!, col], ϵ) + .!solved(df) .* Inf)
p = performance_profile(
stats,
cost,
title=perf_title(col),
legend=:bottomright,
linestyles=styles
)
end
print_pp_column(:elapsed_time, stats) # with respect to timeprint_pp_column(:neval_obj, stats) # with respect to number of objective evaluationsprint_pp_column(:neval_grad, stats) # with respect to number of gradient evaluationsUnconstrained Benchmark
We can also benchmark unconstrained solvers, such as R2N, on the pnames_unconstrained subset we identified earlier. For instance, comparing R2N against trunk:
cutest_unc_problems = (CUTEstModel(p) for p in pnames_unconstrained)
solvers_unc = Dict(
:trunk => nlp -> trunk(
nlp,
max_time = max_time,
max_iter = typemax(Int64),
max_eval = typemax(Int64),
atol = tol,
rtol = tol,
),
:R2N => nlp -> R2N(
nlp,
max_time = max_time,
max_iter = typemax(Int64),
max_eval = typemax(Int64),
atol = tol,
rtol = tol,
),
)
stats_unc = bmark_solvers(solvers_unc, cutest_unc_problems)Dict{Symbol, DataFrames.DataFrame} with 2 entries:
:trunk => 188×40 DataFrame…
:R2N => 188×40 DataFrame…We can explore the results and generate performance profiles for these unconstrained solvers just as we did before:
pretty_stats(stats_unc[:R2N])┌─────────────┬────────┬────────────┬────────┬────────┬────────┬─────────────┬───────────┬──────────────┬────────┬───────────┬─────────────┬───────────┬────────────┬────────────┬────────────────┬────────────────┬────────────┬─────────────┬───────────┬───────────────┬───────────────┬─────────────┬─────────────────┬─────────────────┬──────────────┬──────────────────┬──────────────────┬────────────┬─────────────┬─────────────┬──────────────┬────────────────┬────────────────────┬──────────────────────┬───────────────────────┬─────────────────────┬──────────────────────┬──────────────────────┬───────────┐
│ solver_name │ id │ name │ nvar │ ncon │ nequ │ status │ objective │ elapsed_time │ iter │ dual_feas │ primal_feas │ neval_obj │ neval_grad │ neval_cons │ neval_cons_lin │ neval_cons_nln │ neval_jcon │ neval_jgrad │ neval_jac │ neval_jac_lin │ neval_jac_nln │ neval_jprod │ neval_jprod_lin │ neval_jprod_nln │ neval_jtprod │ neval_jtprod_lin │ neval_jtprod_nln │ neval_hess │ neval_hprod │ neval_jhess │ neval_jhprod │ neval_residual │ neval_jac_residual │ neval_jprod_residual │ neval_jtprod_residual │ neval_hess_residual │ neval_jhess_residual │ neval_hprod_residual │ extrainfo │
├─────────────┼────────┼────────────┼────────┼────────┼────────┼─────────────┼───────────┼──────────────┼────────┼───────────┼─────────────┼───────────┼────────────┼────────────┼────────────────┼────────────────┼────────────┼─────────────┼───────────┼───────────────┼───────────────┼─────────────┼─────────────────┼─────────────────┼──────────────┼──────────────────┼──────────────────┼────────────┼─────────────┼─────────────┼──────────────┼────────────────┼────────────────────┼──────────────────────┼───────────────────────┼─────────────────────┼──────────────────────┼──────────────────────┼───────────┤
│ R2N │ 1 │ AKIVA │ 2 │ 0 │ 0 │ first_order │ 6.17e+00 │ 1.37e-04 │ 7 │ 8.54e-06 │ 0.00e+00 │ 8 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 17 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 2 │ ALLINITU │ 4 │ 0 │ 0 │ first_order │ 5.74e+00 │ 7.89e-05 │ 9 │ 1.30e-06 │ 0.00e+00 │ 15 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 32 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 3 │ ARGLINA │ 200 │ 0 │ 0 │ first_order │ 2.00e+02 │ 4.90e-03 │ 5 │ 3.37e-04 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 4 │ ARGLINB │ 200 │ 0 │ 0 │ first_order │ 9.96e+01 │ 1.38e-03 │ 1 │ 9.85e+00 │ 0.00e+00 │ 2 │ 2 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 2 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 5 │ ARGLINC │ 200 │ 0 │ 0 │ first_order │ 1.01e+02 │ 1.35e-03 │ 1 │ 1.02e+01 │ 0.00e+00 │ 2 │ 2 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 2 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 6 │ ARGTRIGLS │ 200 │ 0 │ 0 │ first_order │ 7.61e-09 │ 3.08e-01 │ 6 │ 1.47e-03 │ 0.00e+00 │ 7 │ 7 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 493 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 7 │ BA-L1LS │ 57 │ 0 │ 0 │ first_order │ 3.50e-06 │ 1.75e-03 │ 23 │ 4.97e+00 │ 0.00e+00 │ 174 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 105 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 8 │ BA-L1SPLS │ 57 │ 0 │ 0 │ first_order │ 1.08e-07 │ 8.51e-03 │ 24 │ 1.25e+00 │ 0.00e+00 │ 195 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 77 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 9 │ BARD │ 3 │ 0 │ 0 │ first_order │ 8.24e-03 │ 7.01e-05 │ 8 │ 6.08e-04 │ 0.00e+00 │ 9 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 26 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 10 │ BEALE │ 2 │ 0 │ 0 │ first_order │ 1.06e-11 │ 5.41e-05 │ 12 │ 1.66e-05 │ 0.00e+00 │ 26 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 33 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 11 │ BENNETT5LS │ 3 │ 0 │ 0 │ first_order │ 6.85e-01 │ 9.70e-04 │ 19 │ 2.68e+00 │ 0.00e+00 │ 150 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 26 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 12 │ BIGGS6 │ 6 │ 0 │ 0 │ first_order │ 5.66e-03 │ 2.74e-04 │ 22 │ 5.81e-06 │ 0.00e+00 │ 23 │ 23 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 97 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 13 │ BOX3 │ 3 │ 0 │ 0 │ first_order │ 2.22e-08 │ 6.20e-05 │ 7 │ 9.67e-06 │ 0.00e+00 │ 8 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 21 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 14 │ BOXBODLS │ 2 │ 0 │ 0 │ first_order │ 9.77e+03 │ 3.10e-05 │ 5 │ 1.52e-03 │ 0.00e+00 │ 9 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 15 │ BRKMCC │ 2 │ 0 │ 0 │ first_order │ 1.69e-01 │ 2.41e-05 │ 4 │ 2.23e-05 │ 0.00e+00 │ 5 │ 5 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 16 │ BROWNAL │ 200 │ 0 │ 0 │ first_order │ 1.56e-08 │ 1.11e-03 │ 2 │ 7.71e-04 │ 0.00e+00 │ 3 │ 3 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 17 │ BROWNBS │ 2 │ 0 │ 0 │ first_order │ 8.46e-02 │ 3.79e-05 │ 7 │ 5.82e-01 │ 0.00e+00 │ 8 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 18 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 18 │ BROWNDEN │ 4 │ 0 │ 0 │ first_order │ 8.58e+04 │ 7.70e-05 │ 7 │ 5.65e+00 │ 0.00e+00 │ 8 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 25 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 19 │ CERI651ALS │ 7 │ 0 │ 0 │ first_order │ 3.76e+02 │ 6.64e-04 │ 15 │ 4.66e+01 │ 0.00e+00 │ 16 │ 16 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 38 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 20 │ CERI651BLS │ 7 │ 0 │ 0 │ first_order │ 9.59e+01 │ 1.34e-03 │ 22 │ 4.51e-01 │ 0.00e+00 │ 23 │ 23 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 76 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 21 │ CERI651CLS │ 7 │ 0 │ 0 │ first_order │ 5.85e+01 │ 5.79e-04 │ 13 │ 1.11e+00 │ 0.00e+00 │ 14 │ 14 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 34 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 22 │ CERI651DLS │ 7 │ 0 │ 0 │ first_order │ 2.58e+01 │ 1.72e-04 │ 3 │ 1.42e+00 │ 0.00e+00 │ 8 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 23 │ CERI651ELS │ 7 │ 0 │ 0 │ first_order │ 2.65e+01 │ 2.62e-04 │ 5 │ 3.87e+00 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 12 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 24 │ CHNROSNB │ 50 │ 0 │ 0 │ first_order │ 5.33e-06 │ 4.23e-03 │ 55 │ 1.45e-02 │ 0.00e+00 │ 65 │ 45 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1021 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 25 │ CHNRSNBM │ 50 │ 0 │ 0 │ first_order │ 4.94e-04 │ 6.10e-03 │ 85 │ 2.35e-02 │ 0.00e+00 │ 105 │ 59 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1499 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 26 │ CHWIRUT1LS │ 3 │ 0 │ 0 │ first_order │ 2.38e+03 │ 1.57e-03 │ 34 │ 2.05e+00 │ 0.00e+00 │ 245 │ 12 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 59 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 27 │ CHWIRUT2LS │ 3 │ 0 │ 0 │ first_order │ 5.13e+02 │ 5.49e-04 │ 39 │ 1.58e-01 │ 0.00e+00 │ 240 │ 12 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 69 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 28 │ CLIFF │ 2 │ 0 │ 0 │ first_order │ 2.98e+03 │ 3.29e-05 │ 12 │ 8.43e+04 │ 0.00e+00 │ 13 │ 13 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 24 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 29 │ CLUSTERLS │ 2 │ 0 │ 0 │ first_order │ 2.00e-08 │ 3.89e-05 │ 10 │ 1.14e-05 │ 0.00e+00 │ 11 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 26 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 30 │ COATING │ 134 │ 0 │ 0 │ first_order │ 5.46e-01 │ 1.14e-02 │ 25 │ 2.89e-02 │ 0.00e+00 │ 80 │ 22 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 472 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 31 │ COOLHANSLS │ 9 │ 0 │ 0 │ first_order │ 4.99e-02 │ 9.49e-05 │ 10 │ 5.68e+00 │ 0.00e+00 │ 11 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 26 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 32 │ CUBE │ 2 │ 0 │ 0 │ first_order │ 6.03e-05 │ 8.99e-05 │ 43 │ 5.95e-03 │ 0.00e+00 │ 53 │ 27 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 124 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 33 │ DANIWOODLS │ 2 │ 0 │ 0 │ first_order │ 4.32e-03 │ 8.70e-05 │ 17 │ 1.07e-04 │ 0.00e+00 │ 114 │ 12 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 39 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 34 │ DANWOODLS │ 2 │ 0 │ 0 │ first_order │ 4.47e-03 │ 5.29e-05 │ 10 │ 2.42e-02 │ 0.00e+00 │ 11 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 24 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 35 │ DENSCHNA │ 2 │ 0 │ 0 │ first_order │ 3.43e-10 │ 2.60e-05 │ 5 │ 4.80e-05 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 14 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 36 │ DENSCHNB │ 2 │ 0 │ 0 │ first_order │ 2.80e-10 │ 2.60e-05 │ 5 │ 4.43e-05 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 15 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 37 │ DENSCHNC │ 2 │ 0 │ 0 │ first_order │ 3.80e-07 │ 3.19e-05 │ 8 │ 3.05e-03 │ 0.00e+00 │ 9 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 20 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 38 │ DENSCHND │ 3 │ 0 │ 0 │ first_order │ 1.70e+02 │ 8.89e-05 │ 22 │ 5.27e+02 │ 0.00e+00 │ 143 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 65 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 39 │ DENSCHNE │ 3 │ 0 │ 0 │ first_order │ 9.99e-01 │ 3.10e-05 │ 8 │ 1.27e-03 │ 0.00e+00 │ 9 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 20 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 40 │ DENSCHNF │ 2 │ 0 │ 0 │ first_order │ 3.77e-10 │ 3.10e-05 │ 5 │ 4.68e-04 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 15 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 41 │ DEVGLA1 │ 4 │ 0 │ 0 │ first_order │ 1.75e-07 │ 7.67e-04 │ 37 │ 3.62e-03 │ 0.00e+00 │ 152 │ 24 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 128 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 42 │ DEVGLA2 │ 5 │ 0 │ 0 │ first_order │ 2.53e-02 │ 8.52e-04 │ 32 │ 2.79e-01 │ 0.00e+00 │ 133 │ 20 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 115 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 43 │ DIAMON2DLS │ 66 │ 0 │ 0 │ first_order │ 8.96e+03 │ 3.31e+00 │ 61 │ 5.22e+02 │ 0.00e+00 │ 382 │ 28 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 627 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 44 │ DIAMON3DLS │ 99 │ 0 │ 0 │ first_order │ 9.22e+02 │ 8.17e+00 │ 126 │ 8.09e+02 │ 0.00e+00 │ 754 │ 45 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1014 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 45 │ DIXMAANA1 │ 3 │ 0 │ 0 │ first_order │ 1.00e+00 │ 3.50e-05 │ 8 │ 1.35e-04 │ 0.00e+00 │ 11 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 21 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 46 │ DJTL │ 2 │ 0 │ 0 │ first_order │ -8.95e+03 │ 5.76e-04 │ 192 │ 2.53e-05 │ 0.00e+00 │ 248 │ 52 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 558 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 47 │ DMN15102LS │ 66 │ 0 │ 0 │ first_order │ 8.85e+03 │ 2.89e+00 │ 47 │ 3.23e+02 │ 0.00e+00 │ 238 │ 26 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 557 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 48 │ DMN15103LS │ 99 │ 0 │ 0 │ first_order │ 6.68e+02 │ 9.23e+00 │ 145 │ 8.89e+02 │ 0.00e+00 │ 903 │ 51 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1165 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 49 │ DMN15332LS │ 66 │ 0 │ 0 │ first_order │ 1.38e+03 │ 4.14e+01 │ 2014 │ 1.16e+02 │ 0.00e+00 │ 18106 │ 208 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 6770 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 50 │ DMN15333LS │ 99 │ 0 │ 0 │ first_order │ 1.77e+02 │ 2.13e+01 │ 175 │ 9.76e+01 │ 0.00e+00 │ 1297 │ 51 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 2693 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 51 │ DMN37142LS │ 66 │ 0 │ 0 │ first_order │ 3.24e+02 │ 3.93e+00 │ 82 │ 7.54e+01 │ 0.00e+00 │ 533 │ 33 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 737 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 52 │ DMN37143LS │ 99 │ 0 │ 0 │ first_order │ 4.27e+02 │ 5.85e-01 │ 22 │ 7.09e+01 │ 0.00e+00 │ 134 │ 12 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 65 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 53 │ ECKERLE4LS │ 3 │ 0 │ 0 │ first_order │ 7.00e-01 │ 7.20e-05 │ 5 │ 1.63e-07 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 54 │ EGGCRATE │ 2 │ 0 │ 0 │ first_order │ 9.49e+00 │ 3.00e-05 │ 5 │ 1.11e-04 │ 0.00e+00 │ 10 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 55 │ ELATVIDU │ 2 │ 0 │ 0 │ first_order │ 5.48e+01 │ 3.19e-05 │ 9 │ 3.61e-02 │ 0.00e+00 │ 10 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 23 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 56 │ ENGVAL2 │ 3 │ 0 │ 0 │ first_order │ 1.10e-09 │ 1.89e-04 │ 39 │ 5.72e-04 │ 0.00e+00 │ 298 │ 20 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 103 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 57 │ ENSOLS │ 9 │ 0 │ 0 │ first_order │ 7.89e+02 │ 3.36e-03 │ 8 │ 1.29e-04 │ 0.00e+00 │ 18 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 53 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 58 │ ERRINROS │ 50 │ 0 │ 0 │ first_order │ 4.09e+01 │ 1.21e-03 │ 29 │ 5.49e-01 │ 0.00e+00 │ 140 │ 16 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 267 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 59 │ ERRINRSM │ 50 │ 0 │ 0 │ first_order │ 3.89e+01 │ 1.03e-03 │ 30 │ 8.13e-01 │ 0.00e+00 │ 177 │ 16 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 193 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 60 │ EXP2 │ 2 │ 0 │ 0 │ first_order │ 6.76e-09 │ 6.70e-05 │ 8 │ 3.79e-05 │ 0.00e+00 │ 9 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 23 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 61 │ EXPFIT │ 2 │ 0 │ 0 │ first_order │ 2.41e-01 │ 5.98e-05 │ 7 │ 1.45e-08 │ 0.00e+00 │ 18 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 19 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 62 │ FBRAIN3LS │ 6 │ 0 │ 0 │ first_order │ 2.60e-01 │ 1.10e+00 │ 178 │ 1.33e-03 │ 0.00e+00 │ 568 │ 116 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1237 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 63 │ GAUSS1LS │ 8 │ 0 │ 0 │ first_order │ 1.32e+03 │ 2.07e-03 │ 9 │ 9.59e-01 │ 0.00e+00 │ 10 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 42 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 64 │ GAUSS2LS │ 8 │ 0 │ 0 │ first_order │ 1.25e+03 │ 1.71e-03 │ 9 │ 2.53e+00 │ 0.00e+00 │ 10 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 33 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 65 │ GAUSS3LS │ 8 │ 0 │ 0 │ first_order │ 1.24e+03 │ 4.36e-03 │ 18 │ 2.34e-02 │ 0.00e+00 │ 25 │ 19 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 83 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 66 │ GAUSSIAN │ 3 │ 0 │ 0 │ first_order │ 1.13e-08 │ 3.19e-05 │ 3 │ 3.25e-09 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 7 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 67 │ GBRAINLS │ 2 │ 0 │ 0 │ first_order │ 2.85e+01 │ 5.26e-03 │ 5 │ 9.04e-03 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 12 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 68 │ GROWTHLS │ 3 │ 0 │ 0 │ first_order │ 1.25e+01 │ 1.71e-04 │ 24 │ 3.89e+00 │ 0.00e+00 │ 125 │ 13 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 56 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 69 │ GULF │ 3 │ 0 │ 0 │ first_order │ 5.38e-04 │ 2.37e-03 │ 29 │ 1.61e-04 │ 0.00e+00 │ 32 │ 28 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 94 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 70 │ HAHN1LS │ 7 │ 0 │ 0 │ first_order │ 1.59e+04 │ 1.30e-03 │ 15 │ 1.62e+08 │ 0.00e+00 │ 16 │ 16 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 34 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 71 │ HAIRY │ 2 │ 0 │ 0 │ first_order │ 2.00e+01 │ 1.13e-04 │ 28 │ 1.01e-07 │ 0.00e+00 │ 158 │ 20 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 75 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 72 │ HATFLDD │ 3 │ 0 │ 0 │ first_order │ 1.07e-05 │ 1.27e-04 │ 15 │ 2.07e-04 │ 0.00e+00 │ 20 │ 16 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 56 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 73 │ HATFLDE │ 3 │ 0 │ 0 │ first_order │ 5.35e-07 │ 2.52e-04 │ 22 │ 1.74e-05 │ 0.00e+00 │ 86 │ 19 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 76 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 74 │ HATFLDFL │ 3 │ 0 │ 0 │ first_order │ 6.66e-05 │ 2.29e-05 │ 3 │ 4.09e-06 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 75 │ HATFLDFLS │ 3 │ 0 │ 0 │ first_order │ 7.17e-07 │ 1.57e-04 │ 53 │ 2.22e-05 │ 0.00e+00 │ 64 │ 25 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 201 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 76 │ HATFLDGLS │ 25 │ 0 │ 0 │ first_order │ 1.95e-09 │ 5.81e-04 │ 15 │ 2.77e-05 │ 0.00e+00 │ 24 │ 15 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 123 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 77 │ HEART6LS │ 6 │ 0 │ 0 │ first_order │ 1.46e-03 │ 1.91e-03 │ 200 │ 1.76e-03 │ 0.00e+00 │ 342 │ 169 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1318 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 78 │ HEART8LS │ 8 │ 0 │ 0 │ first_order │ 1.99e-10 │ 1.16e-03 │ 100 │ 7.10e-05 │ 0.00e+00 │ 268 │ 69 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 715 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 79 │ HELIX │ 3 │ 0 │ 0 │ first_order │ 3.03e-06 │ 7.49e-05 │ 20 │ 1.77e-02 │ 0.00e+00 │ 100 │ 14 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 57 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 80 │ HIELOW │ 3 │ 0 │ 0 │ first_order │ 8.74e+02 │ 6.56e-02 │ 15 │ 6.77e-02 │ 0.00e+00 │ 86 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 47 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 81 │ HILBERTA │ 2 │ 0 │ 0 │ first_order │ 2.52e-09 │ 2.81e-05 │ 7 │ 5.08e-05 │ 0.00e+00 │ 8 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 17 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 82 │ HILBERTB │ 10 │ 0 │ 0 │ first_order │ 3.84e-13 │ 5.79e-05 │ 5 │ 2.81e-06 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 83 │ HIMMELBB │ 2 │ 0 │ 0 │ first_order │ 6.04e-02 │ 3.19e-05 │ 11 │ 6.34e-01 │ 0.00e+00 │ 18 │ 12 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 23 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 84 │ HIMMELBCLS │ 2 │ 0 │ 0 │ first_order │ 1.83e-10 │ 2.72e-05 │ 5 │ 1.39e-04 │ 0.00e+00 │ 11 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 14 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 85 │ HIMMELBF │ 4 │ 0 │ 0 │ first_order │ 3.19e+02 │ 7.70e-05 │ 12 │ 1.93e-02 │ 0.00e+00 │ 31 │ 13 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 48 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 86 │ HIMMELBG │ 2 │ 0 │ 0 │ first_order │ 2.82e-12 │ 2.88e-05 │ 7 │ 5.29e-06 │ 0.00e+00 │ 8 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 20 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 87 │ HIMMELBH │ 2 │ 0 │ 0 │ first_order │ -1.00e+00 │ 2.88e-05 │ 6 │ 4.55e-06 │ 0.00e+00 │ 7 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 18 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 88 │ HUMPS │ 2 │ 0 │ 0 │ first_order │ 7.16e-09 │ 5.59e-04 │ 197 │ 3.78e-05 │ 0.00e+00 │ 1177 │ 120 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 497 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 89 │ HYDC20LS │ 99 │ 0 │ 0 │ first_order │ 1.46e-01 │ 4.16e-02 │ 18 │ 4.96e-02 │ 0.00e+00 │ 19 │ 19 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1693 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 90 │ HYDCAR6LS │ 29 │ 0 │ 0 │ first_order │ 1.96e-02 │ 3.03e-03 │ 21 │ 2.12e-02 │ 0.00e+00 │ 22 │ 22 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 409 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 91 │ JENSMP │ 2 │ 0 │ 0 │ first_order │ 1.24e+02 │ 5.79e-05 │ 7 │ 7.28e-01 │ 0.00e+00 │ 8 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 17 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 92 │ JUDGE │ 2 │ 0 │ 0 │ first_order │ 1.61e+01 │ 5.01e-05 │ 7 │ 1.65e-04 │ 0.00e+00 │ 8 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 18 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 93 │ KIRBY2LS │ 5 │ 0 │ 0 │ first_order │ 3.24e+01 │ 1.99e-03 │ 42 │ 7.18e+04 │ 0.00e+00 │ 43 │ 14 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 122 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 94 │ KOWOSB │ 4 │ 0 │ 0 │ first_order │ 3.08e-04 │ 8.80e-05 │ 11 │ 8.84e-06 │ 0.00e+00 │ 12 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 46 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 95 │ LANCZOS1LS │ 6 │ 0 │ 0 │ first_order │ 3.12e-04 │ 3.51e-04 │ 19 │ 3.24e-04 │ 0.00e+00 │ 106 │ 15 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 67 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 96 │ LANCZOS2LS │ 6 │ 0 │ 0 │ first_order │ 3.12e-04 │ 3.90e-04 │ 19 │ 3.23e-04 │ 0.00e+00 │ 106 │ 15 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 67 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 97 │ LANCZOS3LS │ 6 │ 0 │ 0 │ first_order │ 3.13e-04 │ 3.76e-04 │ 19 │ 1.19e-03 │ 0.00e+00 │ 106 │ 15 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 67 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 98 │ LOGHAIRY │ 2 │ 0 │ 0 │ first_order │ 1.82e-01 │ 3.33e-03 │ 1112 │ 2.65e-06 │ 0.00e+00 │ 6645 │ 587 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 2534 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 99 │ LRA9A │ 123 │ 0 │ 0 │ first_order │ 3.83e-01 │ 2.55e-01 │ 13 │ 1.64e-05 │ 0.00e+00 │ 14 │ 14 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 75 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 100 │ LRIJCNN1 │ 22 │ 0 │ 0 │ first_order │ 2.73e-01 │ 4.02e-01 │ 17 │ 6.22e-06 │ 0.00e+00 │ 18 │ 18 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 87 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 101 │ LRW1A │ 300 │ 0 │ 0 │ first_order │ 2.85e-01 │ 1.72e-02 │ 15 │ 1.29e-05 │ 0.00e+00 │ 16 │ 16 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 62 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 102 │ LRW8A │ 300 │ 0 │ 0 │ first_order │ 2.42e+00 │ 8.35e+00 │ 27 │ 3.82e-05 │ 0.00e+00 │ 28 │ 28 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 1825 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 103 │ LSC1LS │ 3 │ 0 │ 0 │ first_order │ 7.71e+00 │ 1.27e-04 │ 32 │ 1.54e-03 │ 0.00e+00 │ 80 │ 27 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 108 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 104 │ LSC2LS │ 3 │ 0 │ 0 │ first_order │ 1.60e+01 │ 5.29e-05 │ 12 │ 2.87e-02 │ 0.00e+00 │ 13 │ 13 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 35 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 105 │ LUKSAN11LS │ 100 │ 0 │ 0 │ first_order │ 9.79e-12 │ 8.27e-02 │ 518 │ 5.86e-05 │ 0.00e+00 │ 551 │ 357 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 10689 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 106 │ LUKSAN12LS │ 98 │ 0 │ 0 │ first_order │ 4.29e+03 │ 2.05e-03 │ 24 │ 1.56e-03 │ 0.00e+00 │ 168 │ 17 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 127 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 107 │ LUKSAN13LS │ 98 │ 0 │ 0 │ first_order │ 2.52e+04 │ 3.18e-03 │ 24 │ 2.01e-02 │ 0.00e+00 │ 73 │ 17 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 189 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 108 │ LUKSAN14LS │ 98 │ 0 │ 0 │ first_order │ 1.24e+02 │ 1.33e-03 │ 14 │ 8.74e-03 │ 0.00e+00 │ 15 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 151 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 109 │ LUKSAN15LS │ 100 │ 0 │ 0 │ first_order │ 3.57e+00 │ 3.66e-03 │ 17 │ 1.12e-01 │ 0.00e+00 │ 108 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 37 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 110 │ LUKSAN16LS │ 100 │ 0 │ 0 │ first_order │ 3.57e+00 │ 3.27e-03 │ 14 │ 1.29e-01 │ 0.00e+00 │ 15 │ 7 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 48 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 111 │ LUKSAN17LS │ 100 │ 0 │ 0 │ first_order │ 5.01e-01 │ 1.98e-02 │ 28 │ 2.32e+00 │ 0.00e+00 │ 155 │ 17 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 198 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 112 │ LUKSAN21LS │ 100 │ 0 │ 0 │ first_order │ 4.05e-11 │ 1.34e-02 │ 26 │ 8.62e-06 │ 0.00e+00 │ 37 │ 24 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 2015 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 113 │ LUKSAN22LC │ 100 │ 0 │ 0 │ first_order │ 8.74e+02 │ 5.92e-03 │ 19 │ 6.57e-02 │ 0.00e+00 │ 34 │ 15 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 216 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 114 │ LUKSAN22LS │ 100 │ 0 │ 0 │ first_order │ 8.69e+02 │ 7.20e-03 │ 23 │ 2.00e-02 │ 0.00e+00 │ 24 │ 16 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 265 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 115 │ MANCINO │ 100 │ 0 │ 0 │ first_order │ 1.47e-01 │ 1.36e-01 │ 20 │ 1.05e+03 │ 0.00e+00 │ 171 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 56 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 116 │ MARATOSB │ 2 │ 0 │ 0 │ first_order │ 9.96e-01 │ 1.88e-05 │ 3 │ 7.73e-01 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 117 │ METHANB8LS │ 31 │ 0 │ 0 │ first_order │ 8.14e-05 │ 8.16e-04 │ 7 │ 3.68e-03 │ 0.00e+00 │ 8 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 115 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 118 │ METHANL8LS │ 31 │ 0 │ 0 │ first_order │ 6.22e-01 │ 1.24e-03 │ 11 │ 2.40e-01 │ 0.00e+00 │ 12 │ 12 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 164 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 119 │ MEXHAT │ 2 │ 0 │ 0 │ first_order │ 5.47e-01 │ 3.19e-05 │ 10 │ 3.70e+03 │ 0.00e+00 │ 11 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 20 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 120 │ MEYER3 │ 3 │ 0 │ 0 │ first_order │ 1.58e+06 │ 1.01e-04 │ 16 │ 4.58e+05 │ 0.00e+00 │ 17 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 46 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 121 │ MGH09LS │ 4 │ 0 │ 0 │ first_order │ 7.27e-03 │ 5.51e-05 │ 8 │ 4.53e-04 │ 0.00e+00 │ 20 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 19 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 122 │ MGH10LS │ 3 │ 0 │ 0 │ first_order │ 1.37e+09 │ 2.31e-05 │ 1 │ 2.20e+10 │ 0.00e+00 │ 2 │ 2 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 2 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 123 │ MGH10SLS │ 3 │ 0 │ 0 │ first_order │ 4.83e+10 │ 7.51e-05 │ 12 │ 5.15e+09 │ 0.00e+00 │ 13 │ 13 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 24 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 124 │ MGH17LS │ 5 │ 0 │ 0 │ first_order │ 1.02e+00 │ 1.92e-04 │ 9 │ 2.62e-02 │ 0.00e+00 │ 34 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 27 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 125 │ MGH17SLS │ 5 │ 0 │ 0 │ first_order │ 1.10e+00 │ 9.11e-05 │ 5 │ 4.57e-04 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 13 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 126 │ MISRA1ALS │ 2 │ 0 │ 0 │ first_order │ 1.95e+01 │ 3.22e-05 │ 3 │ 2.95e+01 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 127 │ MISRA1BLS │ 2 │ 0 │ 0 │ first_order │ 7.32e+00 │ 2.72e-05 │ 3 │ 3.67e+02 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 128 │ MISRA1CLS │ 2 │ 0 │ 0 │ first_order │ 4.75e+00 │ 3.00e-05 │ 4 │ 1.07e+00 │ 0.00e+00 │ 5 │ 5 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 129 │ MISRA1DLS │ 2 │ 0 │ 0 │ first_order │ 1.11e+00 │ 3.39e-05 │ 4 │ 3.02e-02 │ 0.00e+00 │ 5 │ 5 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 8 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 130 │ MUONSINELS │ 1 │ 0 │ 0 │ first_order │ 5.12e+04 │ 2.92e-03 │ 26 │ 1.62e-01 │ 0.00e+00 │ 101 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 52 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 131 │ NELSONLS │ 3 │ 0 │ 0 │ first_order │ 3.80e+00 │ 4.91e-02 │ 1017 │ 6.86e-03 │ 0.00e+00 │ 1258 │ 215 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 5071 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 132 │ OSBORNEA │ 5 │ 0 │ 0 │ first_order │ 7.84e-05 │ 2.35e-04 │ 11 │ 9.30e-04 │ 0.00e+00 │ 22 │ 12 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 37 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 133 │ OSBORNEB │ 11 │ 0 │ 0 │ first_order │ 4.01e-02 │ 2.96e-03 │ 22 │ 1.06e-05 │ 0.00e+00 │ 53 │ 20 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 206 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 134 │ PALMER1C │ 8 │ 0 │ 0 │ first_order │ 3.97e+04 │ 3.50e-05 │ 2 │ 1.64e+03 │ 0.00e+00 │ 3 │ 3 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 5 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 135 │ PALMER1D │ 7 │ 0 │ 0 │ first_order │ 1.00e+03 │ 4.79e-05 │ 3 │ 2.35e+01 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 12 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 136 │ PALMER2C │ 8 │ 0 │ 0 │ first_order │ 1.40e+03 │ 2.81e-05 │ 2 │ 1.73e+02 │ 0.00e+00 │ 3 │ 3 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 5 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 137 │ PALMER3C │ 8 │ 0 │ 0 │ first_order │ 2.70e+02 │ 2.88e-05 │ 2 │ 5.21e+01 │ 0.00e+00 │ 3 │ 3 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 5 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 138 │ PALMER4C │ 8 │ 0 │ 0 │ first_order │ 6.36e+01 │ 3.81e-05 │ 3 │ 3.99e+00 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 139 │ PALMER5C │ 6 │ 0 │ 0 │ first_order │ 2.13e+00 │ 3.91e-05 │ 5 │ 9.70e-04 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 21 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 140 │ PALMER5D │ 4 │ 0 │ 0 │ first_order │ 8.73e+01 │ 5.39e-05 │ 8 │ 3.85e-03 │ 0.00e+00 │ 9 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 33 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 141 │ PALMER6C │ 8 │ 0 │ 0 │ first_order │ 5.47e+01 │ 2.79e-05 │ 2 │ 6.10e+00 │ 0.00e+00 │ 3 │ 3 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 142 │ PALMER7C │ 8 │ 0 │ 0 │ first_order │ 8.90e+01 │ 2.48e-05 │ 2 │ 2.65e+01 │ 0.00e+00 │ 3 │ 3 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 143 │ PALMER8C │ 8 │ 0 │ 0 │ first_order │ 2.35e+01 │ 3.00e-05 │ 3 │ 1.41e+00 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 12 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 144 │ PARKCH │ 15 │ 0 │ 0 │ first_order │ 1.62e+03 │ 8.26e+01 │ 27 │ 1.69e-01 │ 0.00e+00 │ 112 │ 17 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 209 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 145 │ PENALTY2 │ 200 │ 0 │ 0 │ first_order │ 4.71e+13 │ 3.55e-03 │ 9 │ 2.52e+01 │ 0.00e+00 │ 10 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 111 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 146 │ PENALTY3 │ 200 │ 0 │ 0 │ first_order │ 1.01e-03 │ 6.36e-01 │ 35 │ 7.07e-01 │ 0.00e+00 │ 176 │ 21 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 111 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 147 │ POWELLBSLS │ 2 │ 0 │ 0 │ first_order │ 6.07e-02 │ 2.10e-05 │ 3 │ 1.22e-01 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 7 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 148 │ POWELLSQLS │ 2 │ 0 │ 0 │ first_order │ 1.36e-11 │ 6.99e-05 │ 26 │ 7.36e-04 │ 0.00e+00 │ 162 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 50 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 149 │ POWERSUM │ 4 │ 0 │ 0 │ first_order │ 3.74e+01 │ 6.58e-05 │ 14 │ 2.55e-05 │ 0.00e+00 │ 15 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 28 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 150 │ PRICE3 │ 2 │ 0 │ 0 │ first_order │ 1.35e-04 │ 4.39e-05 │ 15 │ 1.23e-01 │ 0.00e+00 │ 16 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 44 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 151 │ PRICE4 │ 2 │ 0 │ 0 │ first_order │ 2.41e-06 │ 6.89e-05 │ 20 │ 5.48e-02 │ 0.00e+00 │ 141 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 46 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 152 │ QING │ 100 │ 0 │ 0 │ first_order │ 8.88e-09 │ 7.40e-04 │ 22 │ 1.32e-03 │ 0.00e+00 │ 138 │ 15 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 110 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 153 │ RAT42LS │ 3 │ 0 │ 0 │ first_order │ 1.82e+04 │ 8.92e-05 │ 17 │ 7.53e-01 │ 0.00e+00 │ 178 │ 2 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 19 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 154 │ RAT43LS │ 4 │ 0 │ 0 │ first_order │ 1.08e+06 │ 4.04e-04 │ 36 │ 8.37e+00 │ 0.00e+00 │ 217 │ 18 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 81 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 155 │ RECIPELS │ 3 │ 0 │ 0 │ first_order │ 2.11e-06 │ 7.20e-05 │ 18 │ 5.88e-04 │ 0.00e+00 │ 89 │ 15 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 57 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 156 │ ROSENBR │ 2 │ 0 │ 0 │ first_order │ 6.37e-07 │ 6.79e-05 │ 32 │ 7.14e-04 │ 0.00e+00 │ 33 │ 23 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 91 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 157 │ ROSENBRTU │ 2 │ 0 │ 0 │ first_order │ 8.43e-16 │ 3.52e-04 │ 166 │ 4.65e-08 │ 0.00e+00 │ 337 │ 90 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 445 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 158 │ ROSZMAN1LS │ 4 │ 0 │ 0 │ first_order │ 1.60e-01 │ 3.81e-05 │ 2 │ 3.02e-01 │ 0.00e+00 │ 3 │ 3 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 5 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 159 │ S308 │ 2 │ 0 │ 0 │ first_order │ 7.73e-01 │ 3.91e-05 │ 9 │ 1.92e-06 │ 0.00e+00 │ 10 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 24 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 160 │ SENSORS │ 100 │ 0 │ 0 │ first_order │ -2.11e+03 │ 9.45e-02 │ 12 │ 2.05e-04 │ 0.00e+00 │ 54 │ 13 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 41 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 161 │ SINEVAL │ 2 │ 0 │ 0 │ first_order │ 1.96e-11 │ 1.79e-04 │ 86 │ 7.24e-06 │ 0.00e+00 │ 87 │ 52 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 253 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 162 │ SISSER │ 2 │ 0 │ 0 │ first_order │ 4.91e-07 │ 3.29e-05 │ 10 │ 9.41e-05 │ 0.00e+00 │ 11 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 24 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 163 │ SISSER2 │ 2 │ 0 │ 0 │ first_order │ 5.01e-07 │ 3.50e-05 │ 10 │ 8.97e-05 │ 0.00e+00 │ 11 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 26 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 164 │ SNAIL │ 2 │ 0 │ 0 │ first_order │ 1.23e-10 │ 2.97e-04 │ 81 │ 2.22e-05 │ 0.00e+00 │ 84 │ 69 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 240 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 165 │ SPIN2LS │ 102 │ 0 │ 0 │ first_order │ 2.84e-08 │ 1.05e-01 │ 10 │ 4.18e-02 │ 0.00e+00 │ 16 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 198 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 166 │ SSI │ 3 │ 0 │ 0 │ first_order │ 8.10e-05 │ 3.79e-04 │ 161 │ 1.83e-05 │ 0.00e+00 │ 171 │ 107 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 577 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 167 │ STRATEC │ 10 │ 0 │ 0 │ first_order │ 2.21e+03 │ 3.48e+01 │ 35 │ 2.52e-01 │ 0.00e+00 │ 129 │ 29 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 247 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 168 │ STREG │ 4 │ 0 │ 0 │ first_order │ 1.20e+07 │ 3.29e-05 │ 9 │ 4.76e+03 │ 0.00e+00 │ 10 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 22 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 169 │ STRTCHDV │ 10 │ 0 │ 0 │ first_order │ 3.70e-07 │ 1.11e-04 │ 10 │ 1.94e-04 │ 0.00e+00 │ 11 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 32 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 170 │ TESTQUAD │ 10 │ 0 │ 0 │ first_order │ 8.12e-01 │ 2.48e-05 │ 3 │ 1.42e+00 │ 0.00e+00 │ 4 │ 4 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 13 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 171 │ THURBERLS │ 7 │ 0 │ 0 │ first_order │ 3.75e+04 │ 1.14e-03 │ 29 │ 9.57e+02 │ 0.00e+00 │ 90 │ 19 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 165 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 172 │ TOINTGOR │ 50 │ 0 │ 0 │ first_order │ 1.37e+03 │ 5.14e-04 │ 6 │ 1.42e-03 │ 0.00e+00 │ 7 │ 7 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 98 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 173 │ TOINTPSP │ 50 │ 0 │ 0 │ first_order │ 2.26e+02 │ 4.80e-04 │ 22 │ 3.80e-05 │ 0.00e+00 │ 23 │ 17 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 141 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 174 │ TOINTQOR │ 50 │ 0 │ 0 │ first_order │ 1.18e+03 │ 1.52e-04 │ 5 │ 1.74e-03 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 36 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 175 │ TRIGON1 │ 10 │ 0 │ 0 │ first_order │ 1.58e-09 │ 2.07e-04 │ 7 │ 1.73e-04 │ 0.00e+00 │ 24 │ 7 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 55 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 176 │ TRIGON2 │ 10 │ 0 │ 0 │ first_order │ 8.94e+00 │ 3.67e-04 │ 23 │ 8.65e-04 │ 0.00e+00 │ 138 │ 12 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 102 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 177 │ VANDANMSLS │ 22 │ 0 │ 0 │ first_order │ 9.62e+00 │ 4.75e-04 │ 19 │ 6.89e-06 │ 0.00e+00 │ 20 │ 20 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 47 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 178 │ VARDIM │ 200 │ 0 │ 0 │ first_order │ 2.95e+09 │ 2.60e-04 │ 10 │ 8.29e+10 │ 0.00e+00 │ 11 │ 11 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 20 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 179 │ VESUVIALS │ 8 │ 0 │ 0 │ first_order │ 2.00e+03 │ 5.64e-03 │ 8 │ 5.88e+00 │ 0.00e+00 │ 9 │ 9 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 33 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 180 │ VESUVIOLS │ 8 │ 0 │ 0 │ first_order │ 9.93e+02 │ 1.08e-02 │ 14 │ 6.90e+02 │ 0.00e+00 │ 15 │ 15 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 62 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 181 │ VESUVIOULS │ 8 │ 0 │ 0 │ first_order │ 4.77e-01 │ 1.27e-02 │ 15 │ 2.55e-01 │ 0.00e+00 │ 16 │ 16 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 74 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 182 │ VIBRBEAM │ 8 │ 0 │ 0 │ first_order │ 5.51e+00 │ 1.39e-03 │ 37 │ 1.92e+02 │ 0.00e+00 │ 38 │ 14 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 109 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 183 │ WATSON │ 12 │ 0 │ 0 │ first_order │ 1.86e-05 │ 5.36e-04 │ 11 │ 2.04e-03 │ 0.00e+00 │ 12 │ 12 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 54 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 184 │ WAYSEA1 │ 2 │ 0 │ 0 │ first_order │ 1.28e-02 │ 3.00e-05 │ 9 │ 1.66e+00 │ 0.00e+00 │ 10 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 19 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 185 │ WAYSEA2 │ 2 │ 0 │ 0 │ first_order │ 3.47e-05 │ 5.70e-05 │ 23 │ 2.04e-02 │ 0.00e+00 │ 24 │ 19 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 64 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 186 │ YATP2LS │ 8 │ 0 │ 0 │ first_order │ 1.12e+02 │ 7.27e-04 │ 86 │ 1.02e-05 │ 0.00e+00 │ 191 │ 79 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 343 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 187 │ YFITU │ 3 │ 0 │ 0 │ first_order │ 2.24e-01 │ 3.97e-04 │ 40 │ 4.58e-02 │ 0.00e+00 │ 41 │ 31 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 136 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
│ R2N │ 188 │ ZANGWIL2 │ 2 │ 0 │ 0 │ first_order │ -1.82e+01 │ 2.22e-05 │ 5 │ 2.22e-08 │ 0.00e+00 │ 6 │ 6 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 10 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ 0 │ │
└─────────────┴────────┴────────────┴────────┴────────┴────────┴─────────────┴───────────┴──────────────┴────────┴───────────┴─────────────┴───────────┴────────────┴────────────┴────────────────┴────────────────┴────────────┴─────────────┴───────────┴───────────────┴───────────────┴─────────────┴─────────────────┴─────────────────┴──────────────┴──────────────────┴──────────────────┴────────────┴─────────────┴─────────────┴──────────────┴────────────────┴────────────────────┴──────────────────────┴───────────────────────┴─────────────────────┴──────────────────────┴──────────────────────┴───────────┘print_pp_column(:elapsed_time, stats_unc)Note on R2NLS: To benchmark the R2NLS solver on nonlinear least-squares (NLS) problems, you can follow this exact same pattern by providing a collection of AbstractNLSModel instances instead of general CUTEstModels.