Benchmarks

CUTEst benchmark

With JSO-compliant solvers, we can run the solver on a set of problems, explore the results, and compare to other JSO-compliant solvers using specialized benchmark tools. We are following here the tutorial in SolverBenchmark.jl to run benchmarks on JSO-compliant solvers.

using CUTEst
 Downloading artifact: sifcollection

To test the implementation on bound-constrained problems, we use the package CUTEst.jl, which implements CUTEstModel an instance of AbstractNLPModel.

using SolverBenchmark

Let us select bound-constrained problems from CUTEst with a maximum of 300 variables.

nmax = 300
pnames_unconstrained = CUTEst.select_sif_problems(
  max_con = 0,
  only_free_var = true, # unconstrained
  max_var = nmax,
  objtype = 3:6,
)
pnames = CUTEst.select_sif_problems(
  max_con = 0,
  max_var = nmax,
  objtype = 3:6,
)

pnames = setdiff(pnames, pnames_unconstrained)
cutest_problems = (CUTEstModel(p) for p in pnames)

length(cutest_problems) # number of problems
102

We compare here TRON from JSOSolvers.jl with Ipopt (Wächter, A., & Biegler, L. T. (2006). On the implementation of an interior-point filter line-search algorithm for large-scale nonlinear programming. Mathematical programming, 106(1), 25-57.), via the NLPModelsIpopt.jl thin wrapper, on a subset of CUTEst problems.

using JSOSolvers, NLPModelsIpopt

To make stopping conditions comparable, we set Ipopt's parameters dual_inf_tol=Inf, constr_viol_tol=Inf and compl_inf_tol=Inf to disable additional stopping conditions related to those tolerances, acceptable_iter=0 to disable the search for an acceptable point.

#Same time limit for all the solvers
max_time = 1200. #20 minutes
tol = 1e-5

solvers = Dict(
  :ipopt => nlp -> ipopt(
    nlp,
    print_level = 0,
    dual_inf_tol = Inf,
    constr_viol_tol = Inf,
    compl_inf_tol = Inf,
    acceptable_iter = 0,
    max_cpu_time = max_time,
    x0 = nlp.meta.x0,
    tol = tol,
  ),
  :tron => nlp -> tron(
    nlp,
    max_time = max_time,
    max_iter = typemax(Int64),
    max_eval = typemax(Int64),
    atol = tol,
    rtol = tol,
  ),
)

stats = bmark_solvers(solvers, cutest_problems)
Dict{Symbol, DataFrames.DataFrame} with 2 entries:
  :tron  => 102×40 DataFrame…
  :ipopt => 102×41 DataFrame…

The function bmark_solvers return a Dict of DataFrames with detailed information on the execution. This output can be saved in a data file.

using JLD2
@save "ipopt_dcildl_$(string(length(pnames))).jld2" stats

The result of the benchmark can be explored via tables,

pretty_stats(stats[:tron])
┌─────────────┬────────┬────────────┬────────┬────────┬────────┬─────────────┬───────────┬──────────────┬────────┬───────────┬─────────────┬───────────┬────────────┬────────────┬────────────────┬────────────────┬────────────┬─────────────┬───────────┬───────────────┬───────────────┬─────────────┬─────────────────┬─────────────────┬──────────────┬──────────────────┬──────────────────┬────────────┬─────────────┬─────────────┬──────────────┬────────────────┬────────────────────┬──────────────────────┬───────────────────────┬─────────────────────┬──────────────────────┬──────────────────────┬───────────┐
│ solver_name │     id │       name │   nvar │   ncon │   nequ │      status │ objective │ elapsed_time │   iter │ dual_feas │ primal_feas │ neval_obj │ neval_grad │ neval_cons │ neval_cons_lin │ neval_cons_nln │ neval_jcon │ neval_jgrad │ neval_jac │ neval_jac_lin │ neval_jac_nln │ neval_jprod │ neval_jprod_lin │ neval_jprod_nln │ neval_jtprod │ neval_jtprod_lin │ neval_jtprod_nln │ neval_hess │ neval_hprod │ neval_jhess │ neval_jhprod │ neval_residual │ neval_jac_residual │ neval_jprod_residual │ neval_jtprod_residual │ neval_hess_residual │ neval_jhess_residual │ neval_hprod_residual │ extrainfo │
├─────────────┼────────┼────────────┼────────┼────────┼────────┼─────────────┼───────────┼──────────────┼────────┼───────────┼─────────────┼───────────┼────────────┼────────────┼────────────────┼────────────────┼────────────┼─────────────┼───────────┼───────────────┼───────────────┼─────────────┼─────────────────┼─────────────────┼──────────────┼──────────────────┼──────────────────┼────────────┼─────────────┼─────────────┼──────────────┼────────────────┼────────────────────┼──────────────────────┼───────────────────────┼─────────────────────┼──────────────────────┼──────────────────────┼───────────┤
│        tron │      1 │        3PK │     30 │      0 │      0 │ first_order │  1.72e+00 │     9.29e-04 │     16 │  1.42e-04 │    0.00e+00 │        17 │         17 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         437 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │      2 │   AIRCRFTB │      8 │      0 │      0 │ first_order │  4.57e-10 │     1.64e-03 │     28 │  7.75e-05 │    0.00e+00 │        29 │         17 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1445 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │      3 │    ALLINIT │      4 │      0 │      0 │ first_order │  1.67e+01 │     1.18e-03 │     17 │  1.65e-06 │    0.00e+00 │        18 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         867 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │      4 │     BIGGS3 │      6 │      0 │      0 │ first_order │  3.04e-16 │     2.09e-04 │     10 │  7.99e-09 │    0.00e+00 │        11 │         10 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          71 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │      5 │     BIGGS5 │      6 │      0 │      0 │ first_order │  4.85e-10 │     3.83e-04 │     16 │  1.70e-06 │    0.00e+00 │        17 │         16 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         147 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │      6 │   BLEACHNG │     17 │      0 │      0 │    max_time │  1.82e+04 │     1.20e+03 │    342 │  1.04e+01 │    0.00e+00 │       343 │        634 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1401 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │      7 │       BOX2 │      3 │      0 │      0 │ first_order │  2.86e-07 │     6.01e-05 │      5 │  4.96e-05 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          25 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │      8 │    BQP1VAR │      1 │      0 │      0 │ first_order │  0.00e+00 │     1.60e-05 │      1 │  0.00e+00 │    0.00e+00 │         2 │          2 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           2 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │      9 │   BQPGABIM │     50 │      0 │      0 │ first_order │ -3.79e-05 │     2.53e-04 │      3 │  1.84e-06 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          45 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     10 │   BQPGASIM │     50 │      0 │      0 │ first_order │ -5.52e-05 │     2.44e-04 │      3 │  8.44e-06 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          47 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     11 │     BRANIN │      2 │      0 │      0 │ first_order │  3.98e-01 │     1.99e-04 │     11 │  5.94e-08 │    0.00e+00 │        12 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         265 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     12 │     CAMEL6 │      2 │      0 │      0 │ first_order │ -2.15e-01 │     6.10e-05 │      7 │  1.09e-05 │    0.00e+00 │         8 │          7 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          46 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     13 │   CHEBYQAD │    100 │      0 │      0 │ first_order │  8.72e-03 │     3.58e+00 │     79 │  5.93e-06 │    0.00e+00 │        80 │         61 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        3791 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     14 │    DECONVB │     63 │      0 │      0 │ first_order │  3.34e-03 │     3.97e-03 │     13 │  6.79e-05 │    0.00e+00 │        14 │         12 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         296 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     15 │    DECONVU │     63 │      0 │      0 │ first_order │  7.18e-06 │     7.31e-03 │     31 │  1.03e-03 │    0.00e+00 │        32 │         27 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         536 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     16 │   DEVGLA1B │      4 │      0 │      0 │ first_order │  6.59e-12 │     8.43e-03 │     47 │  1.08e-05 │    0.00e+00 │        48 │         32 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        2067 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     17 │   DEVGLA2B │      5 │      0 │      0 │ first_order │  1.06e+04 │     5.00e-04 │      9 │  4.28e-07 │    0.00e+00 │        10 │         10 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          94 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     18 │    DGOSPEC │      3 │      0 │      0 │ first_order │ -9.97e+02 │     4.60e-05 │      4 │  6.49e-08 │    0.00e+00 │         5 │          5 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          30 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     19 │    DIAGIQB │     10 │      0 │      0 │ first_order │ -1.01e+13 │     1.10e-01 │   2061 │  1.29e-15 │    0.00e+00 │      2062 │       2063 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │      117149 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     20 │        EG1 │      3 │      0 │      0 │ first_order │ -1.13e+00 │     5.10e-05 │      5 │  6.19e-09 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          32 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     21 │  EGGCRATEB │      2 │      0 │      0 │ first_order │  9.49e+00 │     3.29e-04 │      9 │  3.30e-05 │    0.00e+00 │        10 │          5 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         436 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     22 │  ELATVIDUB │      2 │      0 │      0 │ first_order │  5.48e+01 │     6.41e-05 │     10 │  3.91e-05 │    0.00e+00 │        11 │         11 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          64 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     23 │      EXP2B │      2 │      0 │      0 │ first_order │  4.31e-12 │     7.70e-05 │      6 │  1.23e-06 │    0.00e+00 │         7 │          7 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          37 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     24 │  FBRAIN2LS │      4 │      0 │      0 │ first_order │  3.68e-01 │     7.15e-02 │     13 │  1.82e-05 │    0.00e+00 │        14 │         13 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         127 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     25 │   FBRAINLS │      2 │      0 │      0 │ first_order │  4.17e-01 │     1.52e-02 │      6 │  2.23e-06 │    0.00e+00 │         7 │          7 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          46 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     26 │      HART6 │      6 │      0 │      0 │ first_order │ -3.32e+00 │     4.66e-04 │     13 │  2.59e-06 │    0.00e+00 │        14 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         388 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     27 │    HATFLDA │      4 │      0 │      0 │ first_order │  2.98e-14 │     2.00e-04 │     28 │  1.82e-07 │    0.00e+00 │        29 │         29 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         248 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     28 │    HATFLDB │      4 │      0 │      0 │ first_order │  5.57e-03 │     1.68e-04 │     25 │  2.57e-08 │    0.00e+00 │        26 │         26 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         221 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     29 │    HATFLDC │     25 │      0 │      0 │ first_order │  1.14e-11 │     1.27e-04 │      5 │  1.02e-05 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          53 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     30 │   HIMMELP1 │      2 │      0 │      0 │ first_order │ -6.21e+01 │     1.12e-04 │      8 │  2.42e-07 │    0.00e+00 │         9 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         139 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     31 │     HOLMES │    180 │      0 │      0 │ first_order │  1.25e+03 │     1.44e-01 │      4 │  5.28e-04 │    0.00e+00 │         5 │          5 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         104 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     32 │        HS1 │      2 │      0 │      0 │ first_order │  2.80e-05 │     1.09e-04 │     24 │  5.64e-03 │    0.00e+00 │        25 │         23 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         157 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     33 │      HS110 │     10 │      0 │      0 │ first_order │ -4.58e+01 │     7.89e-05 │      4 │  1.51e-05 │    0.00e+00 │         5 │          5 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          20 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     34 │        HS2 │      2 │      0 │      0 │ first_order │  4.94e+00 │     6.51e-05 │      5 │  1.14e-02 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          47 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     35 │       HS25 │      3 │      0 │      0 │ first_order │  3.28e+01 │     0.00e+00 │      0 │  2.00e-08 │    0.00e+00 │         1 │          1 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           0 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     36 │        HS3 │      2 │      0 │      0 │ first_order │  0.00e+00 │     5.41e-05 │      3 │  0.00e+00 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          18 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     37 │       HS38 │      4 │      0 │      0 │ first_order │  1.09e-11 │     3.37e-03 │     78 │  3.77e-05 │    0.00e+00 │        79 │         51 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        4599 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     38 │     HS3MOD │      2 │      0 │      0 │ first_order │  0.00e+00 │     3.98e-05 │      5 │  0.00e+00 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          32 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     39 │        HS4 │      2 │      0 │      0 │ first_order │  2.67e+00 │     1.72e-05 │      1 │  0.00e+00 │    0.00e+00 │         2 │          2 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           2 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     40 │       HS45 │      5 │      0 │      0 │ first_order │  1.00e+00 │     3.41e-05 │      1 │  0.00e+00 │    0.00e+00 │         2 │          2 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          15 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     41 │        HS5 │      2 │      0 │      0 │ first_order │ -1.91e+00 │     3.70e-05 │      4 │  1.43e-09 │    0.00e+00 │         5 │          5 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          24 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     42 │   JNLBRNG1 │     16 │      0 │      0 │ first_order │ -2.25e-01 │     5.39e-05 │      1 │  3.51e-16 │    0.00e+00 │         2 │          2 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           8 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     43 │     JUDGEB │      2 │      0 │      0 │ first_order │  1.61e+01 │     1.38e-04 │      8 │  8.86e-08 │    0.00e+00 │         9 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          54 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     44 │   KOEBHELB │      3 │      0 │      0 │ first_order │  1.12e+02 │     2.68e-02 │     48 │  1.05e-04 │    0.00e+00 │        49 │         25 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        2186 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     45 │   LEVYMONT │    100 │      0 │      0 │ first_order │  1.55e+02 │     4.25e-04 │      3 │  1.32e-06 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          29 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     46 │ LEVYMONT10 │     10 │      0 │      0 │ first_order │  1.64e+02 │     7.80e-05 │      3 │  1.08e-05 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          30 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     47 │  LEVYMONT5 │      2 │      0 │      0 │ first_order │  1.25e+01 │     4.60e-05 │      5 │  9.39e-05 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          26 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     48 │  LEVYMONT6 │      3 │      0 │      0 │ first_order │  1.25e+01 │     1.73e-04 │     11 │  8.20e-05 │    0.00e+00 │        12 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         168 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     49 │  LEVYMONT7 │      4 │      0 │      0 │ first_order │  1.25e+01 │     3.74e-04 │     11 │  1.66e-06 │    0.00e+00 │        12 │          7 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         351 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     50 │  LEVYMONT8 │      5 │      0 │      0 │ first_order │  1.73e+02 │     5.91e-05 │      3 │  1.23e-05 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          31 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     51 │  LEVYMONT9 │      8 │      0 │      0 │ first_order │  1.66e+02 │     6.91e-05 │      3 │  1.79e-05 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          30 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     52 │     LOGROS │      2 │      0 │      0 │ first_order │  4.44e-16 │     2.30e-03 │    136 │  8.09e-06 │    0.00e+00 │       137 │         70 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        4023 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     53 │    MAXLIKA │      8 │      0 │      0 │ first_order │  1.14e+03 │     2.56e-02 │     36 │  3.73e-05 │    0.00e+00 │        37 │         35 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         365 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     54 │     MDHOLE │      2 │      0 │      0 │ first_order │  0.00e+00 │     4.81e-03 │    117 │  0.00e+00 │    0.00e+00 │       118 │         59 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        7882 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     55 │    MINSURF │     64 │      0 │      0 │ first_order │  1.00e+00 │     6.11e-04 │      8 │  3.09e-06 │    0.00e+00 │         9 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          53 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     56 │     OSLBQP │      8 │      0 │      0 │ first_order │  6.25e+00 │     4.01e-05 │      2 │  0.00e+00 │    0.00e+00 │         3 │          3 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           9 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     57 │    PALMER1 │      4 │      0 │      0 │ first_order │  1.18e+04 │     6.39e-03 │     48 │  2.88e-02 │    0.00e+00 │        49 │         25 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        2344 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     58 │   PALMER1A │      6 │      0 │      0 │ first_order │  7.11e-01 │     2.02e-03 │     48 │  6.53e-02 │    0.00e+00 │        49 │         33 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         635 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     59 │   PALMER1B │      4 │      0 │      0 │ first_order │  3.45e+00 │     2.16e-03 │     46 │  1.40e-02 │    0.00e+00 │        47 │         29 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         787 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     60 │   PALMER1E │      8 │      0 │      0 │ first_order │  1.22e+01 │     9.38e-04 │     22 │  1.22e+01 │    0.00e+00 │        23 │         19 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         243 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     61 │    PALMER2 │      4 │      0 │      0 │ first_order │  3.65e+03 │     2.56e-03 │     39 │  4.06e-03 │    0.00e+00 │        40 │         19 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1095 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     62 │   PALMER2A │      6 │      0 │      0 │ first_order │  1.87e-02 │     1.47e-03 │     43 │  2.62e-02 │    0.00e+00 │        44 │         31 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         617 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     63 │   PALMER2B │      4 │      0 │      0 │ first_order │  6.23e-01 │     2.42e-03 │     40 │  4.04e-05 │    0.00e+00 │        41 │         23 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1135 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     64 │   PALMER2E │      8 │      0 │      0 │ first_order │  3.48e+00 │     2.10e-04 │      6 │  3.86e+00 │    0.00e+00 │         7 │          5 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          70 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     65 │    PALMER3 │      4 │      0 │      0 │  small_step │  2.32e+03 │     5.50e-03 │     57 │  8.94e-02 │    0.00e+00 │        58 │         82 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        2701 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     66 │   PALMER3A │      6 │      0 │      0 │ first_order │  4.18e-02 │     1.02e-03 │     39 │  4.74e-03 │    0.00e+00 │        40 │         29 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         410 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     67 │   PALMER3B │      4 │      0 │      0 │ first_order │  4.23e+00 │     1.91e-03 │     42 │  4.01e-03 │    0.00e+00 │        43 │         25 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         904 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     68 │   PALMER3E │      8 │      0 │      0 │ first_order │  9.69e-01 │     3.27e-04 │     10 │  9.82e-01 │    0.00e+00 │        11 │          7 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         108 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     69 │    PALMER4 │      4 │      0 │      0 │  small_step │  2.33e+03 │     5.88e-03 │     57 │  7.72e-02 │    0.00e+00 │        58 │         83 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        2803 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     70 │   PALMER4A │      6 │      0 │      0 │ first_order │  4.21e-02 │     1.03e-03 │     45 │  6.05e-03 │    0.00e+00 │        46 │         31 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         415 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     71 │   PALMER4B │      4 │      0 │      0 │ first_order │  6.84e+00 │     1.79e-03 │     43 │  1.73e-02 │    0.00e+00 │        44 │         25 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         829 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     72 │   PALMER4E │      8 │      0 │      0 │ first_order │  3.51e-01 │     3.22e-04 │     10 │  1.15e+00 │    0.00e+00 │        11 │          7 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         112 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     73 │   PALMER5A │      8 │      0 │      0 │ first_order │  2.80e-01 │     2.89e-03 │     61 │  4.79e-03 │    0.00e+00 │        62 │         37 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1791 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     74 │   PALMER5B │      9 │      0 │      0 │ first_order │  9.25e-01 │     2.15e-03 │     57 │  3.37e-01 │    0.00e+00 │        58 │         34 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1311 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     75 │   PALMER5E │      8 │      0 │      0 │ first_order │  1.34e-01 │     1.23e-03 │     57 │  4.37e-03 │    0.00e+00 │        58 │         49 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         744 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     76 │   PALMER6A │      6 │      0 │      0 │ first_order │  7.82e-02 │     1.04e-03 │     46 │  4.41e-03 │    0.00e+00 │        47 │         34 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         645 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     77 │   PALMER6E │      8 │      0 │      0 │ first_order │  1.54e-01 │     2.83e-04 │     12 │  1.39e-01 │    0.00e+00 │        13 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         152 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     78 │   PALMER7A │      6 │      0 │      0 │ first_order │  1.28e+01 │     1.62e-03 │     98 │  3.55e-02 │    0.00e+00 │        99 │         84 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1036 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     79 │   PALMER7E │      8 │      0 │      0 │ first_order │  1.17e+01 │     4.03e-04 │     16 │  2.15e-01 │    0.00e+00 │        17 │         13 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         216 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     80 │   PALMER8A │      6 │      0 │      0 │ first_order │  8.71e-02 │     1.00e-03 │     58 │  1.44e-02 │    0.00e+00 │        59 │         53 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         685 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     81 │   PALMER8E │      8 │      0 │      0 │ first_order │  1.92e-01 │     7.15e-04 │     26 │  9.57e-02 │    0.00e+00 │        27 │         18 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         419 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     82 │    PFIT1LS │      3 │      0 │      0 │ first_order │  1.38e-04 │     3.57e-03 │     46 │  8.59e-04 │    0.00e+00 │        47 │         21 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        3787 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     83 │    PFIT2LS │      3 │      0 │      0 │ first_order │  7.22e-05 │     1.54e-03 │     38 │  4.26e-04 │    0.00e+00 │        39 │         22 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1577 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     84 │    PFIT3LS │      3 │      0 │      0 │ first_order │  5.23e-04 │     1.71e-03 │     32 │  2.62e-03 │    0.00e+00 │        33 │         18 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1745 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     85 │    PFIT4LS │      3 │      0 │      0 │ first_order │  5.96e-03 │     2.78e-03 │     58 │  1.40e-02 │    0.00e+00 │        59 │         31 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        2941 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     86 │  POWERSUMB │      4 │      0 │      0 │ first_order │  3.74e+01 │     1.16e-04 │      6 │  2.41e-10 │    0.00e+00 │         7 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          37 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     87 │    PRICE3B │      2 │      0 │      0 │ first_order │  4.91e-09 │     8.92e-05 │     14 │  7.43e-04 │    0.00e+00 │        15 │         11 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         108 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     88 │    PRICE4B │      2 │      0 │      0 │ first_order │  3.07e-14 │     3.18e-04 │     16 │  1.62e-05 │    0.00e+00 │        17 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         464 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     89 │     PSPDOC │      4 │      0 │      0 │ first_order │  2.41e+00 │     4.60e-05 │      4 │  2.49e-06 │    0.00e+00 │         5 │          5 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          25 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     90 │      QINGB │      5 │      0 │      0 │ first_order │  4.27e-12 │     6.17e-04 │     12 │  1.75e-05 │    0.00e+00 │        13 │          7 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         746 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     91 │       S368 │      8 │      0 │      0 │ first_order │ -7.50e-01 │     3.61e-04 │      7 │  4.08e-07 │    0.00e+00 │         8 │          7 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          49 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     92 │    SANTALS │     21 │      0 │      0 │ first_order │  1.23e-05 │     2.48e-03 │     33 │  2.43e-05 │    0.00e+00 │        34 │         33 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         571 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     93 │    SIM2BQP │      2 │      0 │      0 │ first_order │  0.00e+00 │     1.60e-05 │      1 │  0.00e+00 │    0.00e+00 │         2 │          2 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           2 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     94 │     SIMBQP │      2 │      0 │      0 │ first_order │  0.00e+00 │     2.72e-05 │      2 │  0.00e+00 │    0.00e+00 │         3 │          3 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          10 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     95 │     SPECAN │      9 │      0 │      0 │ first_order │  6.25e-12 │     1.14e-01 │      8 │  5.94e-05 │    0.00e+00 │         9 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          93 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     96 │  STRTCHDVB │     10 │      0 │      0 │ first_order │  3.39e-07 │     2.10e-04 │     10 │  1.95e-04 │    0.00e+00 │        11 │         11 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          72 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     97 │   TRIGON1B │     10 │      0 │      0 │ first_order │  3.21e-13 │     3.18e-04 │      8 │  2.41e-06 │    0.00e+00 │         9 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          89 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     98 │   TRIGON2B │     10 │      0 │      0 │ first_order │  1.01e+01 │     8.03e-04 │     20 │  4.43e-04 │    0.00e+00 │        21 │         14 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         363 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │     99 │   WAYSEA1B │      2 │      0 │      0 │ first_order │  3.78e-12 │     6.99e-05 │     14 │  1.26e-04 │    0.00e+00 │        15 │         15 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          84 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │    100 │   WAYSEA2B │      2 │      0 │      0 │ first_order │  1.21e-06 │     1.02e-04 │     19 │  6.00e-03 │    0.00e+00 │        20 │         20 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         155 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │    101 │      WEEDS │      3 │      0 │      0 │ first_order │  2.59e+00 │     1.94e-03 │     54 │  3.16e-04 │    0.00e+00 │        55 │         41 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1319 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│        tron │    102 │       YFIT │      3 │      0 │      0 │ first_order │  2.24e-01 │     7.55e-04 │     34 │  2.87e-02 │    0.00e+00 │        35 │         29 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         313 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
└─────────────┴────────┴────────────┴────────┴────────┴────────┴─────────────┴───────────┴──────────────┴────────┴───────────┴─────────────┴───────────┴────────────┴────────────┴────────────────┴────────────────┴────────────┴─────────────┴───────────┴───────────────┴───────────────┴─────────────┴─────────────────┴─────────────────┴──────────────┴──────────────────┴──────────────────┴────────────┴─────────────┴─────────────┴──────────────┴────────────────┴────────────────────┴──────────────────────┴───────────────────────┴─────────────────────┴──────────────────────┴──────────────────────┴───────────┘

or it can also be used to make performance profiles.

using Plots
gr()

legend = Dict(
  :neval_obj => "number of f evals",
  :neval_grad => "number of ∇f evals",
  :neval_hprod  => "number of ∇²f*v evals",
  :neval_hess  => "number of ∇²f evals",
  :elapsed_time => "elapsed time"
)
perf_title(col) = "Performance profile on CUTEst w.r.t. $(string(legend[col]))"

styles = [:solid,:dash,:dot,:dashdot] #[:auto, :solid, :dash, :dot, :dashdot, :dashdotdot]

function print_pp_column(col::Symbol, stats)

  ϵ = minimum(minimum(filter(x -> x > 0, df[!, col])) for df in values(stats))
  first_order(df) = df.status .== :first_order
  unbounded(df) = df.status .== :unbounded
  solved(df) = first_order(df) .| unbounded(df)
  cost(df) = (max.(df[!, col], ϵ) + .!solved(df) .* Inf)

  p = performance_profile(
    stats,
    cost,
    title=perf_title(col),
    legend=:bottomright,
    linestyles=styles
  )
end

print_pp_column(:elapsed_time, stats) # with respect to time
Example block output
print_pp_column(:neval_obj, stats) # with respect to number of objective evaluations
Example block output
print_pp_column(:neval_grad, stats) # with respect to number of gradient evaluations
Example block output

Unconstrained Benchmark

We can also benchmark unconstrained solvers, such as R2N, on the pnames_unconstrained subset we identified earlier. For instance, comparing R2N against trunk:

cutest_unc_problems = (CUTEstModel(p) for p in pnames_unconstrained)

solvers_unc = Dict(
  :trunk => nlp -> trunk(
    nlp,
    max_time = max_time,
    max_iter = typemax(Int64),
    max_eval = typemax(Int64),
    atol = tol,
    rtol = tol,
  ),
  :R2N => nlp -> R2N(
    nlp,
    max_time = max_time,
    max_iter = typemax(Int64),
    max_eval = typemax(Int64),
    atol = tol,
    rtol = tol,
  ),
)

stats_unc = bmark_solvers(solvers_unc, cutest_unc_problems)
Dict{Symbol, DataFrames.DataFrame} with 2 entries:
  :trunk => 188×40 DataFrame…
  :R2N   => 188×40 DataFrame…

We can explore the results and generate performance profiles for these unconstrained solvers just as we did before:

pretty_stats(stats_unc[:R2N])
┌─────────────┬────────┬────────────┬────────┬────────┬────────┬─────────────┬───────────┬──────────────┬────────┬───────────┬─────────────┬───────────┬────────────┬────────────┬────────────────┬────────────────┬────────────┬─────────────┬───────────┬───────────────┬───────────────┬─────────────┬─────────────────┬─────────────────┬──────────────┬──────────────────┬──────────────────┬────────────┬─────────────┬─────────────┬──────────────┬────────────────┬────────────────────┬──────────────────────┬───────────────────────┬─────────────────────┬──────────────────────┬──────────────────────┬───────────┐
│ solver_name │     id │       name │   nvar │   ncon │   nequ │      status │ objective │ elapsed_time │   iter │ dual_feas │ primal_feas │ neval_obj │ neval_grad │ neval_cons │ neval_cons_lin │ neval_cons_nln │ neval_jcon │ neval_jgrad │ neval_jac │ neval_jac_lin │ neval_jac_nln │ neval_jprod │ neval_jprod_lin │ neval_jprod_nln │ neval_jtprod │ neval_jtprod_lin │ neval_jtprod_nln │ neval_hess │ neval_hprod │ neval_jhess │ neval_jhprod │ neval_residual │ neval_jac_residual │ neval_jprod_residual │ neval_jtprod_residual │ neval_hess_residual │ neval_jhess_residual │ neval_hprod_residual │ extrainfo │
├─────────────┼────────┼────────────┼────────┼────────┼────────┼─────────────┼───────────┼──────────────┼────────┼───────────┼─────────────┼───────────┼────────────┼────────────┼────────────────┼────────────────┼────────────┼─────────────┼───────────┼───────────────┼───────────────┼─────────────┼─────────────────┼─────────────────┼──────────────┼──────────────────┼──────────────────┼────────────┼─────────────┼─────────────┼──────────────┼────────────────┼────────────────────┼──────────────────────┼───────────────────────┼─────────────────────┼──────────────────────┼──────────────────────┼───────────┤
│         R2N │      1 │      AKIVA │      2 │      0 │      0 │ first_order │  6.17e+00 │     1.37e-04 │      7 │  8.54e-06 │    0.00e+00 │         8 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          17 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │      2 │   ALLINITU │      4 │      0 │      0 │ first_order │  5.74e+00 │     7.89e-05 │      9 │  1.30e-06 │    0.00e+00 │        15 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          32 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │      3 │    ARGLINA │    200 │      0 │      0 │ first_order │  2.00e+02 │     4.90e-03 │      5 │  3.37e-04 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          10 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │      4 │    ARGLINB │    200 │      0 │      0 │ first_order │  9.96e+01 │     1.38e-03 │      1 │  9.85e+00 │    0.00e+00 │         2 │          2 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           2 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │      5 │    ARGLINC │    200 │      0 │      0 │ first_order │  1.01e+02 │     1.35e-03 │      1 │  1.02e+01 │    0.00e+00 │         2 │          2 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           2 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │      6 │  ARGTRIGLS │    200 │      0 │      0 │ first_order │  7.61e-09 │     3.08e-01 │      6 │  1.47e-03 │    0.00e+00 │         7 │          7 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         493 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │      7 │    BA-L1LS │     57 │      0 │      0 │ first_order │  3.50e-06 │     1.75e-03 │     23 │  4.97e+00 │    0.00e+00 │       174 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         105 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │      8 │  BA-L1SPLS │     57 │      0 │      0 │ first_order │  1.08e-07 │     8.51e-03 │     24 │  1.25e+00 │    0.00e+00 │       195 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          77 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │      9 │       BARD │      3 │      0 │      0 │ first_order │  8.24e-03 │     7.01e-05 │      8 │  6.08e-04 │    0.00e+00 │         9 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          26 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     10 │      BEALE │      2 │      0 │      0 │ first_order │  1.06e-11 │     5.41e-05 │     12 │  1.66e-05 │    0.00e+00 │        26 │         10 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          33 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     11 │ BENNETT5LS │      3 │      0 │      0 │ first_order │  6.85e-01 │     9.70e-04 │     19 │  2.68e+00 │    0.00e+00 │       150 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          26 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     12 │     BIGGS6 │      6 │      0 │      0 │ first_order │  5.66e-03 │     2.74e-04 │     22 │  5.81e-06 │    0.00e+00 │        23 │         23 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          97 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     13 │       BOX3 │      3 │      0 │      0 │ first_order │  2.22e-08 │     6.20e-05 │      7 │  9.67e-06 │    0.00e+00 │         8 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          21 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     14 │   BOXBODLS │      2 │      0 │      0 │ first_order │  9.77e+03 │     3.10e-05 │      5 │  1.52e-03 │    0.00e+00 │         9 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          10 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     15 │     BRKMCC │      2 │      0 │      0 │ first_order │  1.69e-01 │     2.41e-05 │      4 │  2.23e-05 │    0.00e+00 │         5 │          5 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          11 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     16 │    BROWNAL │    200 │      0 │      0 │ first_order │  1.56e-08 │     1.11e-03 │      2 │  7.71e-04 │    0.00e+00 │         3 │          3 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           4 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     17 │    BROWNBS │      2 │      0 │      0 │ first_order │  8.46e-02 │     3.79e-05 │      7 │  5.82e-01 │    0.00e+00 │         8 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          18 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     18 │   BROWNDEN │      4 │      0 │      0 │ first_order │  8.58e+04 │     7.70e-05 │      7 │  5.65e+00 │    0.00e+00 │         8 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          25 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     19 │ CERI651ALS │      7 │      0 │      0 │ first_order │  3.76e+02 │     6.64e-04 │     15 │  4.66e+01 │    0.00e+00 │        16 │         16 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          38 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     20 │ CERI651BLS │      7 │      0 │      0 │ first_order │  9.59e+01 │     1.34e-03 │     22 │  4.51e-01 │    0.00e+00 │        23 │         23 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          76 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     21 │ CERI651CLS │      7 │      0 │      0 │ first_order │  5.85e+01 │     5.79e-04 │     13 │  1.11e+00 │    0.00e+00 │        14 │         14 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          34 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     22 │ CERI651DLS │      7 │      0 │      0 │ first_order │  2.58e+01 │     1.72e-04 │      3 │  1.42e+00 │    0.00e+00 │         8 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           6 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     23 │ CERI651ELS │      7 │      0 │      0 │ first_order │  2.65e+01 │     2.62e-04 │      5 │  3.87e+00 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          12 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     24 │   CHNROSNB │     50 │      0 │      0 │ first_order │  5.33e-06 │     4.23e-03 │     55 │  1.45e-02 │    0.00e+00 │        65 │         45 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1021 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     25 │   CHNRSNBM │     50 │      0 │      0 │ first_order │  4.94e-04 │     6.10e-03 │     85 │  2.35e-02 │    0.00e+00 │       105 │         59 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1499 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     26 │ CHWIRUT1LS │      3 │      0 │      0 │ first_order │  2.38e+03 │     1.57e-03 │     34 │  2.05e+00 │    0.00e+00 │       245 │         12 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          59 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     27 │ CHWIRUT2LS │      3 │      0 │      0 │ first_order │  5.13e+02 │     5.49e-04 │     39 │  1.58e-01 │    0.00e+00 │       240 │         12 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          69 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     28 │      CLIFF │      2 │      0 │      0 │ first_order │  2.98e+03 │     3.29e-05 │     12 │  8.43e+04 │    0.00e+00 │        13 │         13 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          24 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     29 │  CLUSTERLS │      2 │      0 │      0 │ first_order │  2.00e-08 │     3.89e-05 │     10 │  1.14e-05 │    0.00e+00 │        11 │         11 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          26 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     30 │    COATING │    134 │      0 │      0 │ first_order │  5.46e-01 │     1.14e-02 │     25 │  2.89e-02 │    0.00e+00 │        80 │         22 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         472 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     31 │ COOLHANSLS │      9 │      0 │      0 │ first_order │  4.99e-02 │     9.49e-05 │     10 │  5.68e+00 │    0.00e+00 │        11 │         11 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          26 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     32 │       CUBE │      2 │      0 │      0 │ first_order │  6.03e-05 │     8.99e-05 │     43 │  5.95e-03 │    0.00e+00 │        53 │         27 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         124 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     33 │ DANIWOODLS │      2 │      0 │      0 │ first_order │  4.32e-03 │     8.70e-05 │     17 │  1.07e-04 │    0.00e+00 │       114 │         12 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          39 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     34 │  DANWOODLS │      2 │      0 │      0 │ first_order │  4.47e-03 │     5.29e-05 │     10 │  2.42e-02 │    0.00e+00 │        11 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          24 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     35 │   DENSCHNA │      2 │      0 │      0 │ first_order │  3.43e-10 │     2.60e-05 │      5 │  4.80e-05 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          14 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     36 │   DENSCHNB │      2 │      0 │      0 │ first_order │  2.80e-10 │     2.60e-05 │      5 │  4.43e-05 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          15 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     37 │   DENSCHNC │      2 │      0 │      0 │ first_order │  3.80e-07 │     3.19e-05 │      8 │  3.05e-03 │    0.00e+00 │         9 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          20 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     38 │   DENSCHND │      3 │      0 │      0 │ first_order │  1.70e+02 │     8.89e-05 │     22 │  5.27e+02 │    0.00e+00 │       143 │         11 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          65 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     39 │   DENSCHNE │      3 │      0 │      0 │ first_order │  9.99e-01 │     3.10e-05 │      8 │  1.27e-03 │    0.00e+00 │         9 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          20 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     40 │   DENSCHNF │      2 │      0 │      0 │ first_order │  3.77e-10 │     3.10e-05 │      5 │  4.68e-04 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          15 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     41 │    DEVGLA1 │      4 │      0 │      0 │ first_order │  1.75e-07 │     7.67e-04 │     37 │  3.62e-03 │    0.00e+00 │       152 │         24 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         128 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     42 │    DEVGLA2 │      5 │      0 │      0 │ first_order │  2.53e-02 │     8.52e-04 │     32 │  2.79e-01 │    0.00e+00 │       133 │         20 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         115 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     43 │ DIAMON2DLS │     66 │      0 │      0 │ first_order │  8.96e+03 │     3.31e+00 │     61 │  5.22e+02 │    0.00e+00 │       382 │         28 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         627 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     44 │ DIAMON3DLS │     99 │      0 │      0 │ first_order │  9.22e+02 │     8.17e+00 │    126 │  8.09e+02 │    0.00e+00 │       754 │         45 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1014 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     45 │  DIXMAANA1 │      3 │      0 │      0 │ first_order │  1.00e+00 │     3.50e-05 │      8 │  1.35e-04 │    0.00e+00 │        11 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          21 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     46 │       DJTL │      2 │      0 │      0 │ first_order │ -8.95e+03 │     5.76e-04 │    192 │  2.53e-05 │    0.00e+00 │       248 │         52 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         558 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     47 │ DMN15102LS │     66 │      0 │      0 │ first_order │  8.85e+03 │     2.89e+00 │     47 │  3.23e+02 │    0.00e+00 │       238 │         26 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         557 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     48 │ DMN15103LS │     99 │      0 │      0 │ first_order │  6.68e+02 │     9.23e+00 │    145 │  8.89e+02 │    0.00e+00 │       903 │         51 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1165 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     49 │ DMN15332LS │     66 │      0 │      0 │ first_order │  1.38e+03 │     4.14e+01 │   2014 │  1.16e+02 │    0.00e+00 │     18106 │        208 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        6770 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     50 │ DMN15333LS │     99 │      0 │      0 │ first_order │  1.77e+02 │     2.13e+01 │    175 │  9.76e+01 │    0.00e+00 │      1297 │         51 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        2693 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     51 │ DMN37142LS │     66 │      0 │      0 │ first_order │  3.24e+02 │     3.93e+00 │     82 │  7.54e+01 │    0.00e+00 │       533 │         33 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         737 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     52 │ DMN37143LS │     99 │      0 │      0 │ first_order │  4.27e+02 │     5.85e-01 │     22 │  7.09e+01 │    0.00e+00 │       134 │         12 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          65 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     53 │ ECKERLE4LS │      3 │      0 │      0 │ first_order │  7.00e-01 │     7.20e-05 │      5 │  1.63e-07 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          10 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     54 │   EGGCRATE │      2 │      0 │      0 │ first_order │  9.49e+00 │     3.00e-05 │      5 │  1.11e-04 │    0.00e+00 │        10 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          11 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     55 │   ELATVIDU │      2 │      0 │      0 │ first_order │  5.48e+01 │     3.19e-05 │      9 │  3.61e-02 │    0.00e+00 │        10 │         10 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          23 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     56 │    ENGVAL2 │      3 │      0 │      0 │ first_order │  1.10e-09 │     1.89e-04 │     39 │  5.72e-04 │    0.00e+00 │       298 │         20 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         103 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     57 │     ENSOLS │      9 │      0 │      0 │ first_order │  7.89e+02 │     3.36e-03 │      8 │  1.29e-04 │    0.00e+00 │        18 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          53 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     58 │   ERRINROS │     50 │      0 │      0 │ first_order │  4.09e+01 │     1.21e-03 │     29 │  5.49e-01 │    0.00e+00 │       140 │         16 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         267 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     59 │   ERRINRSM │     50 │      0 │      0 │ first_order │  3.89e+01 │     1.03e-03 │     30 │  8.13e-01 │    0.00e+00 │       177 │         16 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         193 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     60 │       EXP2 │      2 │      0 │      0 │ first_order │  6.76e-09 │     6.70e-05 │      8 │  3.79e-05 │    0.00e+00 │         9 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          23 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     61 │     EXPFIT │      2 │      0 │      0 │ first_order │  2.41e-01 │     5.98e-05 │      7 │  1.45e-08 │    0.00e+00 │        18 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          19 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     62 │  FBRAIN3LS │      6 │      0 │      0 │ first_order │  2.60e-01 │     1.10e+00 │    178 │  1.33e-03 │    0.00e+00 │       568 │        116 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1237 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     63 │   GAUSS1LS │      8 │      0 │      0 │ first_order │  1.32e+03 │     2.07e-03 │      9 │  9.59e-01 │    0.00e+00 │        10 │         10 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          42 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     64 │   GAUSS2LS │      8 │      0 │      0 │ first_order │  1.25e+03 │     1.71e-03 │      9 │  2.53e+00 │    0.00e+00 │        10 │         10 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          33 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     65 │   GAUSS3LS │      8 │      0 │      0 │ first_order │  1.24e+03 │     4.36e-03 │     18 │  2.34e-02 │    0.00e+00 │        25 │         19 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          83 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     66 │   GAUSSIAN │      3 │      0 │      0 │ first_order │  1.13e-08 │     3.19e-05 │      3 │  3.25e-09 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           7 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     67 │   GBRAINLS │      2 │      0 │      0 │ first_order │  2.85e+01 │     5.26e-03 │      5 │  9.04e-03 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          12 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     68 │   GROWTHLS │      3 │      0 │      0 │ first_order │  1.25e+01 │     1.71e-04 │     24 │  3.89e+00 │    0.00e+00 │       125 │         13 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          56 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     69 │       GULF │      3 │      0 │      0 │ first_order │  5.38e-04 │     2.37e-03 │     29 │  1.61e-04 │    0.00e+00 │        32 │         28 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          94 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     70 │    HAHN1LS │      7 │      0 │      0 │ first_order │  1.59e+04 │     1.30e-03 │     15 │  1.62e+08 │    0.00e+00 │        16 │         16 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          34 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     71 │      HAIRY │      2 │      0 │      0 │ first_order │  2.00e+01 │     1.13e-04 │     28 │  1.01e-07 │    0.00e+00 │       158 │         20 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          75 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     72 │    HATFLDD │      3 │      0 │      0 │ first_order │  1.07e-05 │     1.27e-04 │     15 │  2.07e-04 │    0.00e+00 │        20 │         16 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          56 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     73 │    HATFLDE │      3 │      0 │      0 │ first_order │  5.35e-07 │     2.52e-04 │     22 │  1.74e-05 │    0.00e+00 │        86 │         19 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          76 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     74 │   HATFLDFL │      3 │      0 │      0 │ first_order │  6.66e-05 │     2.29e-05 │      3 │  4.09e-06 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           8 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     75 │  HATFLDFLS │      3 │      0 │      0 │ first_order │  7.17e-07 │     1.57e-04 │     53 │  2.22e-05 │    0.00e+00 │        64 │         25 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         201 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     76 │  HATFLDGLS │     25 │      0 │      0 │ first_order │  1.95e-09 │     5.81e-04 │     15 │  2.77e-05 │    0.00e+00 │        24 │         15 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         123 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     77 │   HEART6LS │      6 │      0 │      0 │ first_order │  1.46e-03 │     1.91e-03 │    200 │  1.76e-03 │    0.00e+00 │       342 │        169 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1318 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     78 │   HEART8LS │      8 │      0 │      0 │ first_order │  1.99e-10 │     1.16e-03 │    100 │  7.10e-05 │    0.00e+00 │       268 │         69 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         715 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     79 │      HELIX │      3 │      0 │      0 │ first_order │  3.03e-06 │     7.49e-05 │     20 │  1.77e-02 │    0.00e+00 │       100 │         14 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          57 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     80 │     HIELOW │      3 │      0 │      0 │ first_order │  8.74e+02 │     6.56e-02 │     15 │  6.77e-02 │    0.00e+00 │        86 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          47 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     81 │   HILBERTA │      2 │      0 │      0 │ first_order │  2.52e-09 │     2.81e-05 │      7 │  5.08e-05 │    0.00e+00 │         8 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          17 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     82 │   HILBERTB │     10 │      0 │      0 │ first_order │  3.84e-13 │     5.79e-05 │      5 │  2.81e-06 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          11 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     83 │   HIMMELBB │      2 │      0 │      0 │ first_order │  6.04e-02 │     3.19e-05 │     11 │  6.34e-01 │    0.00e+00 │        18 │         12 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          23 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     84 │ HIMMELBCLS │      2 │      0 │      0 │ first_order │  1.83e-10 │     2.72e-05 │      5 │  1.39e-04 │    0.00e+00 │        11 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          14 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     85 │   HIMMELBF │      4 │      0 │      0 │ first_order │  3.19e+02 │     7.70e-05 │     12 │  1.93e-02 │    0.00e+00 │        31 │         13 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          48 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     86 │   HIMMELBG │      2 │      0 │      0 │ first_order │  2.82e-12 │     2.88e-05 │      7 │  5.29e-06 │    0.00e+00 │         8 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          20 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     87 │   HIMMELBH │      2 │      0 │      0 │ first_order │ -1.00e+00 │     2.88e-05 │      6 │  4.55e-06 │    0.00e+00 │         7 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          18 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     88 │      HUMPS │      2 │      0 │      0 │ first_order │  7.16e-09 │     5.59e-04 │    197 │  3.78e-05 │    0.00e+00 │      1177 │        120 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         497 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     89 │   HYDC20LS │     99 │      0 │      0 │ first_order │  1.46e-01 │     4.16e-02 │     18 │  4.96e-02 │    0.00e+00 │        19 │         19 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1693 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     90 │  HYDCAR6LS │     29 │      0 │      0 │ first_order │  1.96e-02 │     3.03e-03 │     21 │  2.12e-02 │    0.00e+00 │        22 │         22 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         409 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     91 │     JENSMP │      2 │      0 │      0 │ first_order │  1.24e+02 │     5.79e-05 │      7 │  7.28e-01 │    0.00e+00 │         8 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          17 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     92 │      JUDGE │      2 │      0 │      0 │ first_order │  1.61e+01 │     5.01e-05 │      7 │  1.65e-04 │    0.00e+00 │         8 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          18 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     93 │   KIRBY2LS │      5 │      0 │      0 │ first_order │  3.24e+01 │     1.99e-03 │     42 │  7.18e+04 │    0.00e+00 │        43 │         14 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         122 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     94 │     KOWOSB │      4 │      0 │      0 │ first_order │  3.08e-04 │     8.80e-05 │     11 │  8.84e-06 │    0.00e+00 │        12 │         11 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          46 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     95 │ LANCZOS1LS │      6 │      0 │      0 │ first_order │  3.12e-04 │     3.51e-04 │     19 │  3.24e-04 │    0.00e+00 │       106 │         15 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          67 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     96 │ LANCZOS2LS │      6 │      0 │      0 │ first_order │  3.12e-04 │     3.90e-04 │     19 │  3.23e-04 │    0.00e+00 │       106 │         15 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          67 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     97 │ LANCZOS3LS │      6 │      0 │      0 │ first_order │  3.13e-04 │     3.76e-04 │     19 │  1.19e-03 │    0.00e+00 │       106 │         15 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          67 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     98 │   LOGHAIRY │      2 │      0 │      0 │ first_order │  1.82e-01 │     3.33e-03 │   1112 │  2.65e-06 │    0.00e+00 │      6645 │        587 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        2534 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │     99 │      LRA9A │    123 │      0 │      0 │ first_order │  3.83e-01 │     2.55e-01 │     13 │  1.64e-05 │    0.00e+00 │        14 │         14 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          75 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    100 │   LRIJCNN1 │     22 │      0 │      0 │ first_order │  2.73e-01 │     4.02e-01 │     17 │  6.22e-06 │    0.00e+00 │        18 │         18 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          87 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    101 │      LRW1A │    300 │      0 │      0 │ first_order │  2.85e-01 │     1.72e-02 │     15 │  1.29e-05 │    0.00e+00 │        16 │         16 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          62 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    102 │      LRW8A │    300 │      0 │      0 │ first_order │  2.42e+00 │     8.35e+00 │     27 │  3.82e-05 │    0.00e+00 │        28 │         28 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        1825 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    103 │     LSC1LS │      3 │      0 │      0 │ first_order │  7.71e+00 │     1.27e-04 │     32 │  1.54e-03 │    0.00e+00 │        80 │         27 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         108 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    104 │     LSC2LS │      3 │      0 │      0 │ first_order │  1.60e+01 │     5.29e-05 │     12 │  2.87e-02 │    0.00e+00 │        13 │         13 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          35 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    105 │ LUKSAN11LS │    100 │      0 │      0 │ first_order │  9.79e-12 │     8.27e-02 │    518 │  5.86e-05 │    0.00e+00 │       551 │        357 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │       10689 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    106 │ LUKSAN12LS │     98 │      0 │      0 │ first_order │  4.29e+03 │     2.05e-03 │     24 │  1.56e-03 │    0.00e+00 │       168 │         17 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         127 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    107 │ LUKSAN13LS │     98 │      0 │      0 │ first_order │  2.52e+04 │     3.18e-03 │     24 │  2.01e-02 │    0.00e+00 │        73 │         17 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         189 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    108 │ LUKSAN14LS │     98 │      0 │      0 │ first_order │  1.24e+02 │     1.33e-03 │     14 │  8.74e-03 │    0.00e+00 │        15 │         10 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         151 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    109 │ LUKSAN15LS │    100 │      0 │      0 │ first_order │  3.57e+00 │     3.66e-03 │     17 │  1.12e-01 │    0.00e+00 │       108 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          37 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    110 │ LUKSAN16LS │    100 │      0 │      0 │ first_order │  3.57e+00 │     3.27e-03 │     14 │  1.29e-01 │    0.00e+00 │        15 │          7 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          48 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    111 │ LUKSAN17LS │    100 │      0 │      0 │ first_order │  5.01e-01 │     1.98e-02 │     28 │  2.32e+00 │    0.00e+00 │       155 │         17 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         198 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    112 │ LUKSAN21LS │    100 │      0 │      0 │ first_order │  4.05e-11 │     1.34e-02 │     26 │  8.62e-06 │    0.00e+00 │        37 │         24 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        2015 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    113 │ LUKSAN22LC │    100 │      0 │      0 │ first_order │  8.74e+02 │     5.92e-03 │     19 │  6.57e-02 │    0.00e+00 │        34 │         15 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         216 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    114 │ LUKSAN22LS │    100 │      0 │      0 │ first_order │  8.69e+02 │     7.20e-03 │     23 │  2.00e-02 │    0.00e+00 │        24 │         16 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         265 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    115 │    MANCINO │    100 │      0 │      0 │ first_order │  1.47e-01 │     1.36e-01 │     20 │  1.05e+03 │    0.00e+00 │       171 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          56 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    116 │   MARATOSB │      2 │      0 │      0 │ first_order │  9.96e-01 │     1.88e-05 │      3 │  7.73e-01 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           6 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    117 │ METHANB8LS │     31 │      0 │      0 │ first_order │  8.14e-05 │     8.16e-04 │      7 │  3.68e-03 │    0.00e+00 │         8 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         115 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    118 │ METHANL8LS │     31 │      0 │      0 │ first_order │  6.22e-01 │     1.24e-03 │     11 │  2.40e-01 │    0.00e+00 │        12 │         12 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         164 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    119 │     MEXHAT │      2 │      0 │      0 │ first_order │  5.47e-01 │     3.19e-05 │     10 │  3.70e+03 │    0.00e+00 │        11 │         11 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          20 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    120 │     MEYER3 │      3 │      0 │      0 │ first_order │  1.58e+06 │     1.01e-04 │     16 │  4.58e+05 │    0.00e+00 │        17 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          46 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    121 │    MGH09LS │      4 │      0 │      0 │ first_order │  7.27e-03 │     5.51e-05 │      8 │  4.53e-04 │    0.00e+00 │        20 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          19 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    122 │    MGH10LS │      3 │      0 │      0 │ first_order │  1.37e+09 │     2.31e-05 │      1 │  2.20e+10 │    0.00e+00 │         2 │          2 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           2 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    123 │   MGH10SLS │      3 │      0 │      0 │ first_order │  4.83e+10 │     7.51e-05 │     12 │  5.15e+09 │    0.00e+00 │        13 │         13 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          24 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    124 │    MGH17LS │      5 │      0 │      0 │ first_order │  1.02e+00 │     1.92e-04 │      9 │  2.62e-02 │    0.00e+00 │        34 │          8 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          27 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    125 │   MGH17SLS │      5 │      0 │      0 │ first_order │  1.10e+00 │     9.11e-05 │      5 │  4.57e-04 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          13 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    126 │  MISRA1ALS │      2 │      0 │      0 │ first_order │  1.95e+01 │     3.22e-05 │      3 │  2.95e+01 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           6 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    127 │  MISRA1BLS │      2 │      0 │      0 │ first_order │  7.32e+00 │     2.72e-05 │      3 │  3.67e+02 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           6 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    128 │  MISRA1CLS │      2 │      0 │      0 │ first_order │  4.75e+00 │     3.00e-05 │      4 │  1.07e+00 │    0.00e+00 │         5 │          5 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           8 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    129 │  MISRA1DLS │      2 │      0 │      0 │ first_order │  1.11e+00 │     3.39e-05 │      4 │  3.02e-02 │    0.00e+00 │         5 │          5 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           8 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    130 │ MUONSINELS │      1 │      0 │      0 │ first_order │  5.12e+04 │     2.92e-03 │     26 │  1.62e-01 │    0.00e+00 │       101 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          52 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    131 │   NELSONLS │      3 │      0 │      0 │ first_order │  3.80e+00 │     4.91e-02 │   1017 │  6.86e-03 │    0.00e+00 │      1258 │        215 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │        5071 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    132 │   OSBORNEA │      5 │      0 │      0 │ first_order │  7.84e-05 │     2.35e-04 │     11 │  9.30e-04 │    0.00e+00 │        22 │         12 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          37 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    133 │   OSBORNEB │     11 │      0 │      0 │ first_order │  4.01e-02 │     2.96e-03 │     22 │  1.06e-05 │    0.00e+00 │        53 │         20 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         206 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    134 │   PALMER1C │      8 │      0 │      0 │ first_order │  3.97e+04 │     3.50e-05 │      2 │  1.64e+03 │    0.00e+00 │         3 │          3 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           5 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    135 │   PALMER1D │      7 │      0 │      0 │ first_order │  1.00e+03 │     4.79e-05 │      3 │  2.35e+01 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          12 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    136 │   PALMER2C │      8 │      0 │      0 │ first_order │  1.40e+03 │     2.81e-05 │      2 │  1.73e+02 │    0.00e+00 │         3 │          3 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           5 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    137 │   PALMER3C │      8 │      0 │      0 │ first_order │  2.70e+02 │     2.88e-05 │      2 │  5.21e+01 │    0.00e+00 │         3 │          3 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           5 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    138 │   PALMER4C │      8 │      0 │      0 │ first_order │  6.36e+01 │     3.81e-05 │      3 │  3.99e+00 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          11 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    139 │   PALMER5C │      6 │      0 │      0 │ first_order │  2.13e+00 │     3.91e-05 │      5 │  9.70e-04 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          21 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    140 │   PALMER5D │      4 │      0 │      0 │ first_order │  8.73e+01 │     5.39e-05 │      8 │  3.85e-03 │    0.00e+00 │         9 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          33 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    141 │   PALMER6C │      8 │      0 │      0 │ first_order │  5.47e+01 │     2.79e-05 │      2 │  6.10e+00 │    0.00e+00 │         3 │          3 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           9 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    142 │   PALMER7C │      8 │      0 │      0 │ first_order │  8.90e+01 │     2.48e-05 │      2 │  2.65e+01 │    0.00e+00 │         3 │          3 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           6 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    143 │   PALMER8C │      8 │      0 │      0 │ first_order │  2.35e+01 │     3.00e-05 │      3 │  1.41e+00 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          12 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    144 │     PARKCH │     15 │      0 │      0 │ first_order │  1.62e+03 │     8.26e+01 │     27 │  1.69e-01 │    0.00e+00 │       112 │         17 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         209 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    145 │   PENALTY2 │    200 │      0 │      0 │ first_order │  4.71e+13 │     3.55e-03 │      9 │  2.52e+01 │    0.00e+00 │        10 │         10 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         111 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    146 │   PENALTY3 │    200 │      0 │      0 │ first_order │  1.01e-03 │     6.36e-01 │     35 │  7.07e-01 │    0.00e+00 │       176 │         21 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         111 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    147 │ POWELLBSLS │      2 │      0 │      0 │ first_order │  6.07e-02 │     2.10e-05 │      3 │  1.22e-01 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           7 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    148 │ POWELLSQLS │      2 │      0 │      0 │ first_order │  1.36e-11 │     6.99e-05 │     26 │  7.36e-04 │    0.00e+00 │       162 │         11 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          50 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    149 │   POWERSUM │      4 │      0 │      0 │ first_order │  3.74e+01 │     6.58e-05 │     14 │  2.55e-05 │    0.00e+00 │        15 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          28 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    150 │     PRICE3 │      2 │      0 │      0 │ first_order │  1.35e-04 │     4.39e-05 │     15 │  1.23e-01 │    0.00e+00 │        16 │         10 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          44 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    151 │     PRICE4 │      2 │      0 │      0 │ first_order │  2.41e-06 │     6.89e-05 │     20 │  5.48e-02 │    0.00e+00 │       141 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          46 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    152 │       QING │    100 │      0 │      0 │ first_order │  8.88e-09 │     7.40e-04 │     22 │  1.32e-03 │    0.00e+00 │       138 │         15 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         110 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    153 │    RAT42LS │      3 │      0 │      0 │ first_order │  1.82e+04 │     8.92e-05 │     17 │  7.53e-01 │    0.00e+00 │       178 │          2 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          19 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    154 │    RAT43LS │      4 │      0 │      0 │ first_order │  1.08e+06 │     4.04e-04 │     36 │  8.37e+00 │    0.00e+00 │       217 │         18 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          81 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    155 │   RECIPELS │      3 │      0 │      0 │ first_order │  2.11e-06 │     7.20e-05 │     18 │  5.88e-04 │    0.00e+00 │        89 │         15 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          57 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    156 │    ROSENBR │      2 │      0 │      0 │ first_order │  6.37e-07 │     6.79e-05 │     32 │  7.14e-04 │    0.00e+00 │        33 │         23 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          91 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    157 │  ROSENBRTU │      2 │      0 │      0 │ first_order │  8.43e-16 │     3.52e-04 │    166 │  4.65e-08 │    0.00e+00 │       337 │         90 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         445 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    158 │ ROSZMAN1LS │      4 │      0 │      0 │ first_order │  1.60e-01 │     3.81e-05 │      2 │  3.02e-01 │    0.00e+00 │         3 │          3 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │           5 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    159 │       S308 │      2 │      0 │      0 │ first_order │  7.73e-01 │     3.91e-05 │      9 │  1.92e-06 │    0.00e+00 │        10 │         10 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          24 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    160 │    SENSORS │    100 │      0 │      0 │ first_order │ -2.11e+03 │     9.45e-02 │     12 │  2.05e-04 │    0.00e+00 │        54 │         13 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          41 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    161 │    SINEVAL │      2 │      0 │      0 │ first_order │  1.96e-11 │     1.79e-04 │     86 │  7.24e-06 │    0.00e+00 │        87 │         52 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         253 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    162 │     SISSER │      2 │      0 │      0 │ first_order │  4.91e-07 │     3.29e-05 │     10 │  9.41e-05 │    0.00e+00 │        11 │         11 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          24 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    163 │    SISSER2 │      2 │      0 │      0 │ first_order │  5.01e-07 │     3.50e-05 │     10 │  8.97e-05 │    0.00e+00 │        11 │         11 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          26 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    164 │      SNAIL │      2 │      0 │      0 │ first_order │  1.23e-10 │     2.97e-04 │     81 │  2.22e-05 │    0.00e+00 │        84 │         69 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         240 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    165 │    SPIN2LS │    102 │      0 │      0 │ first_order │  2.84e-08 │     1.05e-01 │     10 │  4.18e-02 │    0.00e+00 │        16 │         11 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         198 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    166 │        SSI │      3 │      0 │      0 │ first_order │  8.10e-05 │     3.79e-04 │    161 │  1.83e-05 │    0.00e+00 │       171 │        107 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         577 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    167 │    STRATEC │     10 │      0 │      0 │ first_order │  2.21e+03 │     3.48e+01 │     35 │  2.52e-01 │    0.00e+00 │       129 │         29 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         247 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    168 │      STREG │      4 │      0 │      0 │ first_order │  1.20e+07 │     3.29e-05 │      9 │  4.76e+03 │    0.00e+00 │        10 │         10 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          22 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    169 │   STRTCHDV │     10 │      0 │      0 │ first_order │  3.70e-07 │     1.11e-04 │     10 │  1.94e-04 │    0.00e+00 │        11 │         11 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          32 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    170 │   TESTQUAD │     10 │      0 │      0 │ first_order │  8.12e-01 │     2.48e-05 │      3 │  1.42e+00 │    0.00e+00 │         4 │          4 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          13 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    171 │  THURBERLS │      7 │      0 │      0 │ first_order │  3.75e+04 │     1.14e-03 │     29 │  9.57e+02 │    0.00e+00 │        90 │         19 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         165 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    172 │   TOINTGOR │     50 │      0 │      0 │ first_order │  1.37e+03 │     5.14e-04 │      6 │  1.42e-03 │    0.00e+00 │         7 │          7 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          98 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    173 │   TOINTPSP │     50 │      0 │      0 │ first_order │  2.26e+02 │     4.80e-04 │     22 │  3.80e-05 │    0.00e+00 │        23 │         17 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         141 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    174 │   TOINTQOR │     50 │      0 │      0 │ first_order │  1.18e+03 │     1.52e-04 │      5 │  1.74e-03 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          36 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    175 │    TRIGON1 │     10 │      0 │      0 │ first_order │  1.58e-09 │     2.07e-04 │      7 │  1.73e-04 │    0.00e+00 │        24 │          7 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          55 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    176 │    TRIGON2 │     10 │      0 │      0 │ first_order │  8.94e+00 │     3.67e-04 │     23 │  8.65e-04 │    0.00e+00 │       138 │         12 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         102 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    177 │ VANDANMSLS │     22 │      0 │      0 │ first_order │  9.62e+00 │     4.75e-04 │     19 │  6.89e-06 │    0.00e+00 │        20 │         20 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          47 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    178 │     VARDIM │    200 │      0 │      0 │ first_order │  2.95e+09 │     2.60e-04 │     10 │  8.29e+10 │    0.00e+00 │        11 │         11 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          20 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    179 │  VESUVIALS │      8 │      0 │      0 │ first_order │  2.00e+03 │     5.64e-03 │      8 │  5.88e+00 │    0.00e+00 │         9 │          9 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          33 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    180 │  VESUVIOLS │      8 │      0 │      0 │ first_order │  9.93e+02 │     1.08e-02 │     14 │  6.90e+02 │    0.00e+00 │        15 │         15 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          62 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    181 │ VESUVIOULS │      8 │      0 │      0 │ first_order │  4.77e-01 │     1.27e-02 │     15 │  2.55e-01 │    0.00e+00 │        16 │         16 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          74 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    182 │   VIBRBEAM │      8 │      0 │      0 │ first_order │  5.51e+00 │     1.39e-03 │     37 │  1.92e+02 │    0.00e+00 │        38 │         14 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         109 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    183 │     WATSON │     12 │      0 │      0 │ first_order │  1.86e-05 │     5.36e-04 │     11 │  2.04e-03 │    0.00e+00 │        12 │         12 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          54 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    184 │    WAYSEA1 │      2 │      0 │      0 │ first_order │  1.28e-02 │     3.00e-05 │      9 │  1.66e+00 │    0.00e+00 │        10 │         10 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          19 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    185 │    WAYSEA2 │      2 │      0 │      0 │ first_order │  3.47e-05 │     5.70e-05 │     23 │  2.04e-02 │    0.00e+00 │        24 │         19 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          64 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    186 │    YATP2LS │      8 │      0 │      0 │ first_order │  1.12e+02 │     7.27e-04 │     86 │  1.02e-05 │    0.00e+00 │       191 │         79 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         343 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    187 │      YFITU │      3 │      0 │      0 │ first_order │  2.24e-01 │     3.97e-04 │     40 │  4.58e-02 │    0.00e+00 │        41 │         31 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │         136 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
│         R2N │    188 │   ZANGWIL2 │      2 │      0 │      0 │ first_order │ -1.82e+01 │     2.22e-05 │      5 │  2.22e-08 │    0.00e+00 │         6 │          6 │          0 │              0 │              0 │          0 │           0 │         0 │             0 │             0 │           0 │               0 │               0 │            0 │                0 │                0 │          0 │          10 │           0 │            0 │              0 │                  0 │                    0 │                     0 │                   0 │                    0 │                    0 │           │
└─────────────┴────────┴────────────┴────────┴────────┴────────┴─────────────┴───────────┴──────────────┴────────┴───────────┴─────────────┴───────────┴────────────┴────────────┴────────────────┴────────────────┴────────────┴─────────────┴───────────┴───────────────┴───────────────┴─────────────┴─────────────────┴─────────────────┴──────────────┴──────────────────┴──────────────────┴────────────┴─────────────┴─────────────┴──────────────┴────────────────┴────────────────────┴──────────────────────┴───────────────────────┴─────────────────────┴──────────────────────┴──────────────────────┴───────────┘
print_pp_column(:elapsed_time, stats_unc)
Example block output

Note on R2NLS: To benchmark the R2NLS solver on nonlinear least-squares (NLS) problems, you can follow this exact same pattern by providing a collection of AbstractNLSModel instances instead of general CUTEstModels.