# Run a benchmark with OptimizationProblems.jl

In this more advanced tutorial, we use the problems from OptimizationProblems to run a benchmark for unconstrained problems. The tutorial will use:

• JSOSolvers: This package provides optimization solvers in pure Julia for unconstrained and bound-constrained optimization.
• NLPModelsJuMP: This package convert JuMP model in NLPModel format.
• SolverBenchmark: This package provides general tools for benchmarking solvers.
using JSOSolvers, NLPModels, NLPModelsJuMP, OptimizationProblems, OptimizationProblems.PureJuMP, SolverBenchmark

We select the problems from PureJuMP submodule of OptimizationProblems converted in NLPModels using NLPModelsJuMP.

problems = (MathOptNLPModel(eval(Meta.parse(problem))(), name=problem) for problem ∈ OptimizationProblems.meta[!, :name])
Base.Generator{Vector{String}, Main.var"#1#2"}(Main.var"#1#2"(), ["AMPGO02", "AMPGO03", "AMPGO04", "AMPGO05", "AMPGO06", "AMPGO07", "AMPGO08", "AMPGO09", "AMPGO10", "AMPGO11"  …  "triangle", "triangle_deer", "triangle_pacman", "triangle_turtle", "tridia", "vardim", "vibrbeam", "watson", "woods", "zangwil3"])

The same can be achieved using OptimizationProblems.ADNLPProblems as follows:

using ADNLPModels
ad_problems = (eval(Meta.parse(problem))() for problem ∈ OptimizationProblems.meta[!, :name])
Base.Generator{Vector{String}, Main.var"#3#4"}(Main.var"#3#4"(), ["AMPGO02", "AMPGO03", "AMPGO04", "AMPGO05", "AMPGO06", "AMPGO07", "AMPGO08", "AMPGO09", "AMPGO10", "AMPGO11"  …  "triangle", "triangle_deer", "triangle_pacman", "triangle_turtle", "tridia", "vardim", "vibrbeam", "watson", "woods", "zangwil3"])

We also define a dictionary of solvers that will be used for our benchmark. We consider here JSOSolvers.lbfgs and JSOSolvers.trunk.

solvers = Dict(
:lbfgs => model -> lbfgs(model, mem=5, atol=1e-5, rtol=0.0),
:trunk => model -> trunk(model, atol=1e-5, rtol=0.0),
)
Dict{Symbol, Function} with 2 entries:
:trunk => #6
:lbfgs => #5

The function SolverBenchmark.bmak_solvers will run all the problems on the specified solvers and store the results in a DataFrame. At this stage, we discard the problems that have constraints or bounds using !unconstrained(prob), and those that are too large or too small with get_nvar(prob) > 100 || get_nvar(prob) < 5.

stats = bmark_solvers(
solvers, problems,
skipif=prob -> (!unconstrained(prob) || get_nvar(prob) > 100 || get_nvar(prob) < 5),
)
Dict{Symbol, DataFrames.DataFrame} with 2 entries:
:trunk => 105×39 DataFrame…
:lbfgs => 105×39 DataFrame…

We can explore the results solver by solver in stats[:lbfgs] and stats[:trunk], or get a profile wall using SolverBenchmark.profile_solvers.

cols = [:id, :name, :nvar, :objective, :dual_feas, :neval_obj, :neval_grad, :neval_hess, :iter, :elapsed_time, :status]
:nvar => "n",
:objective => "f(x)",
:dual_feas => "‖∇f(x)‖",
:neval_obj => "# f",
:neval_hess => "# ∇²f",
:elapsed_time => "t",
)

for solver ∈ keys(solvers)
end
┌────────┬──────────────┬────────┬────────────┬───────────┬────────┬────────┬────────┬────────┬───────────┬─────────────┐
│     id │         name │      n │       f(x) │   ‖∇f(x)‖ │    # f │   # ∇f │  # ∇²f │   iter │         t │      status │
├────────┼──────────────┼────────┼────────────┼───────────┼────────┼────────┼────────┼────────┼───────────┼─────────────┤
│     25 │         NZF1 │     91 │   2.09e+04 │  4.16e-07 │      9 │      9 │      0 │      8 │  8.61e-01 │ first_order │
│     38 │      arglina │    100 │   5.00e+01 │  3.46e-15 │      6 │      6 │      0 │      5 │  6.90e-03 │ first_order │
│     39 │      arglinb │    100 │   2.48e+01 │  2.05e-04 │    302 │    601 │      0 │    300 │  5.81e-03 │    not_desc │
│     40 │      arglinc │    100 │   5.11e+01 │  1.81e-03 │    310 │    607 │      0 │    303 │  5.70e-03 │    not_desc │
│     41 │      argtrig │    100 │  -9.90e+03 │  7.50e-06 │     38 │     26 │      0 │     25 │  5.90e-03 │ first_order │
│     42 │      arwhead │    100 │   0.00e+00 │  1.04e-06 │      6 │      6 │      0 │      5 │  6.07e-04 │ first_order │
│     45 │      bdqrtic │    100 │   1.89e+02 │  5.17e-06 │     13 │     13 │      0 │     12 │  8.56e-03 │ first_order │
│     50 │       biggs6 │      6 │ -1.12e+174 │ 1.46e+174 │     14 │     14 │      0 │     12 │  3.89e-04 │    not_desc │
│     55 │      brownal │    100 │   1.90e-09 │  9.17e-07 │      3 │      3 │      0 │      2 │  1.44e-03 │ first_order │
│     58 │    broyden3d │    100 │   2.13e-13 │  3.57e-06 │      7 │      7 │      0 │      6 │  1.67e-03 │ first_order │
│     59 │     broydn7d │    100 │   3.95e+01 │  8.92e-06 │     63 │     22 │      0 │     21 │  5.42e-02 │ first_order │
│     60 │       brybnd │    100 │   3.08e-13 │  4.90e-06 │      9 │      9 │      0 │      8 │  3.48e-03 │ first_order │
│     65 │     chainwoo │    100 │   1.00e+00 │  8.12e-06 │    270 │    103 │      0 │    106 │  2.60e-01 │ first_order │
│     67 │ chnrosnb_mod │    100 │   3.26e-13 │  3.36e-06 │    176 │     97 │      0 │     98 │  1.04e-01 │ first_order │
│     72 │     clplatea │    100 │  -9.15e-03 │  7.56e-06 │      6 │      6 │      0 │      5 │  4.92e-03 │ first_order │
│     73 │     clplateb │    100 │  -6.20e-03 │  9.70e-06 │      4 │      4 │      0 │      3 │  4.24e-03 │ first_order │
│     74 │     clplatec │    100 │  -5.11e-03 │  8.28e-06 │      5 │      5 │      0 │      4 │  1.26e-02 │ first_order │
│     76 │       cosine │    100 │  -9.90e+01 │  9.12e-06 │     10 │     10 │      0 │      9 │  7.72e-04 │ first_order │
│     77 │     cragglvy │    100 │   3.23e+01 │  7.75e-06 │     16 │     16 │      0 │     15 │  1.02e-02 │ first_order │
│     78 │    cragglvy2 │    100 │   2.52e+01 │  6.43e-06 │     18 │     18 │      0 │     17 │  1.27e-02 │ first_order │
│     79 │        curly │    100 │  -1.00e+04 │  8.20e-06 │     18 │     15 │      0 │     14 │  2.84e-02 │ first_order │
│     80 │      curly10 │    100 │  -1.00e+04 │  8.20e-06 │     18 │     15 │      0 │     14 │  2.97e-02 │ first_order │
│     81 │      curly20 │    100 │  -1.00e+04 │  9.49e-06 │     18 │     14 │      0 │     13 │  2.92e-02 │ first_order │
│     82 │      curly30 │    100 │  -1.00e+04 │  8.59e-06 │     29 │     15 │      0 │     14 │  3.38e-02 │ first_order │
│     84 │     dixmaane │     99 │   1.00e+00 │  8.12e-06 │     39 │     16 │      0 │     15 │  1.01e-02 │ first_order │
│     85 │     dixmaanf │     99 │   1.00e+00 │  9.59e-06 │     11 │     11 │      0 │     10 │  5.88e-03 │ first_order │
│     86 │     dixmaang │     99 │   1.00e+00 │  9.88e-06 │     43 │     15 │      0 │     16 │  9.80e-03 │ first_order │
│     87 │     dixmaanh │     99 │   1.00e+00 │  7.74e-06 │     37 │     15 │      0 │     16 │  8.31e-03 │ first_order │
│     88 │     dixmaani │     99 │   1.00e+00 │  7.71e-06 │     15 │     13 │      0 │     12 │  2.98e-02 │ first_order │
│     89 │     dixmaanj │     99 │   1.00e+00 │  9.84e-06 │     39 │     17 │      0 │     18 │  3.19e-02 │ first_order │
│     90 │     dixmaank │     99 │   1.00e+00 │  9.95e-06 │     37 │     15 │      0 │     16 │  2.66e-02 │ first_order │
│     91 │     dixmaanl │     99 │   1.00e+00 │  9.80e-06 │     56 │     18 │      0 │     19 │  2.93e-02 │ first_order │
│     92 │     dixmaanm │     99 │   1.00e+00 │  8.67e-06 │     10 │     10 │      0 │      9 │  2.55e-02 │ first_order │
│     93 │     dixmaann │     99 │   1.00e+00 │  9.08e-06 │     43 │     20 │      0 │     21 │  4.93e-02 │ first_order │
│     94 │     dixmaano │     99 │   1.00e+00 │  9.31e-06 │     39 │     17 │      0 │     18 │  3.97e-02 │ first_order │
│     95 │     dixmaanp │     99 │   1.00e+00 │  9.25e-06 │     38 │     16 │      0 │     17 │  3.10e-02 │ first_order │
│     96 │     dixon3dq │    100 │   3.83e-10 │  9.84e-06 │     10 │     10 │      0 │      9 │  3.05e-03 │ first_order │
│     97 │      dqdrtic │    100 │   1.37e-14 │  9.42e-07 │      6 │      6 │      0 │      5 │  6.15e-04 │ first_order │
│     98 │       dqrtic │    100 │   8.30e-08 │  6.24e-06 │     25 │     25 │      0 │     24 │  1.47e-03 │ first_order │
│    100 │      edensch │    100 │   6.03e+02 │  4.70e-06 │      9 │      9 │      0 │      8 │  1.98e-03 │ first_order │
│    101 │          eg2 │    100 │  -9.89e+01 │  1.42e-09 │      4 │      4 │      0 │      3 │  2.20e-04 │ first_order │
│    103 │      engval1 │    100 │   1.09e+02 │  4.98e-06 │     10 │     10 │      0 │      9 │  1.73e-03 │ first_order │
│    104 │         enso │      9 │   3.94e+02 │  9.19e-06 │     39 │     17 │      0 │     18 │  3.17e-02 │ first_order │
│    105 │ errinros_mod │    100 │   3.88e+01 │  7.77e-06 │    114 │     76 │      0 │     77 │  5.88e-02 │ first_order │
│    106 │     extrosnb │    100 │   1.98e-06 │  9.53e-06 │    929 │    251 │      0 │    250 │  8.07e-02 │ first_order │
│    107 │     fletcbv2 │    100 │  -5.14e-01 │  8.49e-06 │      5 │      5 │      0 │      4 │  3.81e-03 │ first_order │
│    108 │ fletcbv3_mod │    100 │  -2.04e+00 │  5.94e-06 │    141 │     55 │      0 │     56 │  1.76e-02 │ first_order │
│    109 │     fletchcr │    100 │   6.61e-12 │  8.44e-06 │     99 │     77 │      0 │     78 │  1.92e-02 │ first_order │
│    110 │     fminsrf2 │    100 │   1.00e+02 │  7.59e-06 │    190 │     45 │      0 │     46 │  2.30e-02 │ first_order │
│    111 │     freuroth │    100 │   5.94e+03 │  2.30e-06 │     48 │     16 │      0 │     17 │  6.14e-03 │ first_order │
│    112 │       gauss1 │      8 │   6.58e+02 │  9.67e-06 │     12 │     12 │      0 │     11 │  1.83e-02 │ first_order │
│    113 │       gauss2 │      8 │   6.24e+02 │  7.74e-06 │     14 │     14 │      0 │     13 │  2.15e-02 │ first_order │
│    114 │       gauss3 │      8 │   6.22e+02 │  3.26e-05 │    349 │    607 │      0 │    310 │  2.81e-02 │    not_desc │
│    116 │     genhumps │    100 │   1.48e-13 │  2.44e-07 │   9382 │   2882 │      0 │   2895 │  1.42e+00 │ first_order │
│    117 │      genrose │    100 │   1.00e+00 │  6.62e-06 │    159 │     60 │      0 │     61 │  1.98e-02 │ first_order │
│    118 │ genrose_nash │    100 │   1.00e+00 │  4.93e-06 │    195 │     66 │      0 │     67 │  2.30e-02 │ first_order │
│    120 │        hahn1 │      7 │   7.66e-01 │  6.41e-04 │    514 │    687 │      0 │    405 │  2.30e-01 │    not_desc │
│    285 │    indef_mod │    100 │  -9.89e+03 │  3.16e-07 │    809 │    263 │      0 │    266 │  5.74e-02 │ first_order │
│    286 │     integreq │    100 │   4.47e-13 │  9.84e-07 │      4 │      4 │      0 │      3 │  4.26e-02 │ first_order │
│    288 │       kirby2 │      5 │   1.95e+00 │  8.99e-07 │     32 │     30 │      0 │     29 │  1.33e-02 │ first_order │
│    290 │     lanczos1 │      6 │   1.05e-06 │  6.96e-06 │    118 │     37 │      0 │     38 │  5.01e-03 │ first_order │
│    291 │     lanczos2 │      6 │   1.05e-06 │  6.95e-06 │    118 │     37 │      0 │     38 │  4.99e-03 │ first_order │
│    292 │     lanczos3 │      6 │   1.16e-06 │  7.97e-06 │    120 │     38 │      0 │     39 │  5.14e-03 │ first_order │
│    293 │      liarwhd │    100 │   1.42e-13 │  7.82e-06 │     11 │     11 │      0 │     10 │  1.63e-03 │ first_order │
│    301 │        mgh17 │      5 │   5.52e-02 │  1.56e-06 │     31 │      8 │      0 │      9 │  4.92e-04 │ first_order │
│    306 │       morebv │    100 │   1.07e-06 │  9.45e-06 │     16 │     16 │      0 │     15 │  1.47e-01 │ first_order │
│    308 │        ncb20 │    100 │   1.63e+02 │  6.60e-06 │    155 │     39 │      0 │     40 │  1.54e-01 │ first_order │
│    309 │       ncb20b │    100 │   1.97e+02 │  9.00e-06 │     39 │     15 │      0 │     16 │  2.37e-01 │ first_order │
│    311 │     noncvxu2 │    100 │   2.34e+02 │  9.74e-06 │    141 │     37 │      0 │     38 │  2.45e-02 │ first_order │
│    312 │     noncvxun │    100 │   2.35e+02 │  9.23e-06 │    182 │     49 │      0 │     52 │  1.97e-02 │ first_order │
│    313 │       nondia │    100 │   1.05e-13 │  1.28e-07 │     12 │      9 │      0 │      8 │  4.40e-04 │ first_order │
│    314 │     nondquar │    100 │   2.70e-06 │  7.82e-06 │     94 │     31 │      0 │     30 │  1.53e-02 │ first_order │
│    315 │     osborne1 │      5 │   2.82e-05 │  9.44e-06 │    171 │     53 │      0 │     55 │  7.81e-03 │ first_order │
│    316 │     osborne2 │     11 │   2.01e-02 │  5.34e-06 │     26 │     19 │      0 │     18 │  2.01e-02 │ first_order │
│    317 │     palmer1c │      8 │   4.88e-02 │  1.57e-08 │      8 │      8 │      0 │      7 │  6.60e-03 │ first_order │
│    318 │     palmer1d │      7 │   3.26e-01 │  6.82e-09 │      7 │      7 │      0 │      6 │  3.94e-03 │ first_order │
│    319 │     palmer2c │      8 │   7.21e-03 │  9.99e-06 │      7 │      7 │      0 │      6 │  3.90e-03 │ first_order │
│    320 │     palmer3c │      8 │   9.77e-03 │  6.61e-06 │      7 │      7 │      0 │      6 │  3.84e-03 │ first_order │
│    321 │     palmer4c │      8 │   2.85e-02 │  6.92e-08 │      9 │      9 │      0 │      8 │  5.00e-03 │ first_order │
│    322 │     palmer5c │      6 │   1.06e+00 │  9.22e-07 │      7 │      7 │      0 │      6 │  2.25e-04 │ first_order │
│    324 │     palmer6c │      8 │   8.19e-03 │  8.76e-08 │      9 │      9 │      0 │      8 │  2.90e-03 │ first_order │
│    325 │     palmer7c │      8 │   3.01e-01 │  1.50e-08 │     13 │     13 │      0 │     12 │  4.33e-03 │ first_order │
│    326 │     palmer8c │      8 │   7.99e-02 │  6.40e-06 │     12 │     12 │      0 │     11 │  3.40e-03 │ first_order │
│    327 │     penalty1 │    100 │   4.51e-04 │  9.69e-06 │     54 │     32 │      0 │     31 │  3.08e-03 │ first_order │
│    328 │     penalty2 │    100 │   9.71e+04 │  8.67e-06 │     19 │     19 │      0 │     18 │  1.27e-02 │ first_order │
│    329 │     penalty3 │    100 │   6.38e+05 │  3.06e+05 │  11625 │  10032 │      0 │  10043 │  3.00e+01 │    max_time │
│    335 │     powellsg │    100 │   6.13e-08 │  8.57e-06 │     18 │     18 │      0 │     17 │  2.23e-03 │ first_order │
│    336 │        power │    100 │   1.50e-08 │  7.99e-06 │     24 │     24 │      0 │     23 │  3.68e-03 │ first_order │
│    337 │       quartc │    100 │   8.30e-08 │  6.24e-06 │     25 │     25 │      0 │     24 │  1.47e-03 │ first_order │
│    343 │      sbrybnd │    100 │   1.34e+00 │  1.75e-02 │    981 │    937 │      0 │    940 │  3.00e+01 │    max_time │
│    344 │     schmvett │    100 │  -2.94e+02 │  8.24e-06 │     14 │     12 │      0 │     11 │  5.02e-03 │ first_order │
│    345 │      scosine │    100 │  -9.90e+01 │  9.07e-06 │    358 │    240 │      0 │    251 │  1.48e+00 │ first_order │
│    346 │      sinquad │    100 │   6.16e-07 │  8.07e-06 │     65 │     33 │      0 │     34 │  5.91e-03 │ first_order │
│    347 │     sparsine │    100 │   4.64e-12 │  9.66e-06 │     87 │     34 │      0 │     35 │  7.12e-02 │ first_order │
│    348 │     sparsqur │    100 │   1.77e-08 │  6.42e-06 │     17 │     17 │      0 │     16 │  5.59e-03 │ first_order │
│    349 │     spmsrtls │    100 │   8.17e-11 │  9.01e-06 │     13 │     13 │      0 │     12 │  7.90e-03 │ first_order │
│    350 │     srosenbr │    100 │   3.08e-15 │  2.47e-06 │     60 │     26 │      0 │     27 │  1.98e-03 │ first_order │
│    360 │      thurber │      7 │   2.82e+03 │  3.41e-07 │     58 │     41 │      0 │     40 │  1.05e-02 │ first_order │
│    361 │     tointgss │    100 │   9.71e+00 │  8.20e-06 │     35 │     13 │      0 │     14 │  4.46e-03 │ first_order │
│    362 │     tquartic │    100 │   4.90e-12 │  3.14e-07 │     15 │     13 │      0 │     12 │  1.09e-03 │ first_order │
│    367 │       tridia │    100 │   1.41e-13 │  9.26e-06 │      8 │      8 │      0 │      7 │  6.90e-03 │ first_order │
│    368 │       vardim │    100 │   2.36e-25 │  5.65e-10 │     26 │     26 │      0 │     25 │  2.35e-03 │ first_order │
│    369 │     vibrbeam │      8 │   7.82e-02 │  3.63e-06 │     33 │     32 │      0 │     31 │  5.70e-03 │ first_order │
│    370 │       watson │     31 │        Inf │       Inf │      0 │      0 │      0 │      0 │       Inf │   exception │
│    371 │        woods │    100 │   1.01e-15 │  2.82e-07 │     83 │     40 │      0 │     41 │  7.06e-03 │ first_order │
└────────┴──────────────┴────────┴────────────┴───────────┴────────┴────────┴────────┴────────┴───────────┴─────────────┘
┌────────┬──────────────┬────────┬───────────┬───────────┬─────────┬─────────┬────────┬─────────┬───────────┬─────────────┐
│     id │         name │      n │      f(x) │   ‖∇f(x)‖ │     # f │    # ∇f │  # ∇²f │    iter │         t │      status │
├────────┼──────────────┼────────┼───────────┼───────────┼─────────┼─────────┼────────┼─────────┼───────────┼─────────────┤
│     25 │         NZF1 │     91 │  2.09e+04 │  8.56e-06 │     293 │     287 │      0 │     270 │  8.52e-03 │ first_order │
│     38 │      arglina │    100 │  5.00e+01 │  7.84e-15 │       2 │       2 │      0 │       1 │  6.49e-04 │ first_order │
│     39 │      arglinb │    100 │  2.48e+01 │  4.98e-05 │   35174 │   35150 │      0 │   10256 │  3.00e+01 │    max_time │
│     40 │      arglinc │    100 │  5.11e+01 │  2.32e-04 │   36003 │   35979 │      0 │    9966 │  3.00e+01 │    max_time │
│     41 │      argtrig │    100 │ -9.90e+03 │  7.54e-06 │     116 │     114 │      0 │     103 │  5.59e-03 │ first_order │
│     42 │      arwhead │    100 │  0.00e+00 │  4.34e-06 │      20 │      14 │      0 │      12 │  5.14e-04 │ first_order │
│     45 │      bdqrtic │    100 │  1.89e+02 │  4.97e-06 │     115 │     103 │      0 │      90 │  7.39e-03 │ first_order │
│     50 │       biggs6 │      6 │       NaN │       NaN │ 3797620 │  292132 │      0 │  146064 │  3.00e+01 │    max_time │
│     55 │      brownal │    100 │  2.23e-09 │  1.58e-06 │      17 │       8 │      0 │       6 │  2.09e-03 │ first_order │
│     58 │    broyden3d │    100 │  3.56e-01 │  8.29e-06 │      53 │      51 │      0 │      44 │  1.40e-03 │ first_order │
│     59 │     broydn7d │    100 │  3.60e+01 │  9.82e-06 │     402 │     400 │      0 │     385 │  2.93e-02 │ first_order │
│     60 │       brybnd │    100 │  1.54e+00 │  5.36e-06 │      25 │      21 │      0 │      19 │  1.64e-03 │ first_order │
│     65 │     chainwoo │    100 │  1.00e+00 │  9.00e-06 │     951 │     936 │      0 │     874 │  3.75e-02 │ first_order │
│     67 │ chnrosnb_mod │    100 │  1.69e-12 │  8.70e-06 │     728 │     722 │      0 │     678 │  3.37e-02 │ first_order │
│     72 │     clplatea │    100 │ -9.15e-03 │  9.75e-06 │      74 │      74 │      0 │      70 │  3.29e-03 │ first_order │
│     73 │     clplateb │    100 │ -6.20e-03 │  5.93e-06 │      58 │      58 │      0 │      57 │  2.35e-03 │ first_order │
│     74 │     clplatec │    100 │ -5.11e-03 │  9.24e-06 │     542 │     537 │      0 │     513 │  2.21e-02 │ first_order │
│     76 │       cosine │    100 │ -9.90e+01 │  1.00e-06 │      15 │      15 │      0 │      11 │  4.24e-04 │ first_order │
│     77 │     cragglvy │    100 │  3.23e+01 │  9.36e-06 │      93 │      84 │      0 │      81 │  5.17e-03 │ first_order │
│     78 │    cragglvy2 │    100 │  2.52e+01 │  8.92e-06 │     121 │     112 │      0 │     105 │  6.64e-03 │ first_order │
│     79 │        curly │    100 │ -1.00e+04 │  9.34e-06 │    1149 │    1140 │      0 │    1105 │  4.59e-02 │ first_order │
│     80 │      curly10 │    100 │ -1.00e+04 │  9.34e-06 │    1149 │    1140 │      0 │    1105 │  4.66e-02 │ first_order │
│     81 │      curly20 │    100 │ -1.00e+04 │  9.22e-06 │    1335 │    1332 │      0 │    1256 │  7.21e-02 │ first_order │
│     82 │      curly30 │    100 │ -1.00e+04 │  9.75e-06 │    1495 │    1491 │      0 │    1408 │  9.45e-02 │ first_order │
│     84 │     dixmaane │     99 │  1.00e+00 │  7.83e-06 │      62 │      61 │      0 │      58 │  3.05e-03 │ first_order │
│     85 │     dixmaanf │     99 │  1.00e+00 │  6.94e-06 │      57 │      55 │      0 │      49 │  2.71e-03 │ first_order │
│     86 │     dixmaang │     99 │  1.00e+00 │  9.82e-06 │      59 │      56 │      0 │      53 │  2.71e-03 │ first_order │
│     87 │     dixmaanh │     99 │  1.00e+00 │  7.37e-06 │      66 │      63 │      0 │      59 │  3.20e-03 │ first_order │
│     88 │     dixmaani │     99 │  1.00e+00 │  9.64e-06 │     244 │     243 │      0 │     234 │  1.38e-02 │ first_order │
│     89 │     dixmaanj │     99 │  1.00e+00 │  8.14e-06 │     259 │     257 │      0 │     249 │  1.43e-02 │ first_order │
│     90 │     dixmaank │     99 │  1.00e+00 │  9.84e-06 │     215 │     213 │      0 │     203 │  1.15e-02 │ first_order │
│     91 │     dixmaanl │     99 │  1.00e+00 │  9.11e-06 │     184 │     181 │      0 │     173 │  9.73e-03 │ first_order │
│     92 │     dixmaanm │     99 │  1.00e+00 │  8.98e-06 │     364 │     363 │      0 │     352 │  2.35e-02 │ first_order │
│     93 │     dixmaann │     99 │  1.00e+00 │  9.25e-06 │     313 │     312 │      0 │     302 │  1.92e-02 │ first_order │
│     94 │     dixmaano │     99 │  1.00e+00 │  8.10e-06 │     251 │     249 │      0 │     242 │  1.56e-02 │ first_order │
│     95 │     dixmaanp │     99 │  1.00e+00 │  9.42e-06 │     306 │     303 │      0 │     295 │  1.81e-02 │ first_order │
│     96 │     dixon3dq │    100 │  6.97e-09 │  9.50e-06 │     519 │     519 │      0 │     501 │  5.71e-03 │ first_order │
│     97 │      dqdrtic │    100 │  6.55e-16 │  5.54e-07 │      22 │      16 │      0 │      13 │  5.34e-04 │ first_order │
│     98 │       dqrtic │    100 │  8.25e-08 │  6.42e-06 │      44 │      34 │      0 │      32 │  5.77e-04 │ first_order │
│    100 │      edensch │    100 │  6.03e+02 │  1.39e-06 │      27 │      25 │      0 │      21 │  8.22e-04 │ first_order │
│    101 │          eg2 │    100 │ -9.89e+01 │  1.01e-10 │      10 │       6 │      0 │       4 │  1.93e-04 │ first_order │
│    103 │      engval1 │    100 │  1.09e+02 │  4.65e-06 │      30 │      26 │      0 │      21 │  8.86e-04 │ first_order │
│    104 │         enso │      9 │  3.94e+02 │  5.33e-06 │      43 │      39 │      0 │      35 │  1.01e-02 │ first_order │
│    105 │ errinros_mod │    100 │  3.88e+01 │  7.85e-06 │     568 │     523 │      0 │     407 │  2.47e-02 │ first_order │
│    106 │     extrosnb │    100 │  1.03e-13 │  8.20e-06 │      42 │      36 │      0 │      33 │  6.22e-04 │ first_order │
│    107 │     fletcbv2 │    100 │ -5.14e-01 │  8.92e-06 │     217 │     217 │      0 │     206 │  5.65e-03 │ first_order │
│    108 │ fletcbv3_mod │    100 │ -2.03e+00 │  8.77e-06 │      41 │      36 │      0 │      28 │  2.51e-03 │ first_order │
│    109 │     fletchcr │    100 │  8.01e-12 │  9.88e-06 │     435 │     430 │      0 │     404 │  8.25e-03 │ first_order │
│    110 │     fminsrf2 │    100 │  1.00e+02 │  7.09e-06 │     156 │     155 │      0 │     148 │  5.95e-03 │ first_order │
│    111 │     freuroth │    100 │  5.98e+03 │  6.06e-06 │      36 │      30 │      0 │      27 │  1.73e-03 │ first_order │
│    112 │       gauss1 │      8 │  6.58e+02 │  2.95e-04 │  145584 │  145206 │      0 │   88761 │  3.00e+01 │    max_time │
│    113 │       gauss2 │      8 │  6.24e+02 │  4.54e-04 │  148111 │  147516 │      0 │   89542 │  3.00e+01 │    max_time │
│    114 │       gauss3 │      8 │  6.22e+02 │  3.08e-04 │  147981 │  146534 │      0 │   94591 │  3.00e+01 │    max_time │
│    116 │     genhumps │    100 │  1.75e-10 │  8.35e-06 │    1468 │    1318 │      0 │    1116 │  9.08e-02 │ first_order │
│    117 │      genrose │    100 │  1.00e+00 │  7.10e-06 │     282 │     275 │      0 │     254 │  6.37e-03 │ first_order │
│    118 │ genrose_nash │    100 │  1.00e+00 │  6.64e-06 │     318 │     305 │      0 │     275 │  7.81e-03 │ first_order │
│    120 │        hahn1 │      7 │  2.78e+04 │  2.07e-10 │       2 │       2 │      0 │       1 │  2.85e-04 │ first_order │
│    285 │    indef_mod │    100 │ -9.84e+03 │  3.16e-06 │     213 │     197 │      0 │     151 │  7.82e-03 │ first_order │
│    286 │     integreq │    100 │  3.70e-11 │  8.83e-06 │       6 │       6 │      0 │       5 │  1.13e-02 │ first_order │
│    288 │       kirby2 │      5 │  1.95e+00 │  9.99e-06 │  181875 │  181356 │      0 │  131516 │  1.06e+01 │ first_order │
│    290 │     lanczos1 │      6 │  2.15e-06 │  2.88e-06 │     120 │     108 │      0 │      90 │  1.91e-03 │ first_order │
│    291 │     lanczos2 │      6 │  2.15e-06 │  9.26e-06 │      94 │      86 │      0 │      70 │  1.51e-03 │ first_order │
│    292 │     lanczos3 │      6 │  2.17e-06 │  3.09e-06 │     109 │     103 │      0 │      91 │  1.74e-03 │ first_order │
│    293 │      liarwhd │    100 │  4.99e-16 │  8.77e-07 │      33 │      23 │      0 │      19 │  7.82e-04 │ first_order │
│    301 │        mgh17 │      5 │  5.52e-02 │  7.40e-07 │      38 │      30 │      0 │      22 │  2.94e-04 │ first_order │
│    306 │       morebv │    100 │  5.35e-07 │  9.80e-06 │    5359 │    5358 │      0 │    5204 │  2.26e-01 │ first_order │
│    308 │        ncb20 │    100 │  1.67e+02 │  9.57e-06 │    1399 │    1386 │      0 │    1280 │  2.40e-01 │ first_order │
│    309 │       ncb20b │    100 │  1.97e+02 │  9.11e-06 │    3047 │    3038 │      0 │    2789 │  7.05e-01 │ first_order │
│    311 │     noncvxu2 │    100 │  2.32e+02 │  8.24e-06 │     554 │     552 │      0 │     540 │  1.84e-02 │ first_order │
│    312 │     noncvxun │    100 │  2.32e+02 │  9.39e-06 │     339 │     337 │      0 │     325 │  1.09e-02 │ first_order │
│    313 │       nondia │    100 │  1.03e-14 │  1.90e-06 │      35 │      25 │      0 │      20 │  4.70e-04 │ first_order │
│    314 │     nondquar │    100 │  2.19e-06 │  8.93e-06 │    1843 │    1758 │      0 │    1602 │  2.68e-02 │ first_order │
│    315 │     osborne1 │      5 │  2.34e-02 │  1.42e-01 │ 2094759 │  167411 │      0 │   85747 │  3.00e+01 │    max_time │
│    316 │     osborne2 │     11 │  2.01e-02 │  8.69e-06 │     201 │     200 │      0 │     181 │  1.48e-02 │ first_order │
│    317 │     palmer1c │      8 │  4.88e-02 │  9.53e-05 │  387233 │  371093 │      0 │  247207 │  3.00e+01 │    max_time │
│    318 │     palmer1d │      7 │  3.26e-01 │  1.45e-05 │  463335 │  457848 │      0 │  301026 │  3.00e+01 │    max_time │
│    319 │     palmer2c │      8 │  7.21e-03 │  1.78e-04 │  602015 │  567831 │      0 │  383527 │  3.00e+01 │    max_time │
│    320 │     palmer3c │      8 │  9.77e-03 │  1.54e-05 │  596792 │  580382 │      0 │  494561 │  3.00e+01 │    max_time │
│    321 │     palmer4c │      8 │  2.85e-02 │  9.97e-06 │  114426 │   99948 │      0 │   73896 │  5.70e+00 │ first_order │
│    322 │     palmer5c │      6 │  1.06e+00 │  4.58e-06 │      17 │      16 │      0 │      14 │  1.02e-04 │ first_order │
│    324 │     palmer6c │      8 │  8.19e-03 │  9.64e-06 │   62872 │   51340 │      0 │   41763 │  1.80e+00 │ first_order │
│    325 │     palmer7c │      8 │  3.01e-01 │  1.00e-05 │  129010 │  104386 │      0 │   88554 │  3.70e+00 │ first_order │
│    326 │     palmer8c │      8 │  7.99e-02 │  9.93e-06 │   51271 │   42259 │      0 │   34893 │  1.35e+00 │ first_order │
│    327 │     penalty1 │    100 │  4.51e-04 │  5.98e-06 │     148 │     128 │      0 │     105 │  2.45e-03 │ first_order │
│    328 │     penalty2 │    100 │  9.71e+04 │  6.47e-06 │      86 │      73 │      0 │      68 │  6.34e-03 │ first_order │
│    329 │     penalty3 │    100 │  1.00e+00 │  9.79e-06 │     138 │     123 │      0 │     106 │  1.03e-02 │ first_order │
│    335 │     powellsg │    100 │  2.65e-09 │  8.19e-06 │      64 │      53 │      0 │      45 │  1.02e-03 │ first_order │
│    336 │        power │    100 │  1.59e-08 │  8.09e-06 │      61 │      47 │      0 │      45 │  6.33e-04 │ first_order │
│    337 │       quartc │    100 │  8.25e-08 │  6.42e-06 │      44 │      34 │      0 │      32 │  5.25e-04 │ first_order │
│    343 │      sbrybnd │    100 │  1.54e+00 │  1.00e-05 │   10533 │   10513 │      0 │   10148 │  9.82e-01 │ first_order │
│    344 │     schmvett │    100 │ -2.94e+02 │  4.59e-06 │      23 │      23 │      0 │      20 │  1.51e-03 │ first_order │
│    345 │      scosine │    100 │ -2.68e+01 │  9.60e+20 │  388172 │   70588 │      0 │   35289 │  3.00e+01 │    max_time │
│    346 │      sinquad │    100 │  7.38e-10 │  8.97e-06 │      80 │      73 │      0 │      63 │  2.57e-03 │ first_order │
│    347 │     sparsine │    100 │  2.03e-12 │  8.15e-06 │     491 │     477 │      0 │     443 │  4.57e-02 │ first_order │
│    348 │     sparsqur │    100 │  2.35e-08 │  8.11e-06 │      30 │      25 │      0 │      23 │  1.34e-03 │ first_order │
│    349 │     spmsrtls │    100 │  5.65e-11 │  7.86e-06 │      71 │      71 │      0 │      66 │  3.35e-03 │ first_order │
│    350 │     srosenbr │    100 │  7.23e-16 │  5.95e-07 │      52 │      45 │      0 │      39 │  7.73e-04 │ first_order │
│    360 │      thurber │      7 │  2.82e+03 │  9.99e-06 │  935427 │  934872 │      0 │  633030 │  1.92e+01 │ first_order │
│    361 │     tointgss │    100 │  9.71e+00 │  9.77e-06 │      18 │      18 │      0 │      14 │  9.12e-04 │ first_order │
│    362 │     tquartic │    100 │  3.16e-18 │  7.91e-09 │      26 │      24 │      0 │      18 │  5.16e-04 │ first_order │
│    367 │       tridia │    100 │  1.55e-12 │  9.67e-06 │     201 │     197 │      0 │     188 │  4.89e-03 │ first_order │
│    368 │       vardim │    100 │  1.90e-23 │  3.91e-11 │      68 │      44 │      0 │      39 │  1.36e-03 │ first_order │
│    369 │     vibrbeam │      8 │  4.83e+00 │  5.87e-03 │ 1527977 │ 1522789 │      0 │ 1106699 │  3.00e+01 │    max_time │
│    370 │       watson │     31 │       NaN │       NaN │   52132 │    4012 │      0 │    2006 │  3.00e+01 │    max_time │
│    371 │        woods │    100 │  2.12e-16 │  2.19e-07 │      84 │      75 │      0 │      59 │  1.79e-03 │ first_order │
└────────┴──────────────┴────────┴───────────┴───────────┴─────────┴─────────┴────────┴─────────┴───────────┴─────────────┘
first_order(df) = df.status .== :first_order
unbounded(df) = df.status .== :unbounded
solved(df) = first_order(df) .| unbounded(df)
costnames = ["time", "obj + grad + hess"]
costs = [
df -> .!solved(df) .* Inf .+ df.elapsed_time,
df -> .!solved(df) .* Inf .+ df.neval_obj .+ df.neval_grad .+ df.neval_hess,
]

using Plots
gr()

profile_solvers(stats, costs, costnames)

It is also possible to select problems when initializing the problem list by filtering OptimizationProblems.meta:

meta = OptimizationProblems.meta
problem_list = meta[(meta.ncon .== 0) .& .!meta.has_bounds .& (5 .<= meta.nvar .<= 100), :name]
problems = (MathOptNLPModel(eval(Meta.parse(problem))(), name=problem) for problem ∈ problem_list)