# Run a benchmark with OptimizationProblems.jl

In this more advanced tutorial, we use the problems from OptimizationProblems to run a benchmark for unconstrained problems. The tutorial will use:

• JSOSolvers: This package provides optimization solvers in pure Julia for unconstrained and bound-constrained optimization.
• NLPModelsJuMP: This package convert JuMP model in NLPModel format.
• SolverBenchmark: This package provides general tools for benchmarking solvers.
using JSOSolvers, NLPModels, NLPModelsJuMP, OptimizationProblems, SolverBenchmark
using OptimizationProblems.PureJuMP

We select the problems from PureJuMP submodule of OptimizationProblems converted in NLPModels using NLPModelsJuMP.

problems = (MathOptNLPModel(OptimizationProblems.PureJuMP.eval(Meta.parse(problem))(), name=problem) for problem ∈ OptimizationProblems.meta[!, :name])
Base.Generator{Vector{String}, Main.var"#1#2"}(Main.var"#1#2"(), ["AMPGO02", "AMPGO03", "AMPGO04", "AMPGO05", "AMPGO06", "AMPGO07", "AMPGO08", "AMPGO09", "AMPGO10", "AMPGO11"  …  "triangle", "triangle_deer", "triangle_pacman", "triangle_turtle", "tridia", "vardim", "vibrbeam", "watson", "woods", "zangwil3"])

The same can be achieved using OptimizationProblems.ADNLPProblems instead of OptimizationProblems.PureJuMP as follows:

using ADNLPModels
ad_problems = (OptimizationProblems.ADNLPProblems.eval(Meta.parse(problem))() for problem ∈ OptimizationProblems.meta[!, :name])
Base.Generator{Vector{String}, Main.var"#3#4"}(Main.var"#3#4"(), ["AMPGO02", "AMPGO03", "AMPGO04", "AMPGO05", "AMPGO06", "AMPGO07", "AMPGO08", "AMPGO09", "AMPGO10", "AMPGO11"  …  "triangle", "triangle_deer", "triangle_pacman", "triangle_turtle", "tridia", "vardim", "vibrbeam", "watson", "woods", "zangwil3"])

We also define a dictionary of solvers that will be used for our benchmark. We consider here JSOSolvers.lbfgs and JSOSolvers.trunk.

solvers = Dict(
:lbfgs => model -> lbfgs(model, mem=5, atol=1e-5, rtol=0.0),
:trunk => model -> trunk(model, atol=1e-5, rtol=0.0),
)
Dict{Symbol, Function} with 2 entries:
:trunk => #6
:lbfgs => #5

The function SolverBenchmark.bmak_solvers will run all the problems on the specified solvers and store the results in a DataFrame. At this stage, we discard the problems that have constraints or bounds using !unconstrained(prob), and those that are too large or too small with get_nvar(prob) > 100 || get_nvar(prob) < 5.

stats = bmark_solvers(
solvers, problems,
skipif=prob -> (!unconstrained(prob) || get_nvar(prob) > 100 || get_nvar(prob) < 5),
)
Dict{Symbol, DataFrames.DataFrame} with 2 entries:
:trunk => 105×40 DataFrame…
:lbfgs => 105×40 DataFrame…

We can explore the results solver by solver in stats[:lbfgs] and stats[:trunk], or get a profile wall using SolverBenchmark.profile_solvers.

cols = [:id, :name, :nvar, :objective, :dual_feas, :neval_obj, :neval_grad, :neval_hess, :iter, :elapsed_time, :status]
:nvar => "n",
:objective => "f(x)",
:dual_feas => "‖∇f(x)‖",
:neval_obj => "# f",
:neval_hess => "# ∇²f",
:elapsed_time => "t",
)

for solver ∈ keys(solvers)
end
┌────────┬──────────────┬────────┬───────────┬───────────┬────────┬────────┬────────┬────────┬───────────┬─────────────┐
│     id │         name │      n │      f(x) │   ‖∇f(x)‖ │    # f │   # ∇f │  # ∇²f │   iter │         t │      status │
├────────┼──────────────┼────────┼───────────┼───────────┼────────┼────────┼────────┼────────┼───────────┼─────────────┤
│     25 │         NZF1 │     91 │  2.09e+04 │  4.16e-07 │      9 │      9 │      0 │      8 │  5.94e-01 │ first_order │
│     38 │      arglina │    100 │  5.00e+01 │  3.66e-15 │      6 │      6 │      0 │      5 │  3.94e-03 │ first_order │
│     39 │      arglinb │    100 │  2.48e+01 │  1.94e-03 │    306 │    609 │      0 │    304 │  3.56e-03 │    not_desc │
│     40 │      arglinc │    100 │  5.11e+01 │  3.86e-03 │    307 │    611 │      0 │    305 │  3.43e-03 │    not_desc │
│     41 │      argtrig │    100 │ -9.90e+03 │  7.50e-06 │     38 │     26 │      0 │     25 │  3.49e-03 │ first_order │
│     42 │      arwhead │    100 │  0.00e+00 │  1.04e-06 │      6 │      6 │      0 │      5 │  4.17e-04 │ first_order │
│     45 │      bdqrtic │    100 │  1.89e+02 │  5.03e-06 │     13 │     13 │      0 │     12 │  5.08e-03 │ first_order │
│     50 │       biggs6 │      6 │ -3.91e+19 │  5.08e+19 │      8 │      8 │      0 │      7 │  1.74e-04 │   unbounded │
│     55 │      brownal │    100 │  1.90e-09 │  9.17e-07 │      3 │      3 │      0 │      2 │  8.22e-04 │ first_order │
│     58 │    broyden3d │    100 │  2.13e-13 │  3.57e-06 │      7 │      7 │      0 │      6 │  9.56e-04 │ first_order │
│     59 │     broydn7d │    100 │  3.95e+01 │  7.94e-06 │     63 │     22 │      0 │     21 │  3.56e-02 │ first_order │
│     60 │       brybnd │    100 │  3.08e-13 │  4.90e-06 │      9 │      9 │      0 │      8 │  2.05e-03 │ first_order │
│     65 │     chainwoo │    100 │  1.00e+00 │  6.60e-06 │    273 │     97 │      0 │    100 │  1.37e-01 │ first_order │
│     67 │ chnrosnb_mod │    100 │  1.54e-12 │  8.21e-06 │    169 │     94 │      0 │     95 │  6.28e-02 │ first_order │
│     72 │     clplatea │    100 │ -9.15e-03 │  7.56e-06 │      6 │      6 │      0 │      5 │  2.91e-03 │ first_order │
│     73 │     clplateb │    100 │ -6.20e-03 │  9.70e-06 │      4 │      4 │      0 │      3 │  2.50e-03 │ first_order │
│     74 │     clplatec │    100 │ -5.11e-03 │  8.28e-06 │      5 │      5 │      0 │      4 │  7.41e-03 │ first_order │
│     76 │       cosine │    100 │ -9.90e+01 │  9.12e-06 │     10 │     10 │      0 │      9 │  5.08e-04 │ first_order │
│     77 │     cragglvy │    100 │  3.23e+01 │  7.75e-06 │     16 │     16 │      0 │     15 │  7.55e-03 │ first_order │
│     78 │    cragglvy2 │    100 │  2.52e+01 │  6.43e-06 │     18 │     18 │      0 │     17 │  1.05e-02 │ first_order │
│     79 │        curly │    100 │ -1.00e+04 │  6.39e-06 │     18 │     15 │      0 │     14 │  1.88e-02 │ first_order │
│     80 │      curly10 │    100 │ -1.00e+04 │  6.39e-06 │     18 │     15 │      0 │     14 │  1.91e-02 │ first_order │
│     81 │      curly20 │    100 │ -1.00e+04 │  7.61e-06 │     18 │     14 │      0 │     13 │  1.93e-02 │ first_order │
│     82 │      curly30 │    100 │ -1.00e+04 │  8.19e-06 │     29 │     15 │      0 │     14 │  2.05e-02 │ first_order │
│     84 │     dixmaane │     99 │  1.00e+00 │  8.12e-06 │     39 │     16 │      0 │     15 │  6.29e-03 │ first_order │
│     85 │     dixmaanf │     99 │  1.00e+00 │  9.59e-06 │     11 │     11 │      0 │     10 │  3.54e-03 │ first_order │
│     86 │     dixmaang │     99 │  1.00e+00 │  9.88e-06 │     43 │     15 │      0 │     16 │  5.96e-03 │ first_order │
│     87 │     dixmaanh │     99 │  1.00e+00 │  7.74e-06 │     37 │     15 │      0 │     16 │  5.06e-03 │ first_order │
│     88 │     dixmaani │     99 │  1.00e+00 │  7.70e-06 │     15 │     13 │      0 │     12 │  1.79e-02 │ first_order │
│     89 │     dixmaanj │     99 │  1.00e+00 │  9.64e-06 │     39 │     17 │      0 │     18 │  1.87e-02 │ first_order │
│     90 │     dixmaank │     99 │  1.00e+00 │  8.64e-06 │     37 │     15 │      0 │     16 │  1.57e-02 │ first_order │
│     91 │     dixmaanl │     99 │  1.00e+00 │  9.88e-06 │     56 │     18 │      0 │     19 │  1.72e-02 │ first_order │
│     92 │     dixmaanm │     99 │  1.00e+00 │  9.08e-06 │      9 │      9 │      0 │      8 │  1.51e-02 │ first_order │
│     93 │     dixmaann │     99 │  1.00e+00 │  9.98e-06 │     43 │     20 │      0 │     21 │  2.74e-02 │ first_order │
│     94 │     dixmaano │     99 │  1.00e+00 │  9.62e-06 │     39 │     17 │      0 │     18 │  2.25e-02 │ first_order │
│     95 │     dixmaanp │     99 │  1.00e+00 │  9.08e-06 │     39 │     17 │      0 │     18 │  2.31e-02 │ first_order │
│     96 │     dixon3dq │    100 │  3.83e-10 │  9.84e-06 │     10 │     10 │      0 │      9 │  1.63e-03 │ first_order │
│     97 │      dqdrtic │    100 │  1.37e-14 │  9.42e-07 │      6 │      6 │      0 │      5 │  3.78e-04 │ first_order │
│     98 │       dqrtic │    100 │  8.30e-08 │  6.24e-06 │     25 │     25 │      0 │     24 │  8.21e-04 │ first_order │
│    100 │      edensch │    100 │  6.03e+02 │  4.70e-06 │      9 │      9 │      0 │      8 │  1.12e-03 │ first_order │
│    101 │          eg2 │    100 │ -9.89e+01 │  1.42e-09 │      4 │      4 │      0 │      3 │  1.57e-04 │ first_order │
│    103 │      engval1 │    100 │  1.09e+02 │  4.98e-06 │     10 │     10 │      0 │      9 │  9.88e-04 │ first_order │
│    104 │         enso │      9 │  3.94e+02 │  9.19e-06 │     39 │     17 │      0 │     18 │  1.97e-02 │ first_order │
│    105 │ errinros_mod │    100 │  3.88e+01 │  5.54e-06 │    117 │     76 │      0 │     77 │  3.49e-02 │ first_order │
│    106 │     extrosnb │    100 │  1.94e-06 │  9.89e-06 │    936 │    253 │      0 │    252 │  4.77e-02 │ first_order │
│    107 │     fletcbv2 │    100 │ -5.14e-01 │  8.49e-06 │      5 │      5 │      0 │      4 │  2.24e-03 │ first_order │
│    108 │ fletcbv3_mod │    100 │ -2.04e+00 │  1.73e-07 │    166 │     62 │      0 │     63 │  1.26e-02 │ first_order │
│    109 │     fletchcr │    100 │  6.61e-12 │  8.30e-06 │     99 │     77 │      0 │     78 │  1.12e-02 │ first_order │
│    110 │     fminsrf2 │    100 │  1.00e+02 │  7.59e-06 │    190 │     45 │      0 │     46 │  1.44e-02 │ first_order │
│    111 │     freuroth │    100 │  5.94e+03 │  2.30e-06 │     48 │     16 │      0 │     17 │  3.80e-03 │ first_order │
│    112 │       gauss1 │      8 │  6.58e+02 │  9.67e-06 │     12 │     12 │      0 │     11 │  1.14e-02 │ first_order │
│    113 │       gauss2 │      8 │  6.24e+02 │  7.74e-06 │     14 │     14 │      0 │     13 │  1.36e-02 │ first_order │
│    114 │       gauss3 │      8 │  6.22e+02 │  3.26e-05 │    345 │    609 │      0 │    311 │  1.77e-02 │    not_desc │
│    116 │     genhumps │    100 │  2.18e-10 │  8.60e-06 │  10741 │   3385 │      0 │   3398 │  1.07e+00 │ first_order │
│    117 │      genrose │    100 │  1.00e+00 │  6.62e-06 │    159 │     60 │      0 │     61 │  1.24e-02 │ first_order │
│    118 │ genrose_nash │    100 │  1.00e+00 │  4.93e-06 │    195 │     66 │      0 │     67 │  1.37e-02 │ first_order │
│    120 │        hahn1 │      7 │  7.66e-01 │  1.98e-05 │    518 │    681 │      0 │    404 │  1.41e-01 │    not_desc │
│    285 │    indef_mod │    100 │ -9.97e+03 │  8.93e-06 │    239 │    213 │      0 │    214 │  1.92e-02 │ first_order │
│    286 │     integreq │    100 │  4.47e-13 │  9.84e-07 │      4 │      4 │      0 │      3 │  2.45e-02 │ first_order │
│    288 │       kirby2 │      5 │  1.95e+00 │  8.50e-07 │     32 │     30 │      0 │     29 │  8.30e-03 │ first_order │
│    290 │     lanczos1 │      6 │  1.05e-06 │  6.96e-06 │    118 │     37 │      0 │     38 │  3.35e-03 │ first_order │
│    291 │     lanczos2 │      6 │  9.83e-07 │  9.41e-06 │    121 │     35 │      0 │     36 │  3.27e-03 │ first_order │
│    292 │     lanczos3 │      6 │  1.16e-06 │  7.97e-06 │    120 │     38 │      0 │     39 │  3.42e-03 │ first_order │
│    293 │      liarwhd │    100 │  1.42e-13 │  7.82e-06 │     11 │     11 │      0 │     10 │  9.90e-04 │ first_order │
│    301 │        mgh17 │      5 │  5.52e-02 │  1.56e-06 │     31 │      8 │      0 │      9 │  3.45e-04 │ first_order │
│    306 │       morebv │    100 │  1.43e-06 │  9.87e-06 │     16 │     16 │      0 │     15 │  8.84e-02 │ first_order │
│    308 │        ncb20 │    100 │  1.62e+02 │  7.36e-06 │    125 │     27 │      0 │     26 │  6.41e-02 │ first_order │
│    309 │       ncb20b │    100 │  1.97e+02 │  9.63e-06 │     39 │     15 │      0 │     16 │  1.46e-01 │ first_order │
│    311 │     noncvxu2 │    100 │  2.34e+02 │  9.94e-06 │    137 │     35 │      0 │     36 │  1.39e-02 │ first_order │
│    312 │     noncvxun │    100 │  2.35e+02 │  8.73e-06 │    138 │     37 │      0 │     38 │  9.50e-03 │ first_order │
│    313 │       nondia │    100 │  1.05e-13 │  1.28e-07 │     12 │      9 │      0 │      8 │  2.92e-04 │ first_order │
│    314 │     nondquar │    100 │  3.91e-06 │  9.10e-06 │    146 │     54 │      0 │     55 │  1.19e-02 │ first_order │
│    315 │     osborne1 │      5 │  2.82e-05 │  9.44e-06 │    171 │     53 │      0 │     55 │  5.03e-03 │ first_order │
│    316 │     osborne2 │     11 │  2.01e-02 │  5.36e-06 │     26 │     19 │      0 │     18 │  1.25e-02 │ first_order │
│    317 │     palmer1c │      8 │  4.88e-02 │  3.36e-08 │      8 │      8 │      0 │      7 │  4.15e-03 │ first_order │
│    318 │     palmer1d │      7 │  3.26e-01 │  4.77e-09 │      8 │      8 │      0 │      7 │  2.59e-03 │ first_order │
│    319 │     palmer2c │      8 │  7.21e-03 │  2.88e-07 │      7 │      7 │      0 │      6 │  2.60e-03 │ first_order │
│    320 │     palmer3c │      8 │  9.77e-03 │  3.72e-06 │      8 │      8 │      0 │      7 │  2.50e-03 │ first_order │
│    321 │     palmer4c │      8 │  2.85e-02 │  3.50e-09 │     10 │     10 │      0 │      9 │  3.29e-03 │ first_order │
│    322 │     palmer5c │      6 │  1.06e+00 │  9.22e-07 │      7 │      7 │      0 │      6 │  1.58e-04 │ first_order │
│    324 │     palmer6c │      8 │  8.19e-03 │  9.45e-07 │      9 │      9 │      0 │      8 │  1.81e-03 │ first_order │
│    325 │     palmer7c │      8 │  3.01e-01 │  8.19e-07 │     14 │     14 │      0 │     13 │  2.83e-03 │ first_order │
│    326 │     palmer8c │      8 │  7.99e-02 │  6.24e-06 │     11 │     11 │      0 │     10 │  2.04e-03 │ first_order │
│    327 │     penalty1 │    100 │  4.51e-04 │  9.69e-06 │     54 │     32 │      0 │     31 │  1.85e-03 │ first_order │
│    328 │     penalty2 │    100 │  9.71e+04 │  8.67e-06 │     19 │     19 │      0 │     18 │  7.90e-03 │ first_order │
│    329 │     penalty3 │    100 │  5.90e+05 │  2.95e+05 │  19089 │  17734 │      0 │  17452 │  3.00e+01 │    not_desc │
│    335 │     powellsg │    100 │  6.13e-08 │  8.57e-06 │     18 │     18 │      0 │     17 │  1.14e-03 │ first_order │
│    336 │        power │    100 │  1.50e-08 │  7.99e-06 │     24 │     24 │      0 │     23 │  2.24e-03 │ first_order │
│    337 │       quartc │    100 │  8.30e-08 │  6.24e-06 │     25 │     25 │      0 │     24 │  8.13e-04 │ first_order │
│    343 │      sbrybnd │    100 │  1.34e+00 │  2.44e-04 │   1592 │   1548 │      0 │   1551 │  3.00e+01 │    max_time │
│    344 │     schmvett │    100 │ -2.94e+02 │  8.24e-06 │     14 │     12 │      0 │     11 │  3.09e-03 │ first_order │
│    345 │      scosine │    100 │ -9.90e+01 │  9.77e-06 │    457 │    309 │      0 │    320 │  1.19e+00 │ first_order │
│    346 │      sinquad │    100 │  6.11e-07 │  8.37e-06 │     65 │     33 │      0 │     34 │  3.80e-03 │ first_order │
│    347 │     sparsine │    100 │  2.11e-12 │  8.42e-06 │     81 │     33 │      0 │     34 │  3.46e-02 │ first_order │
│    348 │     sparsqur │    100 │  1.77e-08 │  6.42e-06 │     17 │     17 │      0 │     16 │  3.22e-03 │ first_order │
│    349 │     spmsrtls │    100 │  8.17e-11 │  9.01e-06 │     13 │     13 │      0 │     12 │  4.78e-03 │ first_order │
│    350 │     srosenbr │    100 │  3.08e-15 │  2.47e-06 │     60 │     26 │      0 │     27 │  1.28e-03 │ first_order │
│    360 │      thurber │      7 │  2.82e+03 │  2.44e-07 │     58 │     41 │      0 │     40 │  6.17e-03 │ first_order │
│    361 │     tointgss │    100 │  9.71e+00 │  8.20e-06 │     35 │     13 │      0 │     14 │  2.68e-03 │ first_order │
│    362 │     tquartic │    100 │  4.90e-12 │  3.14e-07 │     15 │     13 │      0 │     12 │  7.24e-04 │ first_order │
│    367 │       tridia │    100 │  1.37e-13 │  9.00e-06 │      8 │      8 │      0 │      7 │  3.97e-03 │ first_order │
│    368 │       vardim │    100 │  2.76e-25 │  6.11e-10 │     26 │     26 │      0 │     25 │  1.37e-03 │ first_order │
│    369 │     vibrbeam │      8 │  7.82e-02 │  3.98e-06 │     33 │     32 │      0 │     31 │  3.25e-03 │ first_order │
│    370 │       watson │     31 │       Inf │       Inf │      0 │      0 │      0 │      0 │       Inf │   exception │
│    371 │        woods │    100 │  3.40e-12 │  2.52e-06 │     80 │     41 │      0 │     42 │  4.97e-03 │ first_order │
└────────┴──────────────┴────────┴───────────┴───────────┴────────┴────────┴────────┴────────┴───────────┴─────────────┘
┌────────┬──────────────┬────────┬───────────┬───────────┬─────────┬─────────┬────────┬─────────┬───────────┬─────────────┐
│     id │         name │      n │      f(x) │   ‖∇f(x)‖ │     # f │    # ∇f │  # ∇²f │    iter │         t │      status │
├────────┼──────────────┼────────┼───────────┼───────────┼─────────┼─────────┼────────┼─────────┼───────────┼─────────────┤
│     25 │         NZF1 │     91 │  2.09e+04 │  8.79e-06 │     296 │     290 │      0 │     274 │  6.20e-03 │ first_order │
│     38 │      arglina │    100 │  5.00e+01 │  7.84e-15 │       2 │       2 │      0 │       1 │  3.64e-04 │ first_order │
│     39 │      arglinb │    100 │  2.48e+01 │  5.34e-06 │     365 │     341 │      0 │     192 │  2.72e-01 │ first_order │
│     40 │      arglinc │    100 │  5.11e+01 │  2.32e-04 │   41223 │   41199 │      0 │   11010 │  3.00e+01 │    max_time │
│     41 │      argtrig │    100 │ -9.90e+03 │  7.54e-06 │     116 │     114 │      0 │     103 │  3.72e-03 │ first_order │
│     42 │      arwhead │    100 │  0.00e+00 │  4.34e-06 │      20 │      14 │      0 │      12 │  3.31e-04 │ first_order │
│     45 │      bdqrtic │    100 │  1.89e+02 │  9.04e-06 │     114 │     102 │      0 │      89 │  4.45e-03 │ first_order │
│     50 │       biggs6 │      6 │      -Inf │       Inf │       8 │       8 │      0 │       2 │  6.39e-05 │   unbounded │
│     55 │      brownal │    100 │  2.23e-09 │  1.58e-06 │      17 │       8 │      0 │       6 │  1.28e-03 │ first_order │
│     58 │    broyden3d │    100 │  3.56e-01 │  8.29e-06 │      53 │      51 │      0 │      44 │  1.06e-03 │ first_order │
│     59 │     broydn7d │    100 │  3.60e+01 │  8.78e-06 │     380 │     378 │      0 │     366 │  1.96e-02 │ first_order │
│     60 │       brybnd │    100 │  1.54e+00 │  5.36e-06 │      25 │      21 │      0 │      19 │  1.20e-03 │ first_order │
│     65 │     chainwoo │    100 │  1.66e+01 │  7.80e-06 │     980 │     965 │      0 │     906 │  2.52e-02 │ first_order │
│     67 │ chnrosnb_mod │    100 │  1.42e-12 │  9.76e-06 │     673 │     667 │      0 │     631 │  2.01e-02 │ first_order │
│     72 │     clplatea │    100 │ -9.15e-03 │  9.75e-06 │      74 │      74 │      0 │      70 │  2.16e-03 │ first_order │
│     73 │     clplateb │    100 │ -6.20e-03 │  5.93e-06 │      58 │      58 │      0 │      57 │  1.71e-03 │ first_order │
│     74 │     clplatec │    100 │ -5.11e-03 │  7.16e-06 │     536 │     531 │      0 │     504 │  1.39e-02 │ first_order │
│     76 │       cosine │    100 │ -9.90e+01 │  1.00e-06 │      15 │      15 │      0 │      11 │  2.75e-04 │ first_order │
│     77 │     cragglvy │    100 │  3.23e+01 │  9.36e-06 │      93 │      84 │      0 │      81 │  3.61e-03 │ first_order │
│     78 │    cragglvy2 │    100 │  2.52e+01 │  8.92e-06 │     121 │     112 │      0 │     105 │  4.52e-03 │ first_order │
│     79 │        curly │    100 │ -1.00e+04 │  9.74e-06 │    1152 │    1143 │      0 │    1099 │  3.27e-02 │ first_order │
│     80 │      curly10 │    100 │ -1.00e+04 │  9.74e-06 │    1152 │    1143 │      0 │    1099 │  3.30e-02 │ first_order │
│     81 │      curly20 │    100 │ -1.00e+04 │  8.92e-06 │    1326 │    1323 │      0 │    1264 │  4.66e-02 │ first_order │
│     82 │      curly30 │    100 │ -1.00e+04 │  7.56e-06 │    1561 │    1556 │      0 │    1472 │  6.53e-02 │ first_order │
│     84 │     dixmaane │     99 │  1.00e+00 │  7.83e-06 │      62 │      61 │      0 │      58 │  1.92e-03 │ first_order │
│     85 │     dixmaanf │     99 │  1.00e+00 │  6.94e-06 │      57 │      55 │      0 │      49 │  1.81e-03 │ first_order │
│     86 │     dixmaang │     99 │  1.00e+00 │  9.82e-06 │      59 │      56 │      0 │      53 │  1.78e-03 │ first_order │
│     87 │     dixmaanh │     99 │  1.00e+00 │  7.37e-06 │      66 │      63 │      0 │      59 │  1.97e-03 │ first_order │
│     88 │     dixmaani │     99 │  1.00e+00 │  9.08e-06 │     241 │     240 │      0 │     232 │  8.55e-03 │ first_order │
│     89 │     dixmaanj │     99 │  1.00e+00 │  9.06e-06 │     261 │     259 │      0 │     250 │  8.99e-03 │ first_order │
│     90 │     dixmaank │     99 │  1.00e+00 │  8.92e-06 │     213 │     211 │      0 │     201 │  7.53e-03 │ first_order │
│     91 │     dixmaanl │     99 │  1.00e+00 │  9.39e-06 │     181 │     178 │      0 │     172 │  6.28e-03 │ first_order │
│     92 │     dixmaanm │     99 │  1.00e+00 │  7.38e-06 │     372 │     371 │      0 │     358 │  1.51e-02 │ first_order │
│     93 │     dixmaann │     99 │  1.00e+00 │  8.81e-06 │     315 │     314 │      0 │     304 │  1.20e-02 │ first_order │
│     94 │     dixmaano │     99 │  1.00e+00 │  9.85e-06 │     247 │     245 │      0 │     238 │  9.40e-03 │ first_order │
│     95 │     dixmaanp │     99 │  1.00e+00 │  9.30e-06 │     307 │     304 │      0 │     294 │  1.16e-02 │ first_order │
│     96 │     dixon3dq │    100 │  7.83e-09 │  7.99e-06 │     455 │     455 │      0 │     444 │  3.33e-03 │ first_order │
│     97 │      dqdrtic │    100 │  6.55e-16 │  5.54e-07 │      22 │      16 │      0 │      13 │  3.35e-04 │ first_order │
│     98 │       dqrtic │    100 │  8.25e-08 │  6.42e-06 │      44 │      34 │      0 │      32 │  3.52e-04 │ first_order │
│    100 │      edensch │    100 │  6.03e+02 │  1.39e-06 │      27 │      25 │      0 │      21 │  5.92e-04 │ first_order │
│    101 │          eg2 │    100 │ -9.89e+01 │  1.01e-10 │      10 │       6 │      0 │       4 │  1.42e-04 │ first_order │
│    103 │      engval1 │    100 │  1.09e+02 │  4.65e-06 │      30 │      26 │      0 │      21 │  5.65e-04 │ first_order │
│    104 │         enso │      9 │  3.94e+02 │  5.33e-06 │      43 │      39 │      0 │      35 │  6.83e-03 │ first_order │
│    105 │ errinros_mod │    100 │  3.88e+01 │  6.14e-06 │     499 │     455 │      0 │     367 │  1.38e-02 │ first_order │
│    106 │     extrosnb │    100 │  1.03e-13 │  8.20e-06 │      42 │      36 │      0 │      33 │  4.15e-04 │ first_order │
│    107 │     fletcbv2 │    100 │ -5.14e-01 │  9.76e-06 │     204 │     204 │      0 │     194 │  3.43e-03 │ first_order │
│    108 │ fletcbv3_mod │    100 │ -2.03e+00 │  3.16e-06 │      43 │      39 │      0 │      28 │  1.82e-03 │ first_order │
│    109 │     fletchcr │    100 │  1.54e-12 │  7.66e-06 │     502 │     497 │      0 │     474 │  6.52e-03 │ first_order │
│    110 │     fminsrf2 │    100 │  1.00e+02 │  6.85e-06 │     156 │     155 │      0 │     148 │  3.93e-03 │ first_order │
│    111 │     freuroth │    100 │  5.98e+03 │  6.06e-06 │      36 │      30 │      0 │      27 │  1.18e-03 │ first_order │
│    112 │       gauss1 │      8 │  6.58e+02 │  4.15e-04 │  197628 │  197068 │      0 │  127327 │  3.00e+01 │    max_time │
│    113 │       gauss2 │      8 │  6.24e+02 │  2.11e-04 │  193867 │  193363 │      0 │  124862 │  3.00e+01 │    max_time │
│    114 │       gauss3 │      8 │  6.22e+02 │  1.49e-04 │  195700 │  194452 │      0 │  108647 │  3.00e+01 │    max_time │
│    116 │     genhumps │    100 │  4.38e-11 │  4.18e-06 │    1087 │     983 │      0 │     833 │  4.72e-02 │ first_order │
│    117 │      genrose │    100 │  1.00e+00 │  6.57e-06 │     284 │     279 │      0 │     253 │  4.42e-03 │ first_order │
│    118 │ genrose_nash │    100 │  1.00e+00 │  7.84e-06 │     324 │     310 │      0 │     278 │  5.09e-03 │ first_order │
│    120 │        hahn1 │      7 │  2.78e+04 │  2.07e-10 │       2 │       2 │      0 │       1 │  2.05e-04 │ first_order │
│    285 │    indef_mod │    100 │ -9.80e+03 │  6.65e-06 │     131 │     127 │      0 │     107 │  3.21e-03 │ first_order │
│    286 │     integreq │    100 │  3.70e-11 │  8.83e-06 │       6 │       6 │      0 │       5 │  7.98e-03 │ first_order │
│    288 │       kirby2 │      5 │  1.95e+00 │  9.95e-06 │    2569 │    2044 │      0 │    1685 │  9.97e-02 │ first_order │
│    290 │     lanczos1 │      6 │  2.15e-06 │  8.10e-06 │     110 │     105 │      0 │      86 │  1.42e-03 │ first_order │
│    291 │     lanczos2 │      6 │  2.16e-06 │  9.31e-06 │      98 │      88 │      0 │      71 │  1.24e-03 │ first_order │
│    292 │     lanczos3 │      6 │  2.17e-06 │  1.61e-06 │     144 │     126 │      0 │     110 │  1.82e-03 │ first_order │
│    293 │      liarwhd │    100 │  4.99e-16 │  8.77e-07 │      33 │      23 │      0 │      19 │  5.51e-04 │ first_order │
│    301 │        mgh17 │      5 │  5.52e-02 │  7.40e-07 │      38 │      30 │      0 │      22 │  2.35e-04 │ first_order │
│    306 │       morebv │    100 │  3.29e-07 │  9.74e-06 │    5901 │    5900 │      0 │    5707 │  1.68e-01 │ first_order │
│    308 │        ncb20 │    100 │  1.67e+02 │  8.68e-06 │     911 │     900 │      0 │     825 │  1.02e-01 │ first_order │
│    309 │       ncb20b │    100 │  1.97e+02 │  9.46e-06 │    3265 │    3258 │      0 │    2984 │  4.59e-01 │ first_order │
│    311 │     noncvxu2 │    100 │  2.32e+02 │  6.53e-06 │     688 │     686 │      0 │     668 │  1.44e-02 │ first_order │
│    312 │     noncvxun │    100 │  2.32e+02 │  7.10e-06 │     319 │     317 │      0 │     307 │  6.72e-03 │ first_order │
│    313 │       nondia │    100 │  1.03e-14 │  1.90e-06 │      35 │      25 │      0 │      20 │  3.06e-04 │ first_order │
│    314 │     nondquar │    100 │  2.21e-06 │  9.04e-06 │    2064 │    1971 │      0 │    1780 │  1.93e-02 │ first_order │
│    315 │     osborne1 │      5 │  2.34e-02 │  9.65e-02 │ 2256407 │ 2253010 │      0 │ 2025636 │  3.00e+01 │    max_time │
│    316 │     osborne2 │     11 │  2.01e-02 │  8.69e-06 │     275 │     274 │      0 │     251 │  1.57e-02 │ first_order │
│    317 │     palmer1c │      8 │  4.88e-02 │  1.09e-04 │  522005 │  479142 │      0 │  331492 │  3.00e+01 │    max_time │
│    318 │     palmer1d │      7 │  3.26e-01 │  1.27e-05 │  610601 │  606492 │      0 │  325135 │  3.00e+01 │    max_time │
│    319 │     palmer2c │      8 │  7.21e-03 │  9.44e-05 │  790196 │  773402 │      0 │  493347 │  3.00e+01 │    max_time │
│    320 │     palmer3c │      8 │  9.77e-03 │  8.94e-06 │  144555 │  132227 │      0 │   90319 │  5.46e+00 │ first_order │
│    321 │     palmer4c │      8 │  2.85e-02 │  1.11e-05 │  783917 │  764787 │      0 │  453015 │  3.00e+01 │    max_time │
│    322 │     palmer5c │      6 │  1.06e+00 │  4.58e-06 │      17 │      16 │      0 │      14 │  9.39e-05 │ first_order │
│    324 │     palmer6c │      8 │  8.21e-03 │  9.82e-06 │  161827 │  137503 │      0 │  103239 │  3.50e+00 │ first_order │
│    325 │     palmer7c │      8 │  3.01e-01 │  9.83e-06 │  510899 │  474549 │      0 │  338938 │  1.12e+01 │ first_order │
│    326 │     palmer8c │      8 │  7.99e-02 │  9.61e-06 │  112891 │   90463 │      0 │   76516 │  2.27e+00 │ first_order │
│    327 │     penalty1 │    100 │  4.51e-04 │  6.84e-06 │     151 │     129 │      0 │     104 │  1.87e-03 │ first_order │
│    328 │     penalty2 │    100 │  9.71e+04 │  6.47e-06 │      86 │      73 │      0 │      68 │  4.29e-03 │ first_order │
│    329 │     penalty3 │    100 │  1.00e+00 │  9.79e-06 │     138 │     123 │      0 │     106 │  7.20e-03 │ first_order │
│    335 │     powellsg │    100 │  2.64e-09 │  4.87e-06 │      66 │      55 │      0 │      47 │  6.93e-04 │ first_order │
│    336 │        power │    100 │  1.59e-08 │  8.09e-06 │      61 │      47 │      0 │      45 │  4.90e-04 │ first_order │
│    337 │       quartc │    100 │  8.25e-08 │  6.42e-06 │      44 │      34 │      0 │      32 │  3.65e-04 │ first_order │
│    343 │      sbrybnd │    100 │  7.62e+00 │  9.92e-06 │   23134 │   23114 │      0 │   22365 │  1.47e+00 │ first_order │
│    344 │     schmvett │    100 │ -2.94e+02 │  4.59e-06 │      23 │      23 │      0 │      20 │  1.06e-03 │ first_order │
│    345 │      scosine │    100 │ -2.34e+01 │  5.17e+20 │  539584 │  215798 │      0 │  107896 │  3.00e+01 │    max_time │
│    346 │      sinquad │    100 │  1.09e-10 │  6.01e-06 │      82 │      76 │      0 │      67 │  1.79e-03 │ first_order │
│    347 │     sparsine │    100 │  3.84e-12 │  9.54e-06 │     463 │     449 │      0 │     424 │  3.01e-02 │ first_order │
│    348 │     sparsqur │    100 │  2.35e-08 │  8.11e-06 │      30 │      25 │      0 │      23 │  8.41e-04 │ first_order │
│    349 │     spmsrtls │    100 │  5.65e-11 │  7.86e-06 │      71 │      71 │      0 │      66 │  2.32e-03 │ first_order │
│    350 │     srosenbr │    100 │  7.59e-16 │  6.54e-07 │      52 │      45 │      0 │      39 │  4.93e-04 │ first_order │
│    360 │      thurber │      7 │  2.82e+03 │  7.27e-05 │ 1902975 │ 1902626 │      0 │ 1112909 │  3.00e+01 │    max_time │
│    361 │     tointgss │    100 │  9.71e+00 │  9.77e-06 │      18 │      18 │      0 │      14 │  6.52e-04 │ first_order │
│    362 │     tquartic │    100 │  3.16e-18 │  7.91e-09 │      26 │      24 │      0 │      18 │  3.25e-04 │ first_order │
│    367 │       tridia │    100 │  1.56e-12 │  9.71e-06 │     201 │     197 │      0 │     188 │  3.63e-03 │ first_order │
│    368 │       vardim │    100 │  1.90e-23 │  1.08e-10 │      68 │      44 │      0 │      39 │  1.00e-03 │ first_order │
│    369 │     vibrbeam │      8 │  4.99e+00 │  2.99e-03 │ 1601801 │ 1599217 │      0 │ 1064854 │  3.00e+01 │    max_time │
│    370 │       watson │     31 │ -3.83e+90 │       NaN │       2 │       2 │      0 │       1 │  8.68e-04 │   unbounded │
│    371 │        woods │    100 │  5.28e-13 │  5.83e-06 │      85 │      76 │      0 │      60 │  1.13e-03 │ first_order │
└────────┴──────────────┴────────┴───────────┴───────────┴─────────┴─────────┴────────┴─────────┴───────────┴─────────────┘
first_order(df) = df.status .== :first_order
unbounded(df) = df.status .== :unbounded
solved(df) = first_order(df) .| unbounded(df)
costnames = ["time", "obj + grad + hess"]
costs = [
df -> .!solved(df) .* Inf .+ df.elapsed_time,
df -> .!solved(df) .* Inf .+ df.neval_obj .+ df.neval_grad .+ df.neval_hess,
]

using Plots
gr()

profile_solvers(stats, costs, costnames)

It is also possible to select problems when initializing the problem list by filtering OptimizationProblems.meta:

meta = OptimizationProblems.meta
problem_list = meta[(meta.ncon .== 0) .& .!meta.has_bounds .& (5 .<= meta.nvar .<= 100), :name]
problems = (MathOptNLPModel(eval(Meta.parse(problem))(), name=problem) for problem ∈ problem_list)