Run a benchmark with OptimizationProblems.jl
In this more advanced tutorial, we use the problems from OptimizationProblems to run a benchmark for unconstrained problems. The tutorial will use:
- JSOSolvers: This package provides optimization solvers in pure Julia for unconstrained and bound-constrained optimization.
- NLPModelsJuMP: This package convert JuMP model in
NLPModelformat. - SolverBenchmark: This package provides general tools for benchmarking solvers.
using JSOSolvers, NLPModels, NLPModelsJuMP, OptimizationProblems, SolverBenchmark
using OptimizationProblems.PureJuMPWe select the problems from PureJuMP submodule of OptimizationProblems converted in NLPModels using NLPModelsJuMP.
problems = (MathOptNLPModel(OptimizationProblems.PureJuMP.eval(Meta.parse(problem))(), name=problem) for problem ∈ OptimizationProblems.meta[!, :name])Base.Generator{Vector{String}, Main.var"#2#3"}(Main.var"#2#3"(), ["AMPGO02", "AMPGO03", "AMPGO04", "AMPGO05", "AMPGO06", "AMPGO07", "AMPGO08", "AMPGO09", "AMPGO10", "AMPGO11" … "triangle_deer", "triangle_pacman", "triangle_turtle", "tridia", "vardim", "variational", "vibrbeam", "watson", "woods", "zangwil3"])The same can be achieved using OptimizationProblems.ADNLPProblems instead of OptimizationProblems.PureJuMP as follows:
using ADNLPModels
using OptimizationProblems.ADNLPProblems
ad_problems = (OptimizationProblems.ADNLPProblems.eval(Meta.parse(problem))() for problem ∈ OptimizationProblems.meta[!, :name])Base.Generator{Vector{String}, Main.var"#5#6"}(Main.var"#5#6"(), ["AMPGO02", "AMPGO03", "AMPGO04", "AMPGO05", "AMPGO06", "AMPGO07", "AMPGO08", "AMPGO09", "AMPGO10", "AMPGO11" … "triangle_deer", "triangle_pacman", "triangle_turtle", "tridia", "vardim", "variational", "vibrbeam", "watson", "woods", "zangwil3"])We also define a dictionary of solvers that will be used for our benchmark. We consider here JSOSolvers.lbfgs and JSOSolvers.trunk.
solvers = Dict(
:lbfgs => model -> lbfgs(model, mem=5, atol=1e-5, rtol=0.0),
:trunk => model -> trunk(model, atol=1e-5, rtol=0.0),
)Dict{Symbol, Function} with 2 entries:
:trunk => #11
:lbfgs => #9The function SolverBenchmark.bmak_solvers will run all the problems on the specified solvers and store the results in a DataFrame. At this stage, we discard the problems that have constraints or bounds using !unconstrained(prob), and those that are too large or too small with get_nvar(prob) > 100 || get_nvar(prob) < 5.
stats = bmark_solvers(
solvers, problems,
skipif=prob -> (!unconstrained(prob) || get_nvar(prob) > 100 || get_nvar(prob) < 5),
)Dict{Symbol, DataFrames.DataFrame} with 2 entries:
:trunk => 114×40 DataFrame…
:lbfgs => 114×40 DataFrame…We can explore the results solver by solver in stats[:lbfgs] and stats[:trunk], or get a profile wall using SolverBenchmark.profile_solvers.
cols = [:id, :name, :nvar, :objective, :dual_feas, :neval_obj, :neval_grad, :neval_hess, :iter, :elapsed_time, :status]
header = Dict(
:nvar => "n",
:objective => "f(x)",
:dual_feas => "‖∇f(x)‖",
:neval_obj => "# f",
:neval_grad => "# ∇f",
:neval_hess => "# ∇²f",
:elapsed_time => "t",
)
for solver ∈ keys(solvers)
pretty_stats(stats[solver][!, cols], hdr_override=header)
end┌────────┬───────────────┬────────┬───────────┬───────────┬────────┬────────┬────────┬────────┬───────────┬─────────────┐
│ id │ name │ n │ f(x) │ ‖∇f(x)‖ │ # f │ # ∇f │ # ∇²f │ iter │ t │ status │
├────────┼───────────────┼────────┼───────────┼───────────┼────────┼────────┼────────┼────────┼───────────┼─────────────┤
│ 25 │ NZF1 │ 91 │ 2.09e+04 │ 4.14e-07 │ 9 │ 9 │ 0 │ 8 │ 1.70e+00 │ first_order │
│ 38 │ arglina │ 100 │ 5.00e+01 │ 7.40e-15 │ 6 │ 6 │ 0 │ 5 │ 1.07e-01 │ first_order │
│ 39 │ arglinb │ 100 │ 2.49e+01 │ 3.20e-03 │ 465513 │ 465339 │ 0 │ 465330 │ 3.00e+01 │ max_time │
│ 40 │ arglinc │ 100 │ 5.12e+01 │ 3.85e-03 │ 264556 │ 264489 │ 0 │ 264167 │ 2.02e+01 │ not_desc │
│ 41 │ argtrig │ 100 │ -9.90e+03 │ 7.50e-06 │ 38 │ 26 │ 0 │ 25 │ 2.29e-03 │ first_order │
│ 42 │ arwhead │ 100 │ 0.00e+00 │ 1.04e-06 │ 6 │ 6 │ 0 │ 5 │ 2.72e-04 │ first_order │
│ 43 │ auglag │ 100 │ 1.08e+00 │ 6.84e-06 │ 100 │ 46 │ 0 │ 49 │ 4.98e-03 │ first_order │
│ 46 │ bdqrtic │ 100 │ 1.89e+02 │ 4.98e-06 │ 13 │ 13 │ 0 │ 12 │ 3.91e-03 │ first_order │
│ 51 │ biggs6 │ 6 │ -3.91e+19 │ 5.08e+19 │ 8 │ 8 │ 0 │ 7 │ 1.24e-04 │ unbounded │
│ 53 │ boundary │ 100 │ 1.28e-06 │ 9.00e-06 │ 14 │ 14 │ 0 │ 13 │ 4.44e-02 │ first_order │
│ 57 │ brownal │ 100 │ -5.16e-08 │ 9.17e-07 │ 3 │ 3 │ 0 │ 2 │ 1.36e-03 │ first_order │
│ 60 │ browngen1 │ 100 │ 8.23e+01 │ 7.60e-06 │ 38 │ 32 │ 0 │ 31 │ 1.34e-02 │ first_order │
│ 61 │ browngen2 │ 100 │ 8.74e-18 │ 8.20e-09 │ 7 │ 7 │ 0 │ 6 │ 9.41e-04 │ first_order │
│ 62 │ broyden3d │ 100 │ 2.13e-13 │ 3.57e-06 │ 7 │ 7 │ 0 │ 6 │ 7.21e-04 │ first_order │
│ 63 │ broyden7d │ 100 │ 3.34e+01 │ 6.71e-06 │ 10 │ 10 │ 0 │ 9 │ 2.03e-03 │ first_order │
│ 64 │ broydn7d │ 100 │ 3.95e+01 │ 7.44e-06 │ 63 │ 22 │ 0 │ 21 │ 2.93e-02 │ first_order │
│ 65 │ brybnd │ 100 │ 3.08e-13 │ 4.90e-06 │ 9 │ 9 │ 0 │ 8 │ 1.16e-03 │ first_order │
│ 71 │ chainwoo │ 100 │ 1.00e+00 │ 8.97e-06 │ 288 │ 104 │ 0 │ 107 │ 1.81e-01 │ first_order │
│ 73 │ chnrosnb_mod │ 100 │ 1.81e-13 │ 8.26e-06 │ 181 │ 97 │ 0 │ 98 │ 3.82e-02 │ first_order │
│ 78 │ clplatea │ 100 │ -9.15e-03 │ 7.56e-06 │ 6 │ 6 │ 0 │ 5 │ 3.15e-03 │ first_order │
│ 79 │ clplateb │ 100 │ -6.20e-03 │ 9.70e-06 │ 4 │ 4 │ 0 │ 3 │ 2.73e-03 │ first_order │
│ 80 │ clplatec │ 100 │ -5.11e-03 │ 8.28e-06 │ 5 │ 5 │ 0 │ 4 │ 8.41e-03 │ first_order │
│ 82 │ cosine │ 100 │ -9.90e+01 │ 9.12e-06 │ 10 │ 10 │ 0 │ 9 │ 3.64e-04 │ first_order │
│ 83 │ cragglvy │ 100 │ 3.23e+01 │ 7.75e-06 │ 16 │ 16 │ 0 │ 15 │ 5.49e-03 │ first_order │
│ 84 │ cragglvy2 │ 100 │ 2.52e+01 │ 6.43e-06 │ 18 │ 18 │ 0 │ 17 │ 6.65e-03 │ first_order │
│ 85 │ curly │ 100 │ -1.00e+04 │ 9.46e-06 │ 18 │ 15 │ 0 │ 14 │ 1.66e-01 │ first_order │
│ 86 │ curly10 │ 100 │ -1.00e+04 │ 9.46e-06 │ 18 │ 15 │ 0 │ 14 │ 1.66e-01 │ first_order │
│ 87 │ curly20 │ 100 │ -1.00e+04 │ 9.70e-06 │ 18 │ 14 │ 0 │ 13 │ 3.94e-01 │ first_order │
│ 88 │ curly30 │ 100 │ -1.00e+04 │ 9.12e-06 │ 29 │ 15 │ 0 │ 14 │ 7.82e-01 │ first_order │
│ 90 │ dixmaane │ 99 │ 1.00e+00 │ 8.12e-06 │ 39 │ 16 │ 0 │ 15 │ 3.57e-03 │ first_order │
│ 91 │ dixmaanf │ 99 │ 1.00e+00 │ 9.59e-06 │ 11 │ 11 │ 0 │ 10 │ 2.41e-03 │ first_order │
│ 92 │ dixmaang │ 99 │ 1.00e+00 │ 9.88e-06 │ 43 │ 15 │ 0 │ 16 │ 4.06e-03 │ first_order │
│ 93 │ dixmaanh │ 99 │ 1.00e+00 │ 7.74e-06 │ 37 │ 15 │ 0 │ 16 │ 3.53e-03 │ first_order │
│ 94 │ dixmaani │ 99 │ 1.00e+00 │ 8.10e-06 │ 15 │ 13 │ 0 │ 12 │ 9.12e-03 │ first_order │
│ 95 │ dixmaanj │ 99 │ 1.00e+00 │ 8.98e-06 │ 40 │ 18 │ 0 │ 19 │ 1.18e-02 │ first_order │
│ 96 │ dixmaank │ 99 │ 1.00e+00 │ 9.23e-06 │ 37 │ 15 │ 0 │ 16 │ 9.91e-03 │ first_order │
│ 97 │ dixmaanl │ 99 │ 1.00e+00 │ 9.80e-06 │ 56 │ 18 │ 0 │ 19 │ 1.07e-02 │ first_order │
│ 98 │ dixmaanm │ 99 │ 1.00e+00 │ 6.95e-06 │ 10 │ 10 │ 0 │ 9 │ 6.64e-03 │ first_order │
│ 99 │ dixmaann │ 99 │ 1.00e+00 │ 9.68e-06 │ 43 │ 20 │ 0 │ 21 │ 1.64e-02 │ first_order │
│ 100 │ dixmaano │ 99 │ 1.00e+00 │ 9.66e-06 │ 39 │ 17 │ 0 │ 18 │ 1.22e-02 │ first_order │
│ 101 │ dixmaanp │ 99 │ 1.00e+00 │ 9.07e-06 │ 39 │ 17 │ 0 │ 18 │ 1.18e-02 │ first_order │
│ 102 │ dixon3dq │ 100 │ 3.83e-10 │ 9.84e-06 │ 10 │ 10 │ 0 │ 9 │ 1.74e-04 │ first_order │
│ 103 │ dqdrtic │ 100 │ 1.37e-14 │ 9.42e-07 │ 6 │ 6 │ 0 │ 5 │ 4.82e-05 │ first_order │
│ 104 │ dqrtic │ 100 │ 8.30e-08 │ 6.24e-06 │ 25 │ 25 │ 0 │ 24 │ 6.65e-04 │ first_order │
│ 106 │ edensch │ 100 │ 6.03e+02 │ 4.70e-06 │ 9 │ 9 │ 0 │ 8 │ 8.58e-04 │ first_order │
│ 107 │ eg2 │ 100 │ -9.89e+01 │ 1.42e-09 │ 4 │ 4 │ 0 │ 3 │ 1.23e-04 │ first_order │
│ 109 │ engval1 │ 100 │ 1.09e+02 │ 4.98e-06 │ 10 │ 10 │ 0 │ 9 │ 6.63e-04 │ first_order │
│ 110 │ enso │ 9 │ 3.94e+02 │ 9.19e-06 │ 39 │ 17 │ 0 │ 18 │ 9.55e-03 │ first_order │
│ 111 │ errinros_mod │ 100 │ 3.88e+01 │ 4.75e-06 │ 119 │ 77 │ 0 │ 78 │ 2.15e-02 │ first_order │
│ 112 │ extrosnb │ 100 │ 1.99e-06 │ 9.98e-06 │ 928 │ 251 │ 0 │ 250 │ 4.98e-02 │ first_order │
│ 113 │ fletcbv2 │ 100 │ -5.14e-01 │ 8.49e-06 │ 5 │ 5 │ 0 │ 4 │ 2.14e-03 │ first_order │
│ 114 │ fletcbv3_mod │ 100 │ -2.04e+00 │ 2.85e-07 │ 160 │ 61 │ 0 │ 62 │ 7.12e-03 │ first_order │
│ 115 │ fletchcr │ 100 │ 6.61e-12 │ 8.38e-06 │ 99 │ 77 │ 0 │ 78 │ 1.08e-02 │ first_order │
│ 116 │ fminsrf2 │ 100 │ 1.00e+02 │ 7.59e-06 │ 190 │ 45 │ 0 │ 46 │ 1.57e-02 │ first_order │
│ 117 │ freuroth │ 100 │ 5.94e+03 │ 2.30e-06 │ 48 │ 16 │ 0 │ 17 │ 3.23e-03 │ first_order │
│ 119 │ gauss1 │ 8 │ 6.58e+02 │ 9.67e-06 │ 12 │ 12 │ 0 │ 11 │ 9.99e-03 │ first_order │
│ 120 │ gauss2 │ 8 │ 6.24e+02 │ 7.74e-06 │ 14 │ 14 │ 0 │ 13 │ 1.22e-02 │ first_order │
│ 121 │ gauss3 │ 8 │ 6.22e+02 │ 3.26e-05 │ 339 │ 611 │ 0 │ 312 │ 1.55e-02 │ not_desc │
│ 123 │ genbroydenb │ 100 │ 1.03e-10 │ 8.57e-06 │ 13 │ 13 │ 0 │ 12 │ 4.65e-03 │ first_order │
│ 124 │ genbroydentri │ 100 │ 8.46e-12 │ 2.50e-06 │ 12 │ 12 │ 0 │ 11 │ 1.68e-03 │ first_order │
│ 125 │ genhumps │ 100 │ 2.05e-12 │ 9.07e-07 │ 9483 │ 3106 │ 0 │ 3117 │ 6.97e-01 │ first_order │
│ 126 │ genrose │ 100 │ 1.00e+00 │ 6.62e-06 │ 159 │ 60 │ 0 │ 61 │ 1.18e-02 │ first_order │
│ 127 │ genrose_nash │ 100 │ 1.00e+00 │ 4.93e-06 │ 195 │ 66 │ 0 │ 67 │ 1.33e-02 │ first_order │
│ 130 │ hahn1 │ 7 │ 7.66e-01 │ 3.65e-06 │ 234 │ 118 │ 0 │ 127 │ 6.97e-02 │ first_order │
│ 297 │ indef_mod │ 100 │ -9.97e+03 │ 4.39e-07 │ 460 │ 142 │ 0 │ 143 │ 1.70e-02 │ first_order │
│ 298 │ integreq │ 100 │ 4.47e-13 │ 9.84e-07 │ 4 │ 4 │ 0 │ 3 │ 1.25e-02 │ first_order │
│ 300 │ kirby2 │ 5 │ 1.95e+00 │ 1.16e-05 │ 344 │ 622 │ 0 │ 324 │ 4.19e-03 │ not_desc │
│ 302 │ lanczos1 │ 6 │ 1.05e-06 │ 6.96e-06 │ 118 │ 37 │ 0 │ 38 │ 2.15e-03 │ first_order │
│ 303 │ lanczos2 │ 6 │ 9.83e-07 │ 9.41e-06 │ 121 │ 35 │ 0 │ 36 │ 2.08e-03 │ first_order │
│ 304 │ lanczos3 │ 6 │ 1.16e-06 │ 7.97e-06 │ 120 │ 38 │ 0 │ 39 │ 2.19e-03 │ first_order │
│ 305 │ liarwhd │ 100 │ 1.41e-13 │ 7.82e-06 │ 11 │ 11 │ 0 │ 10 │ 8.29e-04 │ first_order │
│ 314 │ mgh17 │ 5 │ 5.52e-02 │ 1.56e-06 │ 31 │ 8 │ 0 │ 9 │ 2.33e-04 │ first_order │
│ 320 │ morebv │ 100 │ 1.85e-06 │ 8.80e-06 │ 14 │ 14 │ 0 │ 13 │ 3.91e-02 │ first_order │
│ 322 │ nazareth │ 100 │ 1.04e+03 │ 8.10e-06 │ 12 │ 12 │ 0 │ 11 │ 9.05e-03 │ first_order │
│ 323 │ ncb20 │ 100 │ 1.63e+02 │ 9.51e-06 │ 110 │ 25 │ 0 │ 24 │ 6.05e-02 │ first_order │
│ 324 │ ncb20b │ 100 │ 1.97e+02 │ 8.39e-06 │ 38 │ 15 │ 0 │ 16 │ 1.39e-01 │ first_order │
│ 326 │ noncvxu2 │ 100 │ 2.34e+02 │ 6.20e-06 │ 138 │ 36 │ 0 │ 37 │ 2.08e-02 │ first_order │
│ 327 │ noncvxun │ 100 │ 2.34e+02 │ 6.16e-06 │ 158 │ 40 │ 0 │ 41 │ 1.43e-02 │ first_order │
│ 328 │ nondia │ 100 │ 1.05e-13 │ 1.28e-07 │ 12 │ 9 │ 0 │ 8 │ 3.21e-04 │ first_order │
│ 329 │ nondquar │ 100 │ 1.85e-06 │ 8.92e-06 │ 83 │ 32 │ 0 │ 31 │ 6.05e-03 │ first_order │
│ 330 │ osborne1 │ 5 │ 2.82e-05 │ 9.44e-06 │ 171 │ 53 │ 0 │ 55 │ 3.19e-03 │ first_order │
│ 331 │ osborne2 │ 11 │ 2.01e-02 │ 5.32e-06 │ 26 │ 19 │ 0 │ 18 │ 9.17e-03 │ first_order │
│ 332 │ palmer1c │ 8 │ 4.88e-02 │ 3.36e-06 │ 8 │ 8 │ 0 │ 7 │ 5.39e-05 │ first_order │
│ 333 │ palmer1d │ 7 │ 3.26e-01 │ 8.54e-09 │ 7 │ 7 │ 0 │ 6 │ 4.89e-05 │ first_order │
│ 334 │ palmer2c │ 8 │ 7.21e-03 │ 5.98e-07 │ 7 │ 7 │ 0 │ 6 │ 5.60e-05 │ first_order │
│ 335 │ palmer3c │ 8 │ 9.77e-03 │ 4.36e-06 │ 8 │ 8 │ 0 │ 7 │ 5.20e-05 │ first_order │
│ 336 │ palmer4c │ 8 │ 2.85e-02 │ 2.86e-06 │ 9 │ 9 │ 0 │ 8 │ 5.91e-05 │ first_order │
│ 337 │ palmer5c │ 6 │ 1.06e+00 │ 9.22e-07 │ 7 │ 7 │ 0 │ 6 │ 4.41e-05 │ first_order │
│ 339 │ palmer6c │ 8 │ 8.19e-03 │ 5.94e-07 │ 8 │ 8 │ 0 │ 7 │ 5.70e-05 │ first_order │
│ 340 │ palmer7c │ 8 │ 3.01e-01 │ 4.25e-06 │ 13 │ 13 │ 0 │ 12 │ 7.30e-05 │ first_order │
│ 341 │ palmer8c │ 8 │ 7.99e-02 │ 7.94e-06 │ 12 │ 12 │ 0 │ 11 │ 6.60e-05 │ first_order │
│ 342 │ penalty1 │ 100 │ 4.51e-04 │ 9.69e-06 │ 54 │ 32 │ 0 │ 31 │ 1.59e-03 │ first_order │
│ 343 │ penalty2 │ 100 │ 9.71e+04 │ 8.67e-06 │ 19 │ 19 │ 0 │ 18 │ 4.96e-03 │ first_order │
│ 344 │ penalty3 │ 100 │ 4.65e+07 │ 9.12e+12 │ 673617 │ 61274 │ 0 │ 61281 │ 3.00e+01 │ max_time │
│ 351 │ powellsg │ 100 │ 6.13e-08 │ 8.57e-06 │ 18 │ 18 │ 0 │ 17 │ 1.22e-03 │ first_order │
│ 352 │ power │ 100 │ 1.50e-08 │ 7.99e-06 │ 24 │ 24 │ 0 │ 23 │ 1.61e-03 │ first_order │
│ 353 │ quartc │ 100 │ 8.30e-08 │ 6.24e-06 │ 25 │ 25 │ 0 │ 24 │ 6.58e-04 │ first_order │
│ 360 │ sbrybnd │ 100 │ 1.34e+00 │ 9.52e-05 │ 1986 │ 1942 │ 0 │ 1945 │ 3.00e+01 │ max_time │
│ 361 │ schmvett │ 100 │ -2.94e+02 │ 8.24e-06 │ 14 │ 12 │ 0 │ 11 │ 2.67e-03 │ first_order │
│ 362 │ scosine │ 100 │ -9.90e+01 │ 9.77e-06 │ 457 │ 309 │ 0 │ 320 │ 6.05e-01 │ first_order │
│ 363 │ sinquad │ 100 │ 6.16e-07 │ 8.07e-06 │ 65 │ 33 │ 0 │ 34 │ 3.04e-03 │ first_order │
│ 364 │ sparsine │ 100 │ 2.11e-12 │ 8.42e-06 │ 81 │ 33 │ 0 │ 34 │ 2.86e-02 │ first_order │
│ 365 │ sparsqur │ 100 │ 1.77e-08 │ 6.42e-06 │ 17 │ 17 │ 0 │ 16 │ 2.24e-03 │ first_order │
│ 366 │ spmsrtls │ 100 │ 8.17e-11 │ 9.01e-06 │ 13 │ 13 │ 0 │ 12 │ 2.54e-03 │ first_order │
│ 367 │ srosenbr │ 100 │ 3.06e-15 │ 2.47e-06 │ 60 │ 26 │ 0 │ 27 │ 1.25e-03 │ first_order │
│ 378 │ thurber │ 7 │ 2.82e+03 │ 6.94e-06 │ 59 │ 42 │ 0 │ 41 │ 3.04e-03 │ first_order │
│ 379 │ tointgss │ 100 │ 9.71e+00 │ 8.20e-06 │ 35 │ 13 │ 0 │ 14 │ 2.44e-03 │ first_order │
│ 381 │ tquartic │ 100 │ 4.90e-12 │ 3.14e-07 │ 15 │ 13 │ 0 │ 12 │ 6.61e-04 │ first_order │
│ 386 │ tridia │ 100 │ 1.36e-13 │ 8.96e-06 │ 8 │ 8 │ 0 │ 7 │ 1.58e-04 │ first_order │
│ 387 │ vardim │ 100 │ 3.73e-09 │ 0.00e+00 │ 26 │ 26 │ 0 │ 25 │ 1.48e-02 │ first_order │
│ 388 │ variational │ 100 │ Inf │ Inf │ 0 │ 0 │ 0 │ 0 │ Inf │ exception │
│ 389 │ vibrbeam │ 8 │ 7.82e-02 │ 3.74e-06 │ 33 │ 32 │ 0 │ 31 │ 2.01e-03 │ first_order │
│ 390 │ watson │ 31 │ 3.59e-08 │ 3.98e-06 │ 51 │ 23 │ 0 │ 24 │ 1.27e-01 │ first_order │
│ 391 │ woods │ 100 │ -6.80e-15 │ 2.45e-09 │ 82 │ 41 │ 0 │ 42 │ 6.41e-03 │ first_order │
└────────┴───────────────┴────────┴───────────┴───────────┴────────┴────────┴────────┴────────┴───────────┴─────────────┘
┌────────┬───────────────┬────────┬───────────┬───────────┬───────────┬─────────┬────────┬─────────┬───────────┬─────────────┐
│ id │ name │ n │ f(x) │ ‖∇f(x)‖ │ # f │ # ∇f │ # ∇²f │ iter │ t │ status │
├────────┼───────────────┼────────┼───────────┼───────────┼───────────┼─────────┼────────┼─────────┼───────────┼─────────────┤
│ 25 │ NZF1 │ 91 │ 2.09e+04 │ 9.31e-06 │ 278 │ 272 │ 0 │ 256 │ 2.76e-03 │ first_order │
│ 38 │ arglina │ 100 │ 5.00e+01 │ 2.92e-14 │ 2 │ 2 │ 0 │ 1 │ 9.18e-05 │ first_order │
│ 39 │ arglinb │ 100 │ 2.48e+01 │ 3.99e-04 │ 2436352 │ 325703 │ 0 │ 162855 │ 3.00e+01 │ max_time │
│ 40 │ arglinc │ 100 │ 5.11e+01 │ 6.35e-04 │ 1921197 │ 640421 │ 0 │ 320211 │ 3.00e+01 │ max_time │
│ 41 │ argtrig │ 100 │ -9.90e+03 │ 7.54e-06 │ 116 │ 114 │ 0 │ 103 │ 2.13e-03 │ first_order │
│ 42 │ arwhead │ 100 │ 0.00e+00 │ 4.34e-06 │ 20 │ 14 │ 0 │ 12 │ 2.61e-04 │ first_order │
│ 43 │ auglag │ 100 │ 1.08e+00 │ 5.26e-06 │ 206 │ 198 │ 0 │ 170 │ 2.78e-03 │ first_order │
│ 46 │ bdqrtic │ 100 │ 1.89e+02 │ 9.47e-06 │ 114 │ 102 │ 0 │ 89 │ 3.97e-03 │ first_order │
│ 51 │ biggs6 │ 6 │ -Inf │ Inf │ 8 │ 8 │ 0 │ 2 │ 4.79e-05 │ unbounded │
│ 53 │ boundary │ 100 │ 4.03e-08 │ 9.93e-06 │ 6672 │ 6670 │ 0 │ 6459 │ 1.48e-01 │ first_order │
│ 57 │ brownal │ 100 │ -1.96e-08 │ 1.58e-06 │ 17 │ 8 │ 0 │ 6 │ 2.32e-03 │ first_order │
│ 60 │ browngen1 │ 100 │ 8.23e+01 │ 7.48e-06 │ 317 │ 291 │ 0 │ 281 │ 7.97e-03 │ first_order │
│ 61 │ browngen2 │ 100 │ 1.28e-17 │ 9.60e-09 │ 12 │ 11 │ 0 │ 9 │ 4.72e-04 │ first_order │
│ 62 │ broyden3d │ 100 │ 3.56e-01 │ 8.29e-06 │ 53 │ 51 │ 0 │ 44 │ 9.41e-04 │ first_order │
│ 63 │ broyden7d │ 100 │ 3.17e+01 │ 5.66e-06 │ 45 │ 42 │ 0 │ 38 │ 1.95e-03 │ first_order │
│ 64 │ broydn7d │ 100 │ 3.60e+01 │ 9.86e-06 │ 371 │ 369 │ 0 │ 352 │ 1.63e-02 │ first_order │
│ 65 │ brybnd │ 100 │ 1.54e+00 │ 5.36e-06 │ 25 │ 21 │ 0 │ 19 │ 9.04e-04 │ first_order │
│ 71 │ chainwoo │ 100 │ 4.79e+01 │ 9.00e-06 │ 991 │ 978 │ 0 │ 910 │ 3.39e-02 │ first_order │
│ 73 │ chnrosnb_mod │ 100 │ 2.20e-13 │ 6.27e-06 │ 687 │ 680 │ 0 │ 645 │ 1.30e-02 │ first_order │
│ 78 │ clplatea │ 100 │ -9.15e-03 │ 9.75e-06 │ 74 │ 74 │ 0 │ 70 │ 2.76e-03 │ first_order │
│ 79 │ clplateb │ 100 │ -6.20e-03 │ 5.93e-06 │ 58 │ 58 │ 0 │ 57 │ 2.17e-03 │ first_order │
│ 80 │ clplatec │ 100 │ -5.11e-03 │ 8.19e-06 │ 486 │ 481 │ 0 │ 464 │ 1.64e-02 │ first_order │
│ 82 │ cosine │ 100 │ -9.90e+01 │ 1.00e-06 │ 15 │ 15 │ 0 │ 11 │ 1.94e-04 │ first_order │
│ 83 │ cragglvy │ 100 │ 3.23e+01 │ 9.36e-06 │ 93 │ 84 │ 0 │ 81 │ 3.22e-03 │ first_order │
│ 84 │ cragglvy2 │ 100 │ 2.52e+01 │ 8.92e-06 │ 121 │ 112 │ 0 │ 105 │ 3.97e-03 │ first_order │
│ 85 │ curly │ 100 │ -1.00e+04 │ 9.15e-06 │ 1109 │ 1100 │ 0 │ 1063 │ 2.31e-01 │ first_order │
│ 86 │ curly10 │ 100 │ -1.00e+04 │ 9.15e-06 │ 1109 │ 1100 │ 0 │ 1063 │ 2.37e-01 │ first_order │
│ 87 │ curly20 │ 100 │ -1.00e+04 │ 8.20e-06 │ 1287 │ 1284 │ 0 │ 1225 │ 8.26e-01 │ first_order │
│ 88 │ curly30 │ 100 │ -1.00e+04 │ 8.68e-06 │ 1565 │ 1562 │ 0 │ 1458 │ 1.94e+00 │ first_order │
│ 90 │ dixmaane │ 99 │ 1.00e+00 │ 7.83e-06 │ 62 │ 61 │ 0 │ 58 │ 1.37e-03 │ first_order │
│ 91 │ dixmaanf │ 99 │ 1.00e+00 │ 6.94e-06 │ 57 │ 55 │ 0 │ 49 │ 1.49e-03 │ first_order │
│ 92 │ dixmaang │ 99 │ 1.00e+00 │ 9.82e-06 │ 59 │ 56 │ 0 │ 53 │ 1.49e-03 │ first_order │
│ 93 │ dixmaanh │ 99 │ 1.00e+00 │ 7.37e-06 │ 66 │ 63 │ 0 │ 59 │ 1.67e-03 │ first_order │
│ 94 │ dixmaani │ 99 │ 1.00e+00 │ 8.27e-06 │ 242 │ 241 │ 0 │ 233 │ 5.53e-03 │ first_order │
│ 95 │ dixmaanj │ 99 │ 1.00e+00 │ 8.71e-06 │ 259 │ 257 │ 0 │ 246 │ 6.77e-03 │ first_order │
│ 96 │ dixmaank │ 99 │ 1.00e+00 │ 9.34e-06 │ 215 │ 213 │ 0 │ 203 │ 5.62e-03 │ first_order │
│ 97 │ dixmaanl │ 99 │ 1.00e+00 │ 9.90e-06 │ 179 │ 176 │ 0 │ 170 │ 4.53e-03 │ first_order │
│ 98 │ dixmaanm │ 99 │ 1.00e+00 │ 8.90e-06 │ 340 │ 339 │ 0 │ 331 │ 7.57e-03 │ first_order │
│ 99 │ dixmaann │ 99 │ 1.00e+00 │ 8.05e-06 │ 305 │ 304 │ 0 │ 295 │ 8.00e-03 │ first_order │
│ 100 │ dixmaano │ 99 │ 1.00e+00 │ 9.91e-06 │ 249 │ 247 │ 0 │ 240 │ 6.43e-03 │ first_order │
│ 101 │ dixmaanp │ 99 │ 1.00e+00 │ 8.45e-06 │ 309 │ 306 │ 0 │ 295 │ 8.03e-03 │ first_order │
│ 102 │ dixon3dq │ 100 │ 1.79e-08 │ 8.88e-06 │ 468 │ 468 │ 0 │ 457 │ 2.09e-03 │ first_order │
│ 103 │ dqdrtic │ 100 │ 6.55e-16 │ 5.54e-07 │ 22 │ 16 │ 0 │ 13 │ 6.10e-05 │ first_order │
│ 104 │ dqrtic │ 100 │ 8.25e-08 │ 6.42e-06 │ 44 │ 34 │ 0 │ 32 │ 3.22e-04 │ first_order │
│ 106 │ edensch │ 100 │ 6.03e+02 │ 1.39e-06 │ 27 │ 25 │ 0 │ 21 │ 5.45e-04 │ first_order │
│ 107 │ eg2 │ 100 │ -9.89e+01 │ 1.01e-10 │ 10 │ 6 │ 0 │ 4 │ 8.99e-05 │ first_order │
│ 109 │ engval1 │ 100 │ 1.09e+02 │ 4.65e-06 │ 30 │ 26 │ 0 │ 21 │ 4.60e-04 │ first_order │
│ 110 │ enso │ 9 │ 3.94e+02 │ 5.33e-06 │ 43 │ 39 │ 0 │ 35 │ 3.26e-03 │ first_order │
│ 111 │ errinros_mod │ 100 │ 3.88e+01 │ 5.96e-06 │ 574 │ 536 │ 0 │ 428 │ 9.96e-03 │ first_order │
│ 112 │ extrosnb │ 100 │ 1.03e-13 │ 8.20e-06 │ 42 │ 36 │ 0 │ 33 │ 4.87e-04 │ first_order │
│ 113 │ fletcbv2 │ 100 │ -5.14e-01 │ 9.87e-06 │ 195 │ 195 │ 0 │ 186 │ 3.07e-03 │ first_order │
│ 114 │ fletcbv3_mod │ 100 │ -2.03e+00 │ 5.27e-06 │ 38 │ 34 │ 0 │ 28 │ 9.31e-04 │ first_order │
│ 115 │ fletchcr │ 100 │ 7.01e-12 │ 9.62e-06 │ 536 │ 531 │ 0 │ 508 │ 7.49e-03 │ first_order │
│ 116 │ fminsrf2 │ 100 │ 1.00e+02 │ 5.83e-06 │ 156 │ 155 │ 0 │ 149 │ 4.42e-03 │ first_order │
│ 117 │ freuroth │ 100 │ 5.98e+03 │ 6.06e-06 │ 36 │ 30 │ 0 │ 27 │ 1.11e-03 │ first_order │
│ 119 │ gauss1 │ 8 │ 6.58e+02 │ 2.61e-04 │ 240655 │ 240060 │ 0 │ 144146 │ 3.00e+01 │ max_time │
│ 120 │ gauss2 │ 8 │ 6.24e+02 │ 1.10e-04 │ 240951 │ 240488 │ 0 │ 131027 │ 3.00e+01 │ max_time │
│ 121 │ gauss3 │ 8 │ 6.22e+02 │ 5.42e-05 │ 228378 │ 227255 │ 0 │ 115466 │ 3.00e+01 │ max_time │
│ 123 │ genbroydenb │ 100 │ 1.75e-10 │ 8.51e-06 │ 48 │ 43 │ 0 │ 41 │ 2.33e-03 │ first_order │
│ 124 │ genbroydentri │ 100 │ 4.32e-05 │ 9.90e-06 │ 137 │ 135 │ 0 │ 130 │ 4.68e-03 │ first_order │
│ 125 │ genhumps │ 100 │ 1.10e-10 │ 6.28e-06 │ 1248 │ 1140 │ 0 │ 968 │ 3.88e-02 │ first_order │
│ 126 │ genrose │ 100 │ 1.00e+00 │ 5.73e-06 │ 287 │ 280 │ 0 │ 258 │ 4.86e-03 │ first_order │
│ 127 │ genrose_nash │ 100 │ 1.00e+00 │ 9.88e-06 │ 322 │ 308 │ 0 │ 278 │ 5.44e-03 │ first_order │
│ 130 │ hahn1 │ 7 │ 2.78e+04 │ 2.07e-10 │ 2 │ 2 │ 0 │ 1 │ 1.20e-04 │ first_order │
│ 297 │ indef_mod │ 100 │ -9.80e+03 │ 6.65e-06 │ 131 │ 127 │ 0 │ 107 │ 2.70e-03 │ first_order │
│ 298 │ integreq │ 100 │ 3.70e-11 │ 8.83e-06 │ 6 │ 6 │ 0 │ 5 │ 4.71e-03 │ first_order │
│ 300 │ kirby2 │ 5 │ 1.95e+00 │ 1.14e-03 │ 1152153 │ 1151581 │ 0 │ 586372 │ 3.00e+01 │ max_time │
│ 302 │ lanczos1 │ 6 │ 2.15e-06 │ 8.10e-06 │ 110 │ 105 │ 0 │ 86 │ 9.27e-04 │ first_order │
│ 303 │ lanczos2 │ 6 │ 2.16e-06 │ 9.31e-06 │ 98 │ 88 │ 0 │ 71 │ 8.02e-04 │ first_order │
│ 304 │ lanczos3 │ 6 │ 2.17e-06 │ 1.61e-06 │ 144 │ 126 │ 0 │ 110 │ 1.16e-03 │ first_order │
│ 305 │ liarwhd │ 100 │ 4.65e-16 │ 8.77e-07 │ 33 │ 23 │ 0 │ 19 │ 5.63e-04 │ first_order │
│ 314 │ mgh17 │ 5 │ 5.52e-02 │ 7.40e-07 │ 38 │ 30 │ 0 │ 22 │ 1.72e-04 │ first_order │
│ 320 │ morebv │ 100 │ 6.02e-07 │ 9.27e-06 │ 6321 │ 6320 │ 0 │ 6151 │ 1.37e-01 │ first_order │
│ 322 │ nazareth │ 100 │ 1.06e+03 │ 4.73e-06 │ 92 │ 83 │ 0 │ 75 │ 7.36e-03 │ first_order │
│ 323 │ ncb20 │ 100 │ 1.67e+02 │ 9.17e-06 │ 779 │ 766 │ 0 │ 708 │ 1.03e-01 │ first_order │
│ 324 │ ncb20b │ 100 │ 1.97e+02 │ 9.42e-06 │ 2952 │ 2945 │ 0 │ 2714 │ 4.65e-01 │ first_order │
│ 326 │ noncvxu2 │ 100 │ 2.32e+02 │ 9.71e-06 │ 669 │ 667 │ 0 │ 649 │ 1.89e-02 │ first_order │
│ 327 │ noncvxun │ 100 │ 2.32e+02 │ 8.57e-06 │ 347 │ 345 │ 0 │ 332 │ 9.80e-03 │ first_order │
│ 328 │ nondia │ 100 │ 1.04e-14 │ 1.90e-06 │ 35 │ 25 │ 0 │ 20 │ 3.42e-04 │ first_order │
│ 329 │ nondquar │ 100 │ 1.93e-06 │ 8.13e-06 │ 2334 │ 2235 │ 0 │ 2041 │ 1.92e-02 │ first_order │
│ 330 │ osborne1 │ 5 │ 2.34e-02 │ 9.68e-02 │ 3748561 │ 3743264 │ 0 │ 3367358 │ 3.00e+01 │ max_time │
│ 331 │ osborne2 │ 11 │ 2.01e-02 │ 8.77e-06 │ 219 │ 217 │ 0 │ 196 │ 8.69e-03 │ first_order │
│ 332 │ palmer1c │ 8 │ 2.62e+00 │ 3.86e-01 │ 100928285 │ 7777243 │ 0 │ 3893956 │ 3.00e+01 │ max_time │
│ 333 │ palmer1d │ 7 │ 3.35e-01 │ 1.05e-01 │ 107129590 │ 8245798 │ 0 │ 4124909 │ 3.00e+01 │ max_time │
│ 334 │ palmer2c │ 8 │ 7.02e-02 │ 1.67e-02 │ 100528972 │ 7739470 │ 0 │ 3872222 │ 3.00e+01 │ max_time │
│ 335 │ palmer3c │ 8 │ 7.86e-02 │ 1.18e-02 │ 99323373 │ 7952077 │ 0 │ 3978489 │ 3.00e+01 │ max_time │
│ 336 │ palmer4c │ 8 │ 1.77e-01 │ 6.11e-03 │ 100529323 │ 7736658 │ 0 │ 3869755 │ 3.00e+01 │ max_time │
│ 337 │ palmer5c │ 6 │ 1.06e+00 │ 4.58e-06 │ 17 │ 16 │ 0 │ 14 │ 5.10e-05 │ first_order │
│ 339 │ palmer6c │ 8 │ 4.76e-02 │ 9.85e-04 │ 101199886 │ 7788015 │ 0 │ 3895252 │ 3.00e+01 │ max_time │
│ 340 │ palmer7c │ 8 │ 1.27e+00 │ 2.96e-02 │ 100922984 │ 7783943 │ 0 │ 3899447 │ 3.00e+01 │ max_time │
│ 341 │ palmer8c │ 8 │ 8.00e-02 │ 2.13e-03 │ 100288267 │ 7724855 │ 0 │ 3866419 │ 3.00e+01 │ max_time │
│ 342 │ penalty1 │ 100 │ 4.51e-04 │ 6.11e-06 │ 162 │ 141 │ 0 │ 114 │ 1.94e-03 │ first_order │
│ 343 │ penalty2 │ 100 │ 9.71e+04 │ 6.47e-06 │ 86 │ 73 │ 0 │ 68 │ 2.70e-03 │ first_order │
│ 344 │ penalty3 │ 100 │ 1.00e+00 │ 2.10e+00 │ 700860 │ 56140 │ 0 │ 28093 │ 3.00e+01 │ max_time │
│ 351 │ powellsg │ 100 │ 9.99e-09 │ 7.59e-06 │ 71 │ 60 │ 0 │ 52 │ 8.72e-04 │ first_order │
│ 352 │ power │ 100 │ 1.59e-08 │ 8.09e-06 │ 61 │ 47 │ 0 │ 45 │ 3.83e-04 │ first_order │
│ 353 │ quartc │ 100 │ 8.25e-08 │ 6.42e-06 │ 44 │ 34 │ 0 │ 32 │ 3.26e-04 │ first_order │
│ 360 │ sbrybnd │ 100 │ 1.38e+01 │ 9.92e-06 │ 18239 │ 18219 │ 0 │ 17508 │ 1.07e+00 │ first_order │
│ 361 │ schmvett │ 100 │ -2.94e+02 │ 4.59e-06 │ 23 │ 23 │ 0 │ 20 │ 8.34e-04 │ first_order │
│ 362 │ scosine │ 100 │ -2.34e+01 │ 5.17e+20 │ 2129989 │ 851960 │ 0 │ 425977 │ 3.00e+01 │ max_time │
│ 363 │ sinquad │ 100 │ 1.14e-11 │ 7.01e-06 │ 91 │ 85 │ 0 │ 74 │ 1.62e-03 │ first_order │
│ 364 │ sparsine │ 100 │ 3.84e-12 │ 9.54e-06 │ 463 │ 449 │ 0 │ 424 │ 1.71e-02 │ first_order │
│ 365 │ sparsqur │ 100 │ 2.35e-08 │ 8.11e-06 │ 30 │ 25 │ 0 │ 23 │ 7.02e-04 │ first_order │
│ 366 │ spmsrtls │ 100 │ 5.65e-11 │ 7.86e-06 │ 71 │ 71 │ 0 │ 66 │ 1.51e-03 │ first_order │
│ 367 │ srosenbr │ 100 │ 9.09e-15 │ 4.32e-06 │ 56 │ 47 │ 0 │ 40 │ 5.62e-04 │ first_order │
│ 378 │ thurber │ 7 │ 2.82e+03 │ 7.79e-05 │ 2850795 │ 2850433 │ 0 │ 2548510 │ 3.00e+01 │ max_time │
│ 379 │ tointgss │ 100 │ 9.71e+00 │ 9.77e-06 │ 18 │ 18 │ 0 │ 14 │ 5.85e-04 │ first_order │
│ 381 │ tquartic │ 100 │ 3.71e-20 │ 7.91e-09 │ 26 │ 24 │ 0 │ 18 │ 3.41e-04 │ first_order │
│ 386 │ tridia │ 100 │ 1.56e-12 │ 9.72e-06 │ 201 │ 197 │ 0 │ 188 │ 8.82e-04 │ first_order │
│ 387 │ vardim │ 100 │ -5.22e-08 │ 1.42e-09 │ 68 │ 44 │ 0 │ 39 │ 9.58e-03 │ first_order │
│ 388 │ variational │ 100 │ NaN │ NaN │ 1806819 │ 138987 │ 0 │ 69493 │ 3.00e+01 │ max_time │
│ 389 │ vibrbeam │ 8 │ 5.28e+00 │ 1.21e-03 │ 3247165 │ 3244456 │ 0 │ 1737717 │ 3.00e+01 │ max_time │
│ 390 │ watson │ 31 │ 1.15e-09 │ 6.03e-06 │ 1732 │ 1552 │ 0 │ 1349 │ 8.04e-01 │ first_order │
│ 391 │ woods │ 100 │ 4.89e-13 │ 7.22e-06 │ 87 │ 78 │ 0 │ 62 │ 1.60e-03 │ first_order │
└────────┴───────────────┴────────┴───────────┴───────────┴───────────┴─────────┴────────┴─────────┴───────────┴─────────────┘first_order(df) = df.status .== :first_order
unbounded(df) = df.status .== :unbounded
solved(df) = first_order(df) .| unbounded(df)
costnames = ["time", "obj + grad + hess"]
costs = [
df -> .!solved(df) .* Inf .+ df.elapsed_time,
df -> .!solved(df) .* Inf .+ df.neval_obj .+ df.neval_grad .+ df.neval_hess,
]
using Plots
gr()
profile_solvers(stats, costs, costnames)
It is also possible to select problems when initializing the problem list by filtering OptimizationProblems.meta:
meta = OptimizationProblems.meta
problem_list = meta[(meta.ncon .== 0) .& .!meta.has_bounds .& (5 .<= meta.nvar .<= 100), :name]
problems = (MathOptNLPModel(eval(Meta.parse(problem))(), name=problem) for problem ∈ problem_list)