Smer padanja

Pri optimizaciji je smer padanja funkcije oziroma padajoča smer v točki $𝐱\in {ℝ}^n$ vektor $𝐩\in {ℝ}^n$, za katerega velja, da vrednost namenske funkcije $f:{ℝ}^n\to ℝ$ v tej smeri »lokalno pada«.

Bolj natančno to pomeni, da lahko najdemo takšen skalar $ϵ>0$, da velja

$\alpha >0\wedge \alpha <ϵ\Rightarrow f(𝐱+\alpha 𝐩)<f(𝐱)$, je

Če gradient funkcije ni enak nič ($\mathrm{\nabla }f(𝐱\ne 0)$), je $𝐩$ smer padanja funkcije f natanko takrat, ko je

$⟨{𝐩}_k,\mathrm{\nabla }f({𝐱}_k)⟩<0$,

kjer $⟨,⟩$ označuje skalarni produkt.

Pri optimizacijskih algoritmih je iskanje padajočih smeri namenske funkcije pomembno, ker lahko funkcijo v takšni smeri zagotovo zmanjšamo, če uporabimo dovolj majhen korak. Negativen neničelen gradient funkcije je vedno padajoča smer, saj velja

$⟨-\mathrm{\nabla }f({𝐱}_k),\mathrm{\nabla }f({𝐱}_k)⟩=-⟨\mathrm{\nabla }f({𝐱}_k),\mathrm{\nabla }f({𝐱}_k)⟩<0$.

To dejstvo uporabimo pri metodi najstrmejšega padca, kjer funkcijo zaporedoma minimiziramo v smeri negativnega gradienta. Obstajajo še druge metode za izračun smeri padanja, na primer metoda konjugiranih gradientov. Ta metoda se uporablja pogosteje od metode najstrmejšega padca, ki v resnici ni učinkovita, kar se intuitivno zdi v nasprotju z dejstvom, da funkcija v smeri negativnega gradienta najhitreje pada.

Glej tudi

• Minimizacija v dani smeri