Matrična in tenzorska algebra. Notacija. Odvodi.

Teorija. Gradient. Konveksnost in stroga konveksnost. Lipschitzeve funkcije. Optimizacija z omejitvami. Dualne funkcije. Dualni optimizacijski problemi. Krepka dualnost. Slaterjev pogoj. Karush-Kuhn-Tuckerjev pogoj. 

Optimizacijske metode. Gradientna metoda. Stohastična gradientna metoda. Kvazi-Newtonova metoda. Subgradientna metoda. Pospešena gradientna metoda. Metode notranje točke. ADMM. Adaptivne gradientne metode.