TMA4180
OPTIMERINGSTEORI
Våren/Spring 2007
Harald E. Krogstad,
room 1146,
Sentralbygg II, tel. 73 59 35 36,
e-post: harald.krogstad@math.ntnu.no
Kurset tar sikte på å innøve fundamentale teknikker og metoder innen optimering. Målet er å gi studentene kjennskap til ulike optimeringsproblemer, de vanligste analyseteknikkene og algoritmene. Det vil legges vekt på geometrisk, matematisk forståelse heller enn algoritmiske detaljer, men slik at numeriske programpakker kan anvendes på en intelligent og kvalitetsbevisst måte. Siste del av kurset vil bli en innføring i variasjonsregning. Pensumvalget kan i noen grad være avhengig av deltakernes interesser, og det kan komme på tale å benytte gjesteforelesere for spesielle tema.
Stoffet krever noe bakgrunn i lineær algebra og lineær analyse. Dette er f.eks. dekket av kurset TMA4145 Lineære metoder, men er ikke et helt ufravikelig krav siden bøkene også gir nødvendig bakgrunnskunnskap.
Lineær programmering er godt dekket i andre kurs og vil ikke stå sentralt i dette kurset.
Med en viss rett kan en si at alle problemer lar seg formulere som optimeringsproblemer, og følgelig forekommer optimering i en mengde ulike situasjoner. Økonomi knyttet til produksjon, transport og distribusjon er velkjente eksempler, sammen med regulerings- og kontrollteori. Innen statistikk er optimering en sentral del av maximum likelihood og entropi, samt Bayes-teknikker. Optimal signalbehandling dreier seg om optimal filtrering og koding av signaler. Et ofte forekommende problem i praksis er å tilpasse en komplisert modell til et begrenset sett observasjoner. Dette leder til såkalte inverse problemer der tilleggsinformasjon, ofte i form av vår oppfatning av hva løsningen burde være, legges inn i en funksjonal som så optimaliseres. Variasjonsregning er den tradisjonelle betegnelsen på optimeringsproblemer med funksjoner som variable. I fysikk finnes en rekke prinsipper (f.eks. Huygens prinsipp i optikken og Hamiltons prinsipp i mekanikken) som egentlig er variasjonsproblemer. Variasjonsregning er også grunnlag for kontroll og reguleringsteknikk.
Kurset vil i hovedsak dreie seg om optimalisering av funksjonaler med et endelig antall ukjente. Enhver numerisk optimeringsalgoritme må nødvendigvis ha den formen selv om utgangspunktet er et variasjonsproblem.
Noe du lurer på? Ta kontakt eller se på http://www-fp.mcs.anl.gov/otc/Guide/
For en oversikt over lærebøkene anbefales WEB-sidene:
http://www.amazon.com/exec/obidos/ASIN/0387945113/xq23-20/104-8199134-0514310
1. Ikke-lineær optimering uten
føringer
- nødvendige og tilstrekkelige betingelser for ekstremum
- konvekse funksjoner og mengder
- litt om optimering i Hilbertrom (projeksjonssaten, beste approksimasjon etc.)
- algoritmer
- konvergenshastighet
- søkemetoder i én dimensjon, amøbe-metoden
- steepest descent, konjugert gradient og Newtons metoder
- kvasi-Newton metoder
2. Kort oversikt over lineær
optimering
- reduksjon til standard form og basisløsninger
- fundamentalteoremet i lineær optimering
- simplex-metoden
- optimering av nettverksflyt
3. Ikke-lineær optimering med føringer
- nødvendige og tilstrekkelige betingelser for ekstremum
- Lagrange-multiplikatorer
- Kuhn-Tuckers betingelser
- direkte metoder
- penalty- og barriere-metoder
- dualitet
- Lagrangemetoder
- Inverse problemer
4. Innføring i variasjonsregning
- optimering av funksjonaler
- Gâteauxderivert
- konveks analyse
- Euler-Lagrange ligningene
- anvendelser
(Legal copies of
relevant pages sold at net cost)
You may download the notes
at no cost.
2. Low-dimensional, unconstrained
problems
3. Numerical experiments: Steepest
Descent and Nelder Mead
4. Exact solution of the Trust Region
quadratic problem
5. Supplementary notes about the
Conjugate Gradient method
6. Summary about Least Square Problems
7. About Matlab Optimization Toolbox
(unconstrained)
8. Note about the KKT-theoren (small
rev. Feb. 21)
9. Guide to LP
10. Slides about Simplex Algorithm and
LINPROG in Matlab
11. Minimum cost network flow and LP
12. Summary note about Quadratic
Programming , Overheads and Matlab Demo
13. Penalty and barrier methods
14. Inverse Problems (rev. May 18) PPT-presentation 1 PPT-presentation 2
16 Examples
from Troutman, Sec. 3.4: Brachistochrone
Optimal production control
PDE and the Finite Element Method
17. Preparing for the Exam - An Optimal
Control Problem
18. Variational Calculus and Classical
Mechanics (included for completeness)
H.
Krogstad
Institutt for matematiske fag, NTNU,
Novemeber 2007