En aprenentatge automàtic, l'optimització bayesiana és una estratègia de disseny seqüencial per a l'optimització global de funcions matemàtiques, les quals compleixen una sèrie de criteris com:
- El cost computacional de la seva avaluació és molt elevat.
- Funcions objectiu tractades com a caixes negres, i per tant, no es disposa de cap informació sobre les seves derivades.
- L'avaluació de la funció objectiu pot èsser sorollosa.
Aquest tipus de problemes apareixen sovint en camps com la simulació de fenòmens de molt variada tipologia o en el camp de la intel·ligència artificial.
Història
El terme s'atribueix a Jonas Mockus, que el menciona en una sèrie d'artícles sobre optimització global a les dècades dels 70 i 80.[1][2][3]
Mecanisme de funcionament
Com que la funció objectiu, 
, és completament desconeguda, és tractada com una caixa negra i només en podem conèixer la seva imatge (inclús pot ser sorollosa) després d'una avaluació que pot ser molt lenta computacionalment, i que per tant, interessa fer-ne el mínim nombre possible.
L'estratègia bayesiana és tractar-la com una funció aleatòria i definint un prior sobre aquesta, que codifica el nostre coneixement previ sobre el comportament de .
Després, s'evaluen una col·lecció de punts aleatòriament mostrejats sobre el seu domini, que són tractats com a les dades, i se'n calcula el posterior. La distribució posterior és utilitzada per construir una altra funció anomenada d'adquisició, el màxim de la qual determina quin és el següent punt del domini s'ha de mostrejar per tal d'actualitzar el procés gaussià de la manera més eficient possible d'acord amb una sèrie de criteris.
Aplicacions
Aquesta tècnica ha estat implementada per resoldre una àmplia varietat de problemes d'optimització com l'aprenentatge automàtic, robòtica, xarxes de sensors, simulacions en física, etc. En general, qualsevol problema d'optimització on la funció objectiu requereixi un alt temps d'avaluació i/o el seu resultat pot estar afectat d'imprecisions, l'optimització bayesiana pot desenvolupar una bona feina.
Referències
- ↑ Mockus, Jonas «On Bayesian Methods for Seeking the Extremum». Optimization Techniques, 1974, pàg. 400-404.
- ↑ Mockus, Jonas «On Bayesian Methods for Seeking the Extremum and their Application». IFIP Congress, 1977, pàg. 195-200.
- ↑ Mockus, Jonas «Bayesian Approach to Global Optimization». Kluwer Academic Publishers, 1989.
Enllaços externs
- Hyperopt Implementació en Python d'optimització d'hiperparàmetres de processos gaussians.
