Inception Score

L'Inception Score (IS) és un algorisme que s'utilitza per avaluar la qualitat de les imatges creades per un model d'imatge generativa com una xarxa adversa generativa (GAN). La puntuació es calcula a partir de la sortida d'un model de classificació d'imatges Inceptionv3 preentrenat i separat aplicat a una mostra d'imatges (normalment unes 30.000) generades pel model generatiu. La puntuació inicial es maximitza quan es compleixen les condicions següents: ^[1]

1. Es minimitza l'entropia de la distribució d'etiquetes predita pel model Inceptionv3 per a les imatges generades. En altres paraules, el model de classificació prediu amb confiança una sola etiqueta per a cada imatge. Intuïtivament, això correspon al desideratum que les imatges generades siguin "nítids" o "distintes".
2. Les prediccions del model de classificació es distribueixen uniformement en totes les etiquetes possibles. Això correspon al desideratum que la sortida del model generatiu és "diversa".^[2]

Ha estat una mica substituït per la distància inicial de Fréchet relacionada. Mentre que l'Inception Score només avalua la distribució de les imatges generades, el FID compara la distribució d'imatges generades amb la distribució d'un conjunt d'imatges reals ("veritat bàsica").^[3]

Que hi hagi dos espais, l'espai de les imatges ${\displaystyle \Omega _{X}}$ i l'espai de les etiquetes ${\displaystyle \Omega _{Y}}$ . L'espai de les etiquetes és finit.

Deixar ${\displaystyle p_{gen}}$ ser una distribució de probabilitat sobre ${\displaystyle \Omega _{X}}$ que volem jutjar.

Sigui un discriminador una funció del tipus$${\displaystyle p_{dis}:\Omega _{X}\to M(\Omega _{Y})}$$on ${\displaystyle M(\Omega _{Y})}$ és el conjunt de totes les distribucions de probabilitat sobre ${\displaystyle \Omega _{Y}}$. Per a qualsevol imatge ${\displaystyle x}$, i qualsevol etiqueta ${\displaystyle y}$, deixar ${\displaystyle p_{dis}(y|x)}$ sigui la probabilitat que aquesta imatge ${\displaystyle x}$ té etiqueta ${\displaystyle y}$, segons el discriminador. Normalment s'implementa com una xarxa Inception-v3 entrenada a ImageNet. La puntuació inicial de ${\displaystyle p_{gen}}$ relatiu a ${\displaystyle p_{dis}}$ és$${\displaystyle IS(p_{gen},p_{dis}):=\exp \left(\mathbb {E} _{x\sim p_{gen}}\left[D_{KL}\left(p_{dis}(\cdot |x)\|\int p_{dis}(\cdot |x)p_{gen}(x)dx\right)\right]\right)}$$Les reescriptures equivalents inclouen$${\displaystyle \ln IS(p_{gen},p_{dis}):=\mathbb {E} _{x\sim p_{gen}}\left[D_{KL}\left(p_{dis}(\cdot |x)\|\mathbb {E} _{x\sim p_{gen}}[p_{dis}(\cdot |x)]\right)\right]}$$$${\displaystyle \ln IS(p_{gen},p_{dis}):=H[\mathbb {E} _{x\sim p_{gen}}[p_{dis}(\cdot |x)]]-\mathbb {E} _{x\sim p_{gen}}[H[p_{dis}(\cdot |x)]]}$$${\displaystyle \ln IS}$ no és negatiu per la desigualtat de Jensen. Pseudocodi:

«

INPUT discriminador ${\displaystyle p_{dis}}$. INPUT generador ${\displaystyle g}$. Sample images ${\displaystyle x_{i}}$ from generator. Calcular p_{dis}(./x_i), la distribució de probabilitat sobre les la imatge x_i. Sumar els resultats per obtenir ${\displaystyle {\hat {p}}}$, una estimació empírica de ${\displaystyle \int p_{dis}(x)dx}$. Mostrejar més imatges ${\displaystyle x_{i}}$ del generador, i calcular D_{KL} \left(p_{dis}(\cdot | x_i) \| \hat p\right). Fer la mitjar dels resultats, i fer exponencial. RETORNA el resultat.

»

Una puntuació inicial més alta s'interpreta com a "millor", ja que significa això ${\displaystyle p_{gen}}$ és una col·lecció d'imatges "nítids i distintes".

${\displaystyle \ln IS(p_{gen},p_{dis})\in [0,\ln N]}$, on ${\displaystyle N}$ és el nombre total d'etiquetes possibles.

${\displaystyle \ln IS(p_{gen},p_{dis})=0}$ si per gairebé tots ${\displaystyle x\sim p_{gen}}$$${\displaystyle p_{dis}(\cdot |x)=\int p_{dis}(\cdot |x)p_{gen}(x)dx}$$Això significa ${\displaystyle p_{gen}}$ és completament "indistint". És a dir, per a qualsevol imatge ${\displaystyle x}$ mostrat de ${\displaystyle p_{gen}}$, el discriminador retorna exactament les mateixes prediccions d'etiquetes ${\displaystyle p_{dis}(\cdot |x)}$.La puntuació inicial més alta ${\displaystyle N}$ s'aconsegueix si i només si les dues condicions són certes:

• Per quasi tots , la distribució es concentra en una sola etiqueta. Això és, . És a dir, cada imatge presa de mostres està exactament classificat pel discriminador.
• Per a cada etiqueta , la proporció d'imatges generades etiquetades com a és exactament . És a dir, les imatges generades es distribueixen per igual en totes les etiquetes.^[4]