Infomax

Infomax ist ein Optimierungsprinzip künstlicher neuronaler Netze und anderer Informationsverarbeitungssysteme. Es besagt, dass eine Funktion, die eine Reihe von Eingangswerten I einer Reihe von Ausgangswerten O zuschreibt, so gewählt oder gelernt werden sollte, dass die durchschnittliche Transinformation nach Shannon zwischen I und O maximiert wird. Dies geschieht abhängig von vordefinierten Bedingungen und/oder vorhandenem Rauschen im Signal. Infomaxalgorithmen sind dabei Lernalgorithmen, die diesem Optimierungsprozess dienen.[1]

Infomax bezieht sich auf das Prinzip der Redundanzreduktion, das von Horace Barlow zur Beschreibung biologischer Reizverarbeitung im Jahr 1961 formuliert wurde.[2] Atick und Redlich wendeten es für die Berechnung von Verarbeitungsprozessen der Retina an.[3]

Eine der Hauptanwendungen von Infomax findet sich bei der Unabhängigkeitsanalyse (ICA), wobei unabhängige Signale durch Maximierung der Entropie gefunden werden.[4][5]

Literatur

  • Bell AJ, Sejnowski TJ: The "Independent Components" of Natural Scenes are Edge Filters. In: Vision Res. 37. Jahrgang, Nr. 23, Dezember 1997, S. 3327–38, doi:10.1016/S0042-6989(97)00121-1, PMID 9425547, PMC 2882863 (freier Volltext) – (englisch, elsevier.com).
  • Linsker R: A local learning rule that enables information maximization for arbitrary input distributions. In: Neural Computation. 9. Jahrgang, Nr. 8, 1997, S. 1661–65, doi:10.1162/neco.1997.9.8.1661 (englisch).
  • Stone, James V., Dr.: Independent component analysis : a tutorial introduction. MIT Press, Cambridge, Mass. 2004, ISBN 0-262-69315-1 (englisch).

Einzelnachweise

  1. ↑ Linsker R: Self-organization in a perceptual network. In: IEEE Computer. 21. Jahrgang, Nr. 3, 1988, S. 105–17, doi:10.1109/2.36 (englisch, kovan.ceng.metu.edu.tr (Memento des Originals vom 5. Dezember 2014 im Internet Archive)).
  2. ↑ Barlow, H.: Sensory Communication. Hrsg.: Rosenblith, W. MIT Press, Cambridge MA 1961, Possible principles underlying the transformations of sensory messages, S. 217–234 (englisch).
  3. ↑ Atick JJ, Redlich AN: What does the retina know about natural scenes? In: Neural Computation. 4. Jahrgang, Nr. 2, 1992, S. 196–210, doi:10.1162/neco.1992.4.2.196 (englisch).
  4. ↑ Bell AJ, Sejnowski TJ: An information-maximization approach to blind separation and blind deconvolution. In: Neural Comput. 7. Jahrgang, Nr. 6, November 1995, S. 1129–59, doi:10.1162/neco.1995.7.6.1129, PMID 7584893 (englisch).
  5. ↑ Nadal J.P., Parga N.: Sensory coding: information maximization and redundancy reduction. In: Neural information processing, G. Burdet, P. Combe and O. Parodi Eds., World Scientific Series in Mathematical Biology and Medecine. 7. Jahrgang, 1999, S. 164–171 (englisch, ens.fr).

Content Disclaimer

Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.

  1. The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
  2. There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
  3. It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
  4. Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
  5. Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.