Teoria informaţiei

Teoria informaţiei este o ramură a matematicii aplicate şi ingineriei electrice care se ocupă de cuantificarea informaţiei. Din punct de vedere istoric teoria informaţiei a fost dezvoltată de Claude E. Shannon pentru a determina limitele fundamentale ale comprimării şi stocării  datelor de comunicare. Ulterior conceptul s-a lărgit incluzând aplicaţii din diverse domenii, precum deducţiile statistice, procesarea limbajului natural, criptografie, reţelistică, şi alte domenii fără legătură cu comunicaţiile, precum neurobiologia,^[1] evoluţia^[2] şi funcţiile codurilor moleculare^[3], selecţia modeleleor^[4] în ecologie, fizica căldurii^[5], calculul cuantic, detecţia plagiarismului^[6] şi alte tipuri de analiză a datelor.^[7]

O măsură de bază a informaţiei în teorie este entropia, care este exprimată de obicei prin numărul mediu de biţi necesari pentru stocare sau comunicare. Intuitiv, entropia cuantifică incertitudinile implicate atunci când întâlnim o variabilă aleatorie. De exemplu, la rotirea unei monezi (unde sunt posibile două evenimente egale ca probabilitate) avem o entropie mai mică decât în cazul rostogolirii unui zar (unde există 6 posibile evenimente de egală probabilitate).

Aplicaţii ale teoriei informaţiei includ compresia fără pierderi a datelor (de ex., fişiere ZIP), compresia datelor cu pierdere de informaţii (de ex., fişiere MP3), şi codarea canalelor (de ex., liniile DSL). Domeniul se găseşte la intersecţia matematicii, statisticii, ştiinţei calculatoarelor, fizicii, neurobiologiei, şi ingineriei electrice. Impactul său a fost crucial în misiunea navei spaţiale Voyager în spaţiul cosmic, invenţia discului compact, fezabilitatea telefoanelor mobile, dezvoltarea Interetului, studiul lingvisticii şi al percepţiei umane, înţelegerea găurilor negre, şi în numeroase alte domenii. Subdomenii importante ale teoriei informaţiei includ codarea, codarea canalelor, teoria complexităţii algoritmice, teoria informaţiei algoritmice, şi măsurarea informaţiei.

Referinţe

Note

Lucrări clasice

• Shannon, C.E. (1948), "A Mathematical Theory of Communication", Bell System Technical Journal, 27, pp. 379–423 & 623–656, July & October, 1948. PDF.
  Notes and other formats.
• R.V.L. Hartley, "Transmission of Information", Bell System Technical Journal, July 1928
• Andrey Kolmogorov(1968) "Three approaches to the quantitative definition of information" in International Journal of Computer Mathematics.

Alte articole din jurnale

• J. L. Kelly, Jr., "A New Interpretation of Information Rate," Bell System Technical Journal, Vol. 35, July 1956, pp. 917-26.
• R. Landauer, Information is Physical Proc. Workshop on Physics and Computation PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1-4.
• R. Landauer, "Irreversibility and Heat Generation in the Computing Process" IBM J. Res. Develop. Vol. 5, No. 3, 1961

Cărţi despre teoria informaţiei

• Claude E. Shannon, Warren Weaver. The Mathematical Theory of Communication. Univ of Illinois Press, 1949. ISBN 0-252-72548-4
• Robert Gallager. Information Theory and Reliable Communication. New York: John Wiley and Sons, 1968. ISBN 0-471-29048-3
• Robert B. Ash. Information Theory. New York: Interscience, 1965. ISBN 0-470-03445-9. New York: Dover 1990. ISBN 0-486-66521-6
• Thomas M. Cover, Joy A. Thomas. Elements of information theory, 1st Edition. New York: Wiley-Interscience, 1991. ISBN 0-471-06259-6.
  2nd Edition. New York: Wiley-Interscience, 2006. ISBN 0-471-24195-4.
• Imre Csiszar, Janos Korner. Information Theory: Coding Theorems for Discrete Memoryless Systems Akademiai Kiado: 2nd edition, 1997. ISBN 9630574403
• Raymond W. Yeung. A First Course in Information Theory Kluwer Academic/Plenum Publishers, 2002. ISBN 0-306-46791-7
• David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1
• Raymond W. Yeung. Information Theory and Network Coding Springer 2008, 2002. ISBN 978-0-387-79233-0
• Stanford Goldman. Information Theory. New York: Prentice Hall, 1953. New York: Dover 1968 ISBN 0-486-62209-6, 2005 ISBN 0-486-44271-3
• Fazlollah Reza. An Introduction to Information Theory. New York: McGraw-Hill 1961. New York: Dover 1994. ISBN 0-486-68210-2
• Masud Mansuripur. Introduction to Information Theory. New York: Prentice Hall, 1987. ISBN 0-13-484668-0
• Christoph Arndt: Information Measures, Information and its Description in Science and Engineering (Springer Series: Signals and Communication Technology), 2004, ISBN 978-3-540-40855-0, [1];

Alte cărţi

• Leon Brillouin, Science and Information Theory, Mineola, N.Y.: Dover, [1956, 1962] 2004. ISBN 0-486-43918-6
• A. I. Khinchin, Mathematical Foundations of Information Theory, New York: Dover, 1957. ISBN 0-486-60434-9
• H. S. Leff and A. F. Rex, Editors, Maxwell's Demon: Entropy, Information, Computing, Princeton University Press, Princeton, NJ (1990). ISBN 0-691-08727-X
• Tom Siegfried, The Bit and the Pendulum, Wiley, 2000. ISBN 0-471-32174-5
• Charles Seife, Decoding The Universe, Viking, 2006. ISBN 0-670-03441-X
• Jeremy Campbell, Grammatical Man, Touchstone/Simon & Schuster, 1982, ISBN 0-671-44062-4
• Henri Theil, Economics and Information Theory, Rand McNally & Company - Chicago, 1967.

Linkuri

• Schneider, T., "Information Theory Primer", Eprint
• Srinivasa, S. "A Review on Multivariate Mutual Information" PDF.
• Challis, J. Lateral Thinking in Information Retrieval
• Journal of Chemical Education, Shuffled Cards, Messy Desks, and Disorderly Dorm Rooms - Examples of Entropy Increase? Nonsense!
• IEEE Information Theory Society and the review articles.
• On-line textbook: Information Theory, Inference, and Learning Algorithms, by David MacKay - gives an entertaining and thorough introduction to Shannon theory, including state-of-the-art methods from coding theory, such as arithmetic coding, low-density parity-check codes, and Turbo codes.
• Erill, I., "A gentle introduction to information content in transcription factor binding sites", Eprint

(Traducere şi adaptare din Wikipedia sub licenţa GNU)