Ten artykuł dotyczy poj?cia z dziedziny teorii informacji. Zobacz te?: inne znaczenia tego terminu .

Entropia ? ?rednia ilo?? informacji , przypadaj?ca na pojedyncz? wiadomo?? ze ?rodła informacji. Innymi słowy jest to ?rednia wa?ona ilo?ci informacji niesionej przez pojedyncz? wiadomo??, gdzie wagami s? prawdopodobie?stwa nadania poszczegolnych wiadomo?ci.

Wzor na entropi? zmiennej losowej ${\displaystyle X}$ o zbiorze warto?ci ${\displaystyle \{x_{1},x_{2},\dots ,x_{n}\}}$^[1] :

${\displaystyle H(X)=\sum _{i=1}^{n}p(x_{i})\log _{r}{\frac {1}{p(x_{i})}}=-\sum _{i=1}^{n}p(x_{i})\log _{r}{p(x_{i})},}$

gdzie ${\displaystyle p(x_{i})}$ to prawdopodobie?stwo zaj?cia zdarzenia ${\displaystyle x_{i},}$ a ${\displaystyle r}$ to podstawa logarytmu. W teorii informacji najcz??ciej stosuje si? logarytm o podstawie 2, wowczas jednostk? entropii jest bit . Dla ${\displaystyle r=e}$ jednostka ta nazywa si? nat (nit), natomiast dla ${\displaystyle r=10}$ ? dit lub hartley. W przypadku gdy ${\displaystyle p(x_{i})=0}$ dla pewnego ${\displaystyle i,}$ warto?? składnika ${\displaystyle 0\log _{r}{0}}$ jest przyjmowana jako 0, co jest zgodne z granic?:

${\displaystyle \lim _{p\to 0+}p\log(p)=0.}$

W latach 60. XX wieku w?gierski matematyk Alfred Renyi uogolnił poj?cie entropii do zbioru funkcji za pomoc? ktorych mo?na opisa? ilo?ciowo ro?norodno??, niepewno?? czy losowo?? systemu. Miara ta od jego nazwiska nazywana jest entropi? Renyi .

Entropi? mo?na interpretowa? jako niepewno?? wyst?pienia danego zdarzenia elementarnego w nast?pnej chwili. Je?eli jakie? zdarzenie w zbiorze zdarze? wyst?puje z prawdopodobie?stwem rownym 1, to entropia układu wynosi wowczas 0, gdy? z gory wiadomo, co si? stanie ? nie ma niepewno?ci.

Własno?ci entropii:

• jest nieujemna;
• jest maksymalna, gdy prawdopodobie?stwa zaj?? zdarze? s? takie same (maksymalna niepewno??) ^[1] ;
• jest rowna 0, gdy prawdopodobie?stwa stanow systemu poza jednym wynosz? 0, a jednego stanu ? 1 (maksymalna pewno??) ^[1] ;
• własno?? superpozycji ? gdy dwa systemy s? niezale?ne, to entropia sumy systemow rowna si? sumie entropii ^[2] ;
• je?li ze ?rodła danych pobierane s? k-literowe ci?gi, wowczas entropia wynosi ${\displaystyle H(X^{(k)})=kH(X).}$

Definicja informacyjna była pierwotnie prob? uj?cia tradycyjnego poj?cia entropii znanego z termodynamiki w kategoriach teorii informacji. Okazało si? jednak, ?e definicja ta jest przydatna w ramach samej teorii informacji.

Poj?cie entropii jest bardzo przydatne np. w dziedzinie kompresji danych . Entropi? zerowego rz?du mo?na obliczy? znaj?c histogram ci?gu symboli. Jest to iloczyn entropii i liczby znakow w ci?gu. Osi?gi kodowania Huffmana s? cz?sto zbli?one do tej granicy, jednak lepsz? efektywno?ci? charakteryzuje si? kodowanie arytmetyczne .

Przyj?cie modelu, w ktorym uwzgl?dnia si? kontekst znaku, pozwala zwykle na bardzo du?e obni?enie entropii.

Przykład [ edytuj | edytuj kod ]

W przypadku, gdy prawdopodobie?stwa poszczegolnych zdarze? w zbiorze s? rowne, powy?szy wzor mo?na stosowa? w postaci uproszczonej:

${\displaystyle H(X)=\log _{2}(n),}$

gdzie: ${\displaystyle n}$ oznacza wielko?? zbioru. Przykładowo dla zbioru 26 liter alfabetu ${\displaystyle (n=26)}$ entropia ka?dej z nich wynosi około 4,7, wi?c o?mioznakowy ci?g liter wykorzystywany np. jako hasło b?dzie miał entropi? 37,6.

Moneta, ktora wyrzuca z takim samym prawdopodobie?stwem orły i reszki, ma 1 bit entropii na rzut:

${\displaystyle -p_{O}\log _{2}p_{O}-p_{R}\log _{2}p_{R}=-{\frac {1}{2}}\log _{2}{\frac {1}{2}}-{\frac {1}{2}}\log _{2}{\frac {1}{2}}={\frac {1}{2}}+{\frac {1}{2}}=1.}$

Jednak?e je?li moneta z jakie? przyczyny daje zafałszowany wynik (statystycznie cz??ciej daje albo orła albo reszk? z okre?lonym prawdopodobie?stwem) mamy do czynienia z sytuacj?, w ktorej jest mniejsza niepewno?? (mo?emy łatwiej przewidzie? wynik). Objawia si? to ni?sz? entropi?. Przykładowo, je?li zało?ymy, ?e z czterech rzutow wypadły 3 reszki to podstawiaj?c do wzoru otrzymamy entropi? rown? 0,81. Id?c do ekstremum , przy czterech rzutach i 4 reszkach lub 4 orłach entropia osi?ga minimum, czyli 0, poniewa? nie ma niepewno?ci (wiemy co wydarzy si? w nast?pnym rzucie). Przedstawiony przykład jest skrajnie uproszczony i proba czterech rzutow jest za mała, aby wyci?ga? jakie? statystyczne wnioski, ale dobrze obrazuje problem.

Ogolniej ka?de ?rodło daj?ce ${\displaystyle N}$ rownie prawdopodobnych wynikow ma ${\displaystyle log_{2}N}$ bitow na symbol entropii:

${\displaystyle -\sum _{i=1}^{N}{\frac {1}{N}}\log _{2}{\frac {1}{N}}=-N{\frac {1}{N}}\log _{2}{\frac {1}{N}}=-\log _{2}{\frac {1}{N}}=\log _{2}N.}$

Ponadto inn? miar? zwi?zan? z entropi? Shannona jest entropia metryczna , ktora uwzgl?dnia długo?? informacji (entropia dzielona jest przez długo?? wiadomo?ci) i pozwala zmierzy? losowo?? informacji.

Zobacz te? [ edytuj | edytuj kod ]

Zobacz hasło entropia w Wikisłowniku

• entropia produktowa
• entropia krzy?owa
• entropia warunkowa
• informacja wzajemna
• ła?cuch Markowa
• teoria informacji

Przypisy [ edytuj | edytuj kod ]

Linki zewn?trzne [ edytuj | edytuj kod ]

• kalkulator entropii ? jak obliczy? i interpretowa? entropi? dowolnej wiadomo?ci
• M. Berta, O. Fawzi, M. Tomamichel, On Variational Expressions for Quantum Relative Entropies , arxiv.org/1512.02615