信息熵

標籤: 暫無標籤

65

更新時間: 2013-10-09

廣告

信息的基本作用就是消除人們對事物了解的不確定性。多數粒子組合之後,在它似像非像的形態上押上有價值的數碼,具體地說,這就是一個在博弈對局中現象信息的混亂。

信息熵 -【陳述】:
信息熵博弈聖經
信息的基本作用就是消除人們對事物了解的不確定性。美國資訊理論創始人香農發現任何信息都存在冗餘,冗餘的大小與信息的每一個符號出現的概率和理想的形態有關,多數粒子組合之後,在它似像非像的形態上押上有價值的數碼,那一定是給一個博弈研究者長期迷惑的問題提供了一個負熵論據,這種單相思佔優的形態以及信息熵的理解,在變換策略之後並能應用在博弈中。那些多餘的策略威脅剔除之後,變成可接受的不可置信的對抗者的狀態,則是博弈熵,也是對抗生物熵結,這時的對抗概率是高的。
正因為大數定理,賭場才永不停息,只要有可能出現的一定會出現。從大數定理的角度來看,這條法則千真萬確,只是它需要一個條件:這件事重複的次數足夠多。如果將這個大數引入價值,就會出現大的麻煩,所以概率和個數有關,在時間和空間合成的歷史中,該發生的事情都讓它發生。只有等到足夠多的事件,才是真正的平等,而博弈的賭場遊戲則是永不停息。大數定理告訴人們,在大量的隨機事件的重複中,會出現多次的均衡,也會出現必然的規律。對一個混沌系統的雜亂現象,形態上的期望和試驗上的觀察,會發現不同的結果,也許這是自然界的奧秘,也是人類產生興趣的根源。
信息熵 -正文
  信源的平均不定度。在資訊理論中信源輸出是隨機量,因而其不定度可以用概率分佈來度量。記H(X)=H(P1P2,…,Pn)=P(xi)logP(xi),這裡P(xi),i=1,2,…,n為信源取第i個符號的概率。信息熵P(xi)=1,H(X)稱為信源的信息熵。
  熵的概念來源於熱力學。在熱力學中熵的定義是系統可能狀態數的對數值,稱為熱熵。它是用來表達分子狀態雜亂程度的一個物理量。熱力學指出,對任何已知孤立的物理系統的演化,熱熵只能增加,不能減少。然而這裡的信息熵則相反,它只能減少,不能增加。所以熱熵和信息熵互為負量。且已證明,任何系統要獲得信息必須要增加熱熵來補償,即兩者在數量上是有聯繫的。
  可以從數學上加以證明,只要H(X)滿足下列三個條件:
  ①連續性:H(P,1-P)是P的連續函數(0≤P≤1);
  ②對稱性:H(P1,…,Pn)與P1,…,Pn的排列次序無關;
  ③可加性:若PnQ1+Q2>0,且Q1Q2≥0,則有H(P1,…,Pn-1,Q1,Q2)=H(P1,…,Pn-1)+PnH信息熵;則一定有下列唯一表達形式:

H(P1,…,Pn)=-C信息熵P(xi)logP(xi)

廣告

其中C為正整數,一般取C=1,它是信息熵的最基本表達式。
  信息熵的單位與公式中對數的底有關。最常用的是以2為底,單位為比特(bit);在理論推導中常採用以e為底,單位為奈特(Nat);還可以採用其他的底和單位,並可進行互換。
  信息熵除了上述三條基本性質外,還具有一系列重要性質,其中最主要的有
  ①非負性:H(P1,…,Pn)≥0;
  ②確定性:H(1,0)=H(0,1)=H(0,1,0,…)=0; ③擴張性:

信息熵Hn-1(P1,…,Pn-ε,ε)=Hn(P1,…,Pn);

④極值性: 這裡信息熵Q(xi)=1;
  ⑤上凸性:

HλP+(1-λ)Q】>λH(P)+(1-λ)H(Q),

式中0<λ<1。
  最簡單的二元信源的信息熵性質如圖所示。
信息熵信息熵
  當實際信源用隨機序列X來表示時,它的熵可以直接推廣為:信息熵。但對連續信源則不能進行類似的推廣。因為這樣就必然會出現無限大量。1948年C.E.仙農建議用概率密度p(x)來定義H(X),

信息熵

這樣定義的熵雖然仍具有可加性等熵的主要性質,但已不具有非負性,因此也不再代表連續信源的信息量。但由於在大量實際問題中需要的僅是兩個熵的差值,這時它仍具有信息量特徵的非負性。因此,連續熵H(X)具有相對性,又稱為相對熵。它與力學中的勢能概念相仿。
  從理論上看,仙農對連續熵H(X)的定義是不完善的。1951年S.庫爾伯克研究資訊理論在統計學中的應用時,引入了信息變差的概念。從一種概率密度p0(x)轉移到另一種概率密度p(x)的信息變差I(p0p)為

信息熵

其中要求p(x)對p0(x)絕對連續。
  若P0(x)是具有最大熵H0(X)的概率分佈,則信息變差I(P0,P)=H0(X)-H(X),所以一般情況下的信息熵H(X)可表示為:H(X)=H0(X)-I(P0,P)。即信息熵可理解為最大熵與信息變差之間的差值。由於它對離散熵和連續熵都適用,從信息變差出發就能使離散熵和連續熵有統一的含義,並可以使連續熵的定義建立在更為合理的基礎上。

廣告

廣告