信息率-失真理論

標籤: 暫無標籤

91

更新時間: 2013-09-05

廣告

信息率-失真理論 -信息率-失真理論

 

信息率-失真理論 -正文
  研究在限定失真下為了恢複信源符號所必需的信息率,簡稱率失真理論。信源發出的符號傳到信宿后,一般不能完全保持原樣,而會產生失真。要避免這種失真幾乎是不可能,而且也無必要,因為信宿不管是人還是機器,靈敏度總是有限的,不可能覺察無窮微小的失真。倘若在處理信源符號時允許一定限度的失真,可減小所必需的信息率,有利於傳輸和存儲。率失真理論就是用以計算不同類型的信源在各種失真限度下所需的最小信息率。因此,這一理論是現代所有信息處理問題的理論基礎。
  在50年代,資訊理論主要研究無失真的信息傳輸問題。信源編碼著眼於無失真地恢複信源符號的最小信息率。1959年,C.E.仙農發表《逼真度準則下的離散信源編碼定理》一文,提出了率失真函數的概念,逐漸形成率失真理論並不斷得到完善。這一理論能解決許多類型的信源問題,並擴大到多用戶相關信源問題。
  率失真函數  計算率失真函數是率失真理論的中心問題。要定義率失真函數,必須先定量地表達失真的程度,因此需要規定失真函數d(u,v)。u是信源符號U的樣,uAA是信源集,可以是連續的實數區間,也可以是離散的有限集如A={ɑ1ɑ2,…,ɑn}。v是信宿得到的符號V的樣,vB,B可以等於A也可以不同。因此失真函數d是一個二元函數。當用v代替u不引起失真時,可使d(u,v)=0,若引起失真,就按失真程度規定d(u,v)為正實數集內的一個數。由於UV都是隨機量,d(u,v)也將是隨機量,因此還須定義平均失真信息率-失真理論作為失真的度量,即

信息率-失真理論

廣告

式中E表示取數學期望。
  當信源和信宿是隨機序列U1,U2,…,UNV1V2,…,VN時,可定義平均失真為

信息率-失真理論

式中urvr分別為第r個信源和信宿符號urvr的樣,各失真函數dr可以是同一函數,也可以是不同的函數。對於連續參量t的隨機過程的信源和信宿,可把上面的求和改成積分,即

信息率-失真理論

  有了平均失真就可定義率失真函數。若信源和信宿都是離散的,P(u)和Q(v)分別為它們的概率,則

信息率-失真理論

式中Pvu)是UV間的條件概率。則UV間的互信息為

信息率-失真理論

而率失真函數為

信息率-失真理論

式中PD為所有滿足平均失真不大於D的條件概率P(v|u)的集,即

信息率-失真理論

  當信源概率P(u)已給定時,I(U;V)是各P(vu)的函數。在PD中選一組Pvu)使I(U;V)最小,這最小值將是D的函數,這就是率失真函數R(D),也就是使恢複信源符號時平均失真不大於D所需的最小信息率。這一定義對於連續信源仍然適用,只要將P(u)和P(vu)理解為概率密度,表達式中的求和號改為積分即可。
  當信源概率P(u)已知,失真函數d(u,v)已規定時,可用求極值法來計算R(D)函數。實際計算一般相當複雜,有時尚須藉助於計算機作迭代運算。最常見的二元信宿在對稱失真函數時,率失真函數(圖1)是

信息率-失真理論

廣告

式中p為較少出現的信源符號的概率,即信息率-失真理論,失真函數是

d(0,0)=d(1,1)=0  d(0,1)=d(1,0)=ɑ

H是熵函數,即

H(z)=-zlogz-(1-z)log(1-z)  (0≤z≤1)

  正態信源在均方失真的規定下,率失真函數是

信息率-失真理論

式中σ2為正態信源的方差。失真函數d(u,v)=(u-v)2(圖2)。

信息率-失真理論信息率-失真理論
 
信息率-失真理論信息率-失真理論

  其實,其他信源的率失真函數也都與上述兩種情況有類似的趨勢,即對於離散信源,R(0)=H(p),對於連續信源,R(0)→∞;兩者都有一個最大失真值Dm,當DDm時,R(D)=0。此外,R(D)必為D的嚴格遞減下凸函數,這些都可由定義直接推出。
  限失真信源編碼定理  率失真函數只指出限失真條件下所必需的最小信息率。從理論上講,尚應能證明實際存在一種編碼方法,用這樣的信息率就能實現限失真的要求。這就是限失真信源編碼定理。這個定理可表述為:只要信源符號序列長度N足夠大,當每個符號的信息率大於R(D),必存在一種編碼方法,其平均失真可無限逼近D;反之,若信息率小於R(D),則任何編碼的平均失真必將大於D
  對於無記憶平穩離散信源,上述定理已被嚴格證明,並知其逼近誤差是依指數關係 e信息率-失真理論而衰減的。其中B(R)是信息率R的函數,當RR(D)時,B(R)是正值,且隨R的增大而增大。因此當序列長度N增大時,誤差將趨於零。對於其他信源,結果還不十分完善。
  參考書目
 T.Berger, Rate Distortion Theory,Prentice Hall, Engle wood Cliffs,New Jersey,1971.

 

信息率-失真理論 -配圖

 

信息率-失真理論 -相關連接

廣告