锡伯小射手下载:信息熵
来源:百度文库 编辑:九乡新闻网 时间:2024/05/20 11:22:09
信息熵
开放分类:传播学应用科学术语科学计算机术语
编辑词条分享
- 新知社
- 新浪微博
- 人人网
- 腾讯微博
- 移动说客
- 网易微博
- 开心001
- 天涯
- MSN
本词条由佳琦创建,共有6位协作者编辑了10次。最新协作者:纯·良,你好1986,山哥,天边月色,gl020。
信息的基本作用就是消除人们对事物了解的不确定性。多数粒子组合之后,在它似像非像的形态上押上有价值的数码,具体地说,这就是一个在博弈对局中现象信息的混乱。
纠错 编辑摘要 目录- 1 【陈述】:
- 2 正文
- 1 【陈述】:
- 2 正文
信息熵 - 【陈述】:
正因为大数定理,赌场才永不停息,只要有可能出现的一定会出现。从大数定理的角度来看,这条法则千真万确,只是它需要一个条件:这件事重复的次数足够多。如果将这个大数引入价值,就会出现大的麻烦,所以概率和个数有关,在时间和空间合成的历史中,该发生的事情都让它发生。只有等到足够多的事件,才是真正的平等,而博弈的赌场游戏则是永不停息。大数定理告诉人们,在大量的随机事件的重复中,会出现多次的均衡,也会出现必然的规律。对一个混沌系统的杂乱现象,形态上的期望和试验上的观察,会发现不同的结果,也许这是自然界的奥秘,也是人类产生兴趣的根源。
信息熵 - 正文
信源的平均不定度。在信息论中信源输出是随机量,因而其不定度可以用概率分布来度量。记 H(X)=H(P1,P2,…,Pn)=熵的概念来源于热力学。在热力学中熵的定义是系统可能状态数的对数值,称为热熵。它是用来表达分子状态杂乱程度的一个物理量。热力学指出,对任何已知孤立的物理系统的演化,热熵只能增加,不能减少。然而这里的信息熵则相反,它只能减少,不能增加。所以热熵和信息熵互为负量。且已证明,任何系统要获得信息必须要增加热熵来补偿,即两者在数量上是有联系的。
可以从数学上加以证明,只要H(X)满足下列三个条件:
①连续性:H(P,1-P)是P的连续函数(0≤P≤1);
②对称性:H(P1,…,Pn)与P1,…,Pn的排列次序无关;
③可加性:若Pn=Q1+Q2>0,且Q1,Q2≥0,则有H(P1,…,Pn-1,Q1,Q2)=H(P1,…,Pn-1)+PnH
H(P1,…,Pn)=-C
信息熵的单位与公式中对数的底有关。最常用的是以2为底,单位为比特(bit);在理论推导中常采用以e为底,单位为奈特(Nat);还可以采用其他的底和单位,并可进行互换。
信息熵除了上述三条基本性质外,还具有一系列重要性质,其中最主要的有
①非负性:H(P1,…,Pn)≥0;
②确定性:H(1,0)=H(0,1)=H(0,1,0,…)=0; ③扩张性:
⑤上凸性:
H【λP +(1-λ)Q】>λH(P)+(1-λ)H(Q),
式中0<λ<1。最简单的二元信源的信息熵性质如图所示。
从理论上看,仙农对连续熵H(X)的定义是不完善的。1951年S.库尔伯克研究信息论在统计学中的应用时,引入了信息变差的概念。从一种概率密度p0(x)转移到另一种概率密度p(x)的信息变差I(p0,p)为
若P0(x)是具有最大熵H0(X)的概率分布,则信息变差I(P0,P)=H0(X)-H(X),所以一般情况下的信息熵H(X)可表示为:H(X)=H0(X)-I(P0,P)。即信息熵可理解为最大熵与信息变差之间的差值。由于它对离散熵和连续熵都适用,从信息变差出发就能使离散熵和连续熵有统一的含义,并可以使连续熵的定义建立在更为合理的基础上。
为本词条添加视频和组图相关影像
- 注释与参考:
- 博弈圣经
- 周炯槃:《信息理论基础》,人民邮电出版社,北京, 1983
- A.Feinstein, Foundations of Information Theory, McGraw-Hill,New York,1958
- 被引用:信息熵已被如下媒体引用 我来补充
媒体:
标题:
URL:
作者:
日期:
保存取消
- 开放分类:我来补充
- 传播学
- 应用科学
- 术语
- 科学
- 计算机术语
- 开放分类:
- [删除]
- [删除]
- [删除]
- [删除]
- [删除]
- 同义词:
- 同义词:
分享到: 编辑词条