九乡新闻网远走高飞 林忆莲歌词:深入浅出最大熵理论
来源：百度文库 编辑：九乡新闻网 时间：2024/04/27 17:49:09
最大熵理论浅显解释
我们沿着自己的思路说明了广义集合、分布函数和复杂程度的含义。在本篇又利用新提出的概率公理证明复杂程度最大的事物最容易出现，并且把它称为最复杂原理。这个原理与其他领域的知识有什么关系？本节就说明从信息论中发展起来的最大熵方法等价于最复杂原理。
复杂程度与信息论中定义的信息熵是成正比例的物理量。现在最复杂原理强调的是复杂程度的自动的最大化，由于复杂程度对应信息熵，所以最复杂原理用信息论的语言讲就是信息熵的自动的最大化。在信息论的文献中我们会看到最大熵原理或者最大熵方法这样的词。它们表达的含义实际上与最复杂原理是对应的。所以我们可以说信息论中介绍的最大熵方法（原理）也就是最复杂原理在该领域的体现。
早期的信息论其中心任务就是从理论上认识一个通信的设备（手段）的通信能力应当如何去计量以及分析该通信能力的规律性。但是信息论研究很快就发现利用信息熵最大再附加上一些约束，就可以得到例如著名的统计学中的高斯分布（即正态分布）。这件事提示我们高斯分布又多了一种论证的方法，也提示了把信息熵最大化是认识客观事物的规律性的新角度。
把熵最大（对应我们的复杂程度最大）做为一种原则或者方法应用于各个科技领域的旗手是杰尼斯E.T.Jaynes 。他从1957年就在这个方向做了开创性的工作。他给出了利用最大熵方法定量求解问题的一般技术途径；论证了统计力学中的一些著名的分布函数从信息熵最大的角度也可以得到证明。这不仅使信息论知识与统计物理知识实现了连通，也使熵概念和熵原理走出了热力学的领域。
20世纪60年代Burg在时间序列的分析中提出了用信息熵最大求频谱的技术。用这种方法得到的谱的准确性比过去的方法好，人们把它称为最大熵谱。80年代这个方法在我国也得到了广泛应用。40多年以来，尽管“利用最大熵的方法解决科技问题”在信息论的理论中不是主流，但是利用信息熵最大帮助解决很多科技问题已经形成了独立的一股学术和技术力量，而且是硕果累累了。80年代以来在美国等地每年都召开一次讨论最大熵方法应用的学术会议，并且有一册会议文集出版。这成为他们的重要学术活动形式。
最大熵方法的特点是在研究的问题中，尽量把问题与信息熵联系起来，再把信息熵最大做为一个有益的假设（原理），用于所研究的问题中。由于这个方法得到的结果或者公式往往（更）符合实际，它就推动这个知识在前进和曼延。我国学者（后来去了加拿大）吴乃龙、袁素云在本领域有成就，而且也在所著的《最大熵方法》（湖南科学技术出版社1991年出版）一书中向国人就这个方法做了很全面的介绍。
把最复杂原理与信息论中的最大熵方法联系起来，既是自然的逻辑推论也显示最复杂原理并不孤立。这样，最大熵方法过去取得的一切成就都在帮助人们理解最复杂原理的合理性。而最复杂原理的引入也使人们摆脱对神秘的熵概念和熵原理的敬畏。在理解了最复杂原理来源于概率公理以后，我们终于明白，神秘的熵原理本质上仅是“高概率的事物容易出现”这个再朴素不过的公理的一个推论。
不可否认一些场合有人要把科学概念和科学原理说得深而又玄，使很多人望而生畏。我们主张用“复杂程度”这个词代替“熵（信息熵）”这个词，主张用“最复杂原理”这个词代替“最大熵方法（原理）”这个词。我们认为这没有曲解其意而有利其普及和推广。
我们沿着自己的思路说明了广义集合、分布函数和复杂程度的含义。在本篇又利用新提出的概率公理证明复杂程度最大的事物最容易出现，并且把它称为最复杂原理。这个原理与其他领域的知识有什么关系？本节就说明从信息论中发展起来的最大熵方法等价于最复杂原理。
复杂程度与信息论中定义的信息熵是成正比例的物理量。现在最复杂原理强调的是复杂程度的自动的最大化，由于复杂程度对应信息熵，所以最复杂原理用信息论的语言讲就是信息熵的自动的最大化。在信息论的文献中我们会看到最大熵原理或者最大熵方法这样的词。它们表达的含义实际上与最复杂原理是对应的。所以我们可以说信息论中介绍的最大熵方法（原理）也就是最复杂原理在该领域的体现。
早期的信息论其中心任务就是从理论上认识一个通信的设备（手段）的通信能力应当如何去计量以及分析该通信能力的规律性。但是信息论研究很快就发现利用信息熵最大再附加上一些约束，就可以得到例如著名的统计学中的高斯分布（即正态分布）。这件事提示我们高斯分布又多了一种论证的方法，也提示了把信息熵最大化是认识客观事物的规律性的新角度。
把熵最大（对应我们的复杂程度最大）做为一种原则或者方法应用于各个科技领域的旗手是杰尼斯E.T.Jaynes 。他从1957年就在这个方向做了开创性的工作。他给出了利用最大熵方法定量求解问题的一般技术途径；论证了统计力学中的一些著名的分布函数从信息熵最大的角度也可以得到证明。这不仅使信息论知识与统计物理知识实现了连通，也使熵概念和熵原理走出了热力学的领域。
20世纪60年代Burg在时间序列的分析中提出了用信息熵最大求频谱的技术。用这种方法得到的谱的准确性比过去的方法好，人们把它称为最大熵谱。80年代这个方法在我国也得到了广泛应用。40多年以来，尽管“利用最大熵的方法解决科技问题”在信息论的理论中不是主流，但是利用信息熵最大帮助解决很多科技问题已经形成了独立的一股学术和技术力量，而且是硕果累累了。80年代以来在美国等地每年都召开一次讨论最大熵方法应用的学术会议，并且有一册会议文集出版。这成为他们的重要学术活动形式。
最大熵方法的特点是在研究的问题中，尽量把问题与信息熵联系起来，再把信息熵最大做为一个有益的假设（原理），用于所研究的问题中。由于这个方法得到的结果或者公式往往（更）符合实际，它就推动这个知识在前进和曼延。我国学者（后来去了加拿大）吴乃龙、袁素云在本领域有成就，而且也在所著的《最大熵方法》（湖南科学技术出版社1991年出版）一书中向国人就这个方法做了很全面的介绍。
把最复杂原理与信息论中的最大熵方法联系起来，既是自然的逻辑推论也显示最复杂原理并不孤立。这样，最大熵方法过去取得的一切成就都在帮助人们理解最复杂原理的合理性。而最复杂原理的引入也使人们摆脱对神秘的熵概念和熵原理的敬畏。在理解了最复杂原理来源于概率公理以后，我们终于明白，神秘的熵原理本质上仅是“高概率的事物容易出现”这个再朴素不过的公理的一个推论。
不可否认一些场合有人要把科学概念和科学原理说得深而又玄，使很多人望而生畏。我们主张用“复杂程度”这个词代替“熵（信息熵）”这个词，主张用“最复杂原理”这个词代替“最大熵方法（原理）”这个词。我们认为这没有曲解其意而有利其普及和推广。
我们沿着自己的思路说明了广义集合、分布函数和复杂程度的含义。在本篇又利用新提出的概率公理证明复杂程度最大的事物最容易出现，并且把它称为最复杂原理。这个原理与其他领域的知识有什么关系？本节就说明从信息论中发展起来的最大熵方法等价于最复杂原理。
复杂程度与信息论中定义的信息熵是成正比例的物理量。现在最复杂原理强调的是复杂程度的自动的最大化，由于复杂程度对应信息熵，所以最复杂原理用信息论的语言讲就是信息熵的自动的最大化。在信息论的文献中我们会看到最大熵原理或者最大熵方法这样的词。它们表达的含义实际上与最复杂原理是对应的。所以我们可以说信息论中介绍的最大熵方法（原理）也就是最复杂原理在该领域的体现。
早期的信息论其中心任务就是从理论上认识一个通信的设备（手段）的通信能力应当如何去计量以及分析该通信能力的规律性。但是信息论研究很快就发现利用信息熵最大再附加上一些约束，就可以得到例如著名的统计学中的高斯分布（即正态分布）。这件事提示我们高斯分布又多了一种论证的方法，也提示了把信息熵最大化是认识客观事物的规律性的新角度。
把熵最大（对应我们的复杂程度最大）做为一种原则或者方法应用于各个科技领域的旗手是杰尼斯E.T.Jaynes 。他从1957年就在这个方向做了开创性的工作。他给出了利用最大熵方法定量求解问题的一般技术途径；论证了统计力学中的一些著名的分布函数从信息熵最大的角度也可以得到证明。这不仅使信息论知识与统计物理知识实现了连通，也使熵概念和熵原理走出了热力学的领域。
20世纪60年代Burg在时间序列的分析中提出了用信息熵最大求频谱的技术。用这种方法得到的谱的准确性比过去的方法好，人们把它称为最大熵谱。80年代这个方法在我国也得到了广泛应用。40多年以来，尽管“利用最大熵的方法解决科技问题”在信息论的理论中不是主流，但是利用信息熵最大帮助解决很多科技问题已经形成了独立的一股学术和技术力量，而且是硕果累累了。80年代以来在美国等地每年都召开一次讨论最大熵方法应用的学术会议，并且有一册会议文集出版。这成为他们的重要学术活动形式。
最大熵方法的特点是在研究的问题中，尽量把问题与信息熵联系起来，再把信息熵最大做为一个有益的假设（原理），用于所研究的问题中。由于这个方法得到的结果或者公式往往（更）符合实际，它就推动这个知识在前进和曼延。我国学者（后来去了加拿大）吴乃龙、袁素云在本领域有成就，而且也在所著的《最大熵方法》（湖南科学技术出版社1991年出版）一书中向国人就这个方法做了很全面的介绍。
把最复杂原理与信息论中的最大熵方法联系起来，既是自然的逻辑推论也显示最复杂原理并不孤立。这样，最大熵方法过去取得的一切成就都在帮助人们理解最复杂原理的合理性。而最复杂原理的引入也使人们摆脱对神秘的熵概念和熵原理的敬畏。在理解了最复杂原理来源于概率公理以后，我们终于明白，神秘的熵原理本质上仅是“高概率的事物容易出现”这个再朴素不过的公理的一个推论。
不可否认一些场合有人要把科学概念和科学原理说得深而又玄，使很多人望而生畏。我们主张用“复杂程度”这个词代替“熵（信息熵）”这个词，主张用“最复杂原理”这个词代替“最大熵方法（原理）”这个词。我们认为这没有曲解其意而有利其普及和推广。
我们沿着自己的思路说明了广义集合、分布函数和复杂程度的含义。在本篇又利用新提出的概率公理证明复杂程度最大的事物最容易出现，并且把它称为最复杂原理。这个原理与其他领域的知识有什么关系？本节就说明从信息论中发展起来的最大熵方法等价于最复杂原理。
复杂程度与信息论中定义的信息熵是成正比例的物理量。现在最复杂原理强调的是复杂程度的自动的最大化，由于复杂程度对应信息熵，所以最复杂原理用信息论的语言讲就是信息熵的自动的最大化。在信息论的文献中我们会看到最大熵原理或者最大熵方法这样的词。它们表达的含义实际上与最复杂原理是对应的。所以我们可以说信息论中介绍的最大熵方法（原理）也就是最复杂原理在该领域的体现。
早期的信息论其中心任务就是从理论上认识一个通信的设备（手段）的通信能力应当如何去计量以及分析该通信能力的规律性。但是信息论研究很快就发现利用信息熵最大再附加上一些约束，就可以得到例如著名的统计学中的高斯分布（即正态分布）。这件事提示我们高斯分布又多了一种论证的方法，也提示了把信息熵最大化是认识客观事物的规律性的新角度。
把熵最大（对应我们的复杂程度最大）做为一种原则或者方法应用于各个科技领域的旗手是杰尼斯E.T.Jaynes 。他从1957年就在这个方向做了开创性的工作。他给出了利用最大熵方法定量求解问题的一般技术途径；论证了统计力学中的一些著名的分布函数从信息熵最大的角度也可以得到证明。这不仅使信息论知识与统计物理知识实现了连通，也使熵概念和熵原理走出了热力学的领域。
20世纪60年代Burg在时间序列的分析中提出了用信息熵最大求频谱的技术。用这种方法得到的谱的准确性比过去的方法好，人们把它称为最大熵谱。80年代这个方法在我国也得到了广泛应用。40多年以来，尽管“利用最大熵的方法解决科技问题”在信息论的理论中不是主流，但是利用信息熵最大帮助解决很多科技问题已经形成了独立的一股学术和技术力量，而且是硕果累累了。80年代以来在美国等地每年都召开一次讨论最大熵方法应用的学术会议，并且有一册会议文集出版。这成为他们的重要学术活动形式。
最大熵方法的特点是在研究的问题中，尽量把问题与信息熵联系起来，再把信息熵最大做为一个有益的假设（原理），用于所研究的问题中。由于这个方法得到的结果或者公式往往（更）符合实际，它就推动这个知识在前进和曼延。我国学者（后来去了加拿大）吴乃龙、袁素云在本领域有成就，而且也在所著的《最大熵方法》（湖南科学技术出版社1991年出版）一书中向国人就这个方法做了很全面的介绍。
把最复杂原理与信息论中的最大熵方法联系起来，既是自然的逻辑推论也显示最复杂原理并不孤立。这样，最大熵方法过去取得的一切成就都在帮助人们理解最复杂原理的合理性。而最复杂原理的引入也使人们摆脱对神秘的熵概念和熵原理的敬畏。在理解了最复杂原理来源于概率公理以后，我们终于明白，神秘的熵原理本质上仅是“高概率的事物容易出现”这个再朴素不过的公理的一个推论。
不可否认一些场合有人要把科学概念和科学原理说得深而又玄，使很多人望而生畏。我们主张用“复杂程度”这个词代替“熵（信息熵）”这个词，主张用“最复杂原理”这个词代替“最大熵方法（原理）”这个词。我们认为这没有曲解其意而有利其普及和推广。
深入浅出最大熵理论
最大熵理论浅显解释
WebWork深入浅出
深入浅出REST
深入浅出谈构图
深入浅出之CPU原理
InfoQ: 深入浅出REST
《深入浅出 Java Concurrency》目录
深入浅出之正则表达式
深入浅出硬盘分区表
深入浅出的英语口语
深入浅出硬盘分区表
股市中的“老大”与“最大笨蛋”的理论
深入浅出讲解TCP/UDP协议
深入浅出的英语口语400句
STM32 深入浅出 (www.ourdev.cn)
深入浅出Shell编程: Shell 变量
[Python]网站开发深入浅出 - Python篇
深入浅出VC 串口编程之基本概念
深入浅出教你与保险公司周旋
身体健康全功能自查系统(深入浅出通俗易懂)
深入浅出之正则表达式（二）
深入浅出Oracle学习笔记（4）
深入浅出Oracle学习笔记（6）