信息论哲学个人笔记
信息论基础知识
信息论基础知识在当今这个信息爆炸的时代，信息论作为一门重要的学科，为我们理解、处理和传输信息提供了坚实的理论基础。
信息论并非是一个遥不可及的高深概念，而是与我们的日常生活和现代科技的发展息息相关。
接下来，让我们一同走进信息论的世界，揭开它神秘的面纱。
信息是什么？这似乎是一个简单却又难以精确回答的问题。
从最直观的角度来看，信息就是能够消除不确定性的东西。
比如，当我们不知道明天的天气如何，而天气预报告诉我们明天是晴天，这一消息就消除了我们对明天天气的不确定性，这就是信息。
那么信息论又是什么呢？信息论是一门研究信息的量化、存储、传输和处理的学科。
它由克劳德·香农在 20 世纪 40 年代创立，为现代通信、计算机科学、统计学等众多领域的发展奠定了基础。
在信息论中，有几个关键的概念是我们需要了解的。
首先是“熵”。
熵这个概念听起来可能有些抽象，但其实可以把它理解为信息的混乱程度或者不确定性。
比如说，一个完全随机的字符串，其中每个字符的出现都是完全不确定的，它的熵就很高；而一个有规律、可预测的字符串，其熵就相对较低。
信息的度量是信息论中的一个重要内容。
香农提出了用“比特”（bit）作为信息的基本度量单位。
一个比特可以表示两种可能的状态（0 或1）。
如果一个事件有8 种等可能的结果，那么要确定这个事件的结果，就需要 3 个比特的信息（因为 2³＝ 8）。
信息的传输是信息论关注的另一个重要方面。
在通信过程中，信号会受到各种噪声的干扰，导致信息的失真。
为了保证信息能够准确、可靠地传输，我们需要采用一些编码和纠错技术。
比如，在数字通信中，常常使用纠错码来检测和纠正传输过程中产生的错误。
信息压缩也是信息论的一个重要应用。
在数字化的时代，我们每天都会产生大量的数据，如图片、音频、视频等。
通过信息论的原理，可以对这些数据进行压缩，在不损失太多有用信息的前提下，减少数据的存储空间和传输带宽。
再来说说信息的存储。
信息论总结
D
香农编码：
二进制香农码的编码步骤如下： ⑴将信源符号按概率从大到小的顺序排列, p(a1)≥ p(a2)≥…≥ p(an) ⑵确定满足下列不等式的整数Ki , －log2 p(ai)≤ Ki <1－log2 p(ai) ⑶令p(a1)=0,用Pi表示第i个码字的累加概率，
⑷将Pi用二进制表示,并取小数点后Ki位作为符 号ai的编码。
m元霍夫曼编码的编码方式类同于二元霍夫曼编码， 不同的是每次把m个符号合并成一个新的信源符号， 并分别用0,1，……，m-1等码元表示。 为了使短码得到充分利用，使平均码长为最短，必 须使最后一步缩减信源有m个信源符号。因此对于m 元编码，信源s的符号个数必须满足q=(m-1) θ+m, θ是 缩减的次数.
L →∞
5 马尔可夫信源的极限熵：
H ∞ = H m +1 = ∑ p ( si ) H ( X | si ) p( si ) = Wi
i
H ( X | si ) = −∑ p ( x j | si ) log p ( x j | si )
j
6
H∞ (X ) η 冗余度： = H ( X ) ０ ≤ η ≤１ m
游程编码：
若规定二元序列总是从“0”开始,第一个游程是“0”游 程,则第二个游程必为“1”游程,第三个又是“0”游程……。 对于随机序列,游程长度是随机的其取值可为1,2,3,…， 直至无穷。 游程长度序列/游程序列：用交替出现的“0”游程和“1” 游程长度表示任意二元序列。 游程变换： 是一种一一对应的变换,也是可逆变换。 例如：二元序列000101110010001… 可变换成如下游程序列 31132131
i i i =1 i =1 L L
Ｌ
关于系统论,控制论和信息论的哲学思考
关于系统论,控制论和信息论的哲学思考系统论、控制论、信息论是现代科学中的三大基础理论，它们各自以不同的方式揭示了世界的本质和内在规律，为我们认识世界提供了重要的思路和工具。
在这篇文章中，我将从哲学的角度出发，探讨三大理论的共性、异同以及它们对人类认知的意义。
首先，三大理论都具有系统论的特征，即强调事物的整体性和相互关联性。
系统论认为，事物不是孤立存在的，而是通过相互作用和联系形成的整体。
控制论和信息论则更强调系统中各个组成部分之间的相互作用和信息交流。
这种系统性的思考方式，为我们认识世界提供了更全面、更深入的视角。
其次，控制论和信息论还强调了反馈机制的重要性，即在系统中不断获取信息、调整行为并改变结果的机制。
这种反馈机制不仅存在于物理系统中，也存在于社会、心理等高级系统中。
从哲学角度看，反馈机制是人类智慧的体现。
不断检验、修正自己的行为和观点，是人类不断进步的重要动力。
再次，控制论和信息论的研究也让我们认识到了信息的重要性。
信息在现代社会中的作用越来越明显，它不仅是人类认识世界的重要途径，也是驱动经济和科技发展的核心力量。
从信息论的角度看，信息的核心在于不确定性和熵。
信息的增加可以减少不确定性和熵，提高系统的效率和质量。
这也启示我们，人类不能停止对信息的探索，只有不断获取、传递、加工信息，才能更好地适应复杂多变的环境。
最后，三大理论的研究也启示我们，人类认知的局限性是存在的。
无论是对于物理系统，还是社会心理系统，我们都只能获得有限的信息，只能建立有限的模型，并做出有限的决策。
这种不确定性和局限性，也是人类思考和创新的动力。
我们需要不断改进自己的认识和行为，才能更好地适应不断变化的世界。
综合以上几点，我们可以发现，系统论、控制论和信息论不仅是现代科学重要的理论基础，更是人类认识世界、提高自身素质的重要思想工具。
这三个领域的研究，不仅需要多学科的交叉融合，更需要人类智慧的不断追求和探索。
只有在不断的探索和实践中，我们才能更好地理解、应对复杂多变的世界。
控制论 信息论 系统科学与哲学
《控制论 信息论 系统科学与哲学》王雨田 主编 中国人民大学出版社 1987 年； 今天将这本书匆匆浏览了一遍，有一种受震撼的感觉。
我以前对系统科学只有零碎的概 念的了解，而通过本书则将很多概念建立了关联。
后来内心非常羡慕学该专业的人，觉得这是思想的武器，掌握了就会让人变得聪明。
还有在学校读书的时候，可能会不爱学这些课程，其原因一是缺乏体验，二是缺乏生动 性，这是一个教学设计问题，不能照本宣读。
系统无处不在，当我们有意识掌握一些系统方法，可能会更科学有效解决周围存在的问题。
系统论、控制论和信息论20 世纪 40 年代，由于自然科学、工程技术、社会科学和思维科学的相互渗透与 交融汇流，产生了具有高度抽象性和广泛综合性的系统论、控制论和信息论。
系统论是研究系统的模式、性能、行为和规律的一门科学。
它为人们认识各种系 统的组成、结构、性能、行为和发展规律提供了一般方法论的指导。
系统论的创始人 是美籍奥地利理论生物学家和哲学家路德维格·贝塔朗菲。
系统是由若干相互联系的 基本要素构成的，它是具有确定的特性和功能的有机整体。
如太阳系是由太阳及其围 绕它运转的行星（金星、地球、火星、木星等等）和卫星构成的。
同时太阳系这个" 整体"又是它所属的"更大整体"--银河系的一个组成部分。
世界上的具体系统是纷繁复 杂的，必须按照一定的标准，将千差万别的系统分门别类，以便分析、研究和管理， 如：教育系统、医疗卫生系统、宇航系统、通讯系统等等。
如果系统与外界或它所处 的外部环境有物质、能量和信息的交流，那么这个系统就是一个开放系统，否则就是 一个封闭系统。
开放系统具有很强的生命力，它可能促进经济实力的迅速增长，使落 后地区尽早走上现代化。
如改革开放以来已大大增强了我们的综合国力。
而我国的许 多边远山区农村，由于交通不便，相对封闭，还处于比较落后的状态。
人们研究和认识系统的目的之一，就在于有效地控制和管理系统。
关于系统论,控制论和信息论的哲学思考
关于系统论,控制论和信息论的哲学思考系统论、控制论和信息论是现代科学中的重要理论框架，其中系统论强调整体性和相互作用，控制论强调反馈和稳定性，信息论强调信息的度量和传输。
这些理论不仅被广泛应用于自然科学和工程技术领域，也被运用于社会科学、人文学科以及哲学研究中。
从哲学的角度来看，这三个理论涉及到了许多哲学问题，例如：整体与部分的关系、因果性与随机性的关系、目的性与自发性的关系、信息与意义的关系等。
系统论强调整体性，表明整体和部分之间存在相互作用和相互依赖的关系，这引出了一个哲学问题：整体与部分的关系是如何相互作用的？在这个问题上，有些哲学家认为整体是超越部分的，因此整体对部分的作用是直接而非间接的，而有些哲学家则认为整体是由部分构成的，因此整体对部分的作用是间接而非直接的。
控制论强调反馈和稳定性，表明系统在受到外界干扰时会出现反馈，以维持系统的稳定性，这引出了一个哲学问题：因果性与随机性的关系是如何相互作用的？在这个问题上，有些哲学家认为因果关系是绝对的，因此系统的稳定性是由因果关系所决定的，而有些哲学家则认为随机性是客观存在的，因此系统的稳定性是由因果关系和随机性共同作用的。
信息论强调信息的度量和传输，表明信息的传输是由信息的度量所决定的，这引出了一个哲学问题：信息与意义的关系是如何相互作用的？在这个问题上，有些哲学家认为信息是意义的原材料，因此意
义是由信息所决定的，而有些哲学家则认为信息是意义的表现形式，因此意义是由信息所表达的内容所决定的。
综上所述，系统论、控制论和信息论的哲学思考不仅涉及到自然科学和工程技术领域，也涉及到社会科学、人文学科以及哲学研究中的许多哲学问题，这些问题可以通过对这些理论的深入思考而得到更为深刻的理解。
信息论学习心得
《信息论》学习心得信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
信息论的研究范围极为广阔。
一般把信息论分成三种不同类型：(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。
它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。
(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。
(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。
信息是确定性的增加--逆Shannon信息定义；信息就是信息，信息是物质、能量、信息的标示--Wiener信息定义的逆；及邓宇们提出的：信息是事物及其属性标识的集合"。
信息就是一种消息，它与通讯问题密切相关。
1984年贝尔研究所的申农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。
维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。
1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。
20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。
研究重点是信息和信源编码问题。
到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。
人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。
信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。
(完整版)老师整理的信息论知识点
Chp02 知识点：自信息量：1）I ( x i )log p(x i )2）对数采纳的底不一样，自信息量的单位不一样。
2---- 比特（ bit ）、e---- 奈特（nat）、10---- 哈特（ Hart）3）物理意义：事件x i发生从前，表示事件x i发生的不确立性的大小；事件 x i发生此后，表示事件 x i所含有或所能供给的信息量。
均匀自信息量（信息熵）：1）H (x) E[ I (x i)]q p( x i ) log p( x i )i 12）对数采纳的底不一样，均匀自信息量的单位不一样。
2---- 比特 /符号、 e----奈特 /符号、 10---- 哈特 /符号。
3）物理意义：对信源的整体的不确立性的统计描绘。
表示信源输出前，信源的均匀不确立性；信源输出后每个消息或符号所供给的均匀信息量。
4）信息熵的基天性质：对称性、确立性、非负性、扩展性、连续性、递推性、极值性、上凸性。
互信息：p(x i | y j )1）I ( x i; y j)I (x i ) I ( x i | y j )logp( x i )2）含义：已知事件y j后所除去的对于事件x i的不确立性，对信息的传达起到了定量表示。
均匀互信息：1）定义：2）性质：结合熵和条件熵：各种熵之间的关系：数据办理定理：Chp03 知识点：依照不一样标准信源的分类：失散单符号信源：1）概率空间表示：X a1a2L a rP p a1p a2L p a rr0 p a i1,(i 1,2,L , r ); p a i 1i 12）信息熵：H ( x) E[ I (x i)]q p(x i ) log p( x i ) ，表示失散单符号信i 1源的均匀不确立性。
失散多符号信源：用均匀符号熵和极限熵来描绘失散多符号信源的均匀不确立性。
均匀符号熵：H N (X ) 1 H (X1X2...X N)N极限熵（熵率）： H ( X )lim H N ( X )N（1）失散安稳信源（各维结合概率散布均与时间起点没关的信源。
信息论复习笔记
信息论复习笔记(总23页) -本页仅作为预览文档封面，使用时请删除本页-1. 绪论信息论回答了通信的两个最基本问题:（1）数据压缩的极限；（2）信道传输速率的极限；信息、消息和信号消息：信息的載體（能被感知和理解、進行傳遞和獲取）信息：事物運動狀態或存在方式的不確定性的描述（香農）先驗概率：P(a i)自信息：I(a i)=log[P-1(a i)]；（信息接收的不確定性）互信息：I(a i;b i)= log[P-1(a i)]- log[P-1(a i|b i)];（信息接收的多少度量）（若信道無干擾，則互信息等於自信息等於0）優點：明確的數學模型、定量計算；缺點：有適用範圍；信號；通信系统的模型通信系统的基本要求:有效、可靠、保密、认证2. 离散信源及其信息测度﹣离散信源的定义：輸出信息數有限、每次只輸出一個；﹣自信息的定义及物理意义事件發生前：事件發生的不確定性；事件發生后：時間含有的信息量；信息熵的定义及物理意义,信息熵的基本性质定義：自信息的數學期望（ H(X)= -∑[ P(a i)logP(a i) ] ）信源的總體信息測度（1）每個消息所提供的平均信息量；（2）信源輸出前，信源的平均不確定性；性質：（1）對稱性；（2）確定性；（3）非負性；（4）擴展性（可拆開）；（5）可加性；[ H(XY)=H(X)+H(Y) ]（6）強可加性；[ H(XY)=H(X)+H(Y|X) ]（7）遞增性；（8）極值性; [ H(p1,p2,p3…,p q)≤H(q-1,,…, q-1)= logq ]等概率分佈信源的平均不確定性最大，稱為最大離散熵定理；—离散无记忆信源的扩展信源—扩展信源的熵 H(X) = NH(X)—离散平稳信源：联合概率分布与时间起点无关；熵：联合熵 H(X1X2)=∑∑P(a i a j)logP(a i a j)条件熵 H(X2|X1)=-∑∑P(a i a j)logP(a i|a j)关系：H(X1X2)=H(X1)+H(X2|X1)熵率:离散平稳信源的极限熵 = limH(X N|X1X2…X N-1)—马尔可夫信源:某一时刻的输出只与此刻信源所处的状态有关而与以前的状态及以前的输出符号都无关；—马尔可夫信源的熵：H m+1=H(X m+1|X1X2…X m)—信源剩余度熵的相对率η= H极限/H0信源剩余度（输出符号间依赖强度）γ= 1-η=1-H极限/H0 3. 离散信道及其信道容量—H(X;Y)=H(X)-H(X|Y)—离散信道的数学模型—信道矩阵性質（1）P(a i bj)=P(a i)P(b j|a i)=P(b j)P(a i|b j)；（2）[ P(b1) ] [ P(a1) ][ P(b2) ] [ P(a2) ][ P(b3) ] = [ P(a4) ] （r≠s）[ … ] [ … ][ P(b s) ] [ P(a r) ]（3）輸出端收到的任一b j一定是輸入符號a r中的某一個送入信道；─信道疑义度的定义：收到Y後對變量X尚存在的平均不確定性：H(X|Y)=E[H(X|b j)]=∑P(xy)log-1P(X|Y)物理意义:噪聲造成的影響大小；─平均互信息的定义：收到Y後平均每個符號獲得的關於X的信息量（物理意義：反映輸入輸出兩個隨機變量之間的統計約束關係）：I(X;Y)= H(X)-H(X|Y) = ∑P(xy)P(y|x)P-1(y)無噪一一對應信道中：I(X;Y)=H(X)=H(Y)＝0—信道容量的定义：信道每秒鐘平均傳輸的信息量稱為信息傳輸速率，最大信息傳輸率稱為信道容量；—信道容量的计算:无噪信道(求H(X)極值)：C = logr对称信道（信道矩陣的每一行或列是另一行或列的置換）：C = logs-H(p1,p2,…,p s)强对称信道：C = logr-plog(r-1)-H(p)；准对称信道：C = logr-H(p1,p2,…,p s)-∑N k logM k（Nk是第k個子矩陣行元素之和，Mk是第k個子矩陣列元素之和）一般离散信道（對所有可能的輸入概率分佈求平均互信息的最大值）：C =λ＋loge條件：I(x i;Y) = ∑s j=1P(b j|a i)*log[P(b j|a i)/P(b j)]≤ C—数据处理定理如果X、Y、Z组成一个马尔科夫链，则有I(X;Z)≤I(X;Y)I(X;Z)≤I(Y;Z)信息不增性原理一般的数据处理原理I(S;Z)≤I(S;Y)I(S;Z)≤I(X;Z)I(S;Z)≤I(X;Y)—信道剩余度= C-I(X;Y)相对剩余度 = 1-I(X;Y)/C无损信道的相对剩余度 = 1-H(X)/logr4. 波形信源和波形信道連續信源的相對熵: h(X)Δ= ﹣∫R p(x)logp(x)dx 波形信源的差熵：h(x(t))Δ=lim N->★h(X1X2…X N)连续信源的差熵：均匀分布连续信源的差熵:N維均勻分佈：高斯信源的差熵：N維高斯信源的差熵：差熵的性质：（1）可加性；（2）凸性；（3）可負性；（4）變換性（X1->X2,差熵會變化）；（5）極值性：離散信源的信源符號等概率分佈時信源的熵最大;連續信源：﹣當峰值功率受限為p^時（輸出信號的瞬時電壓限制為±(p^)1/2），此時信源輸出的連續隨機變量限制在[a,b]內，信源具有最大熵：h=log(b-a)如果隨機矢量取值受限，則各隨機分量統計獨立并均勻分佈時具有最大熵；﹣當信源輸出信號的平均功率被限定為P，則其信號幅度的概率密度分佈為高斯分佈時，信源有最大熵：h=1/2＊log2πePN維連續平穩信源如果其N維隨機序列的協方差矩陣C被限定，則N維隨機矢量為正太分佈時信源的熵最大。
信息论知识点总结
信息论知识点总结信息论是一门研究信息传递和处理的科学，主要涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。
以下是信息论的一些重要知识点：1. 信息量度：信息量是对信息的度量，用于衡量信息的多少。
信息的大小与随机事件的概率有关，熵是衡量随机变量分布的混乱程度，即随机分布各事件发生的信息量的期望值。
2. 信道容量：信道容量是描述信道传输信息能力的指标，表示信道在每秒内所能传输的最大信息量。
对于有噪声的信道，需要通过编码技术来达到信道容量。
3. 条件熵：条件熵是在给定某个条件下的熵，用于衡量在已知某个条件的情况下，随机变量的不确定性。
4. 相对熵（KL散度）：相对熵是衡量两个概率分布之间的差异，也称为KL 散度。
如果两个分布相同，相对熵为0。
5. 信息传输速率：信息传输速率是指单位时间内传输的信息量，是评价通信系统性能的重要参数。
6. 干扰对信息传输的影响：在信息传输过程中，各种干扰因素会对信息传输产生影响，如噪声、失真、衰减等。
为了提高信息传输的可靠性和有效性，需要采取抗干扰措施。
7. 信息压缩：信息压缩是减少数据存储空间和提高数据传输效率的一种技术。
常见的压缩算法有Huffman编码、LZ77、LZ78等。
8. 纠错编码：纠错编码是一种用于检测和纠正错误的技术，广泛应用于通信和存储领域。
常见的纠错编码有奇偶校验、CRC等。
9. 加密编码：加密编码是一种保护信息安全的技术，通过对数据进行加密处理，防止未经授权的访问和泄露。
常见的加密编码有AES、RSA等。
以上是信息论的一些重要知识点，希望对您有所帮助。
信息论知识点
信息论知识点信息论是研究信息传递和处理的数学理论。
它由美国数学家克劳德·香农于1948年提出，是一门涉及通信、密码学、数据压缩等领域的重要学科。
本文将围绕信息论的几个核心概念展开讨论。
信息论研究的一个重要概念是信息熵。
信息熵是用来度量一个随机变量的不确定性的指标。
在信息论中，熵被定义为随机变量的不确定性的平均值。
熵越大，表示随机变量的不确定性越高，也就是信息量越大。
例如，一个硬币的正反面出现的概率相等，那么它的熵是最大的，因为我们无法确定它会出现哪一面。
信息熵的概念也可以用来分析数据压缩。
在数据压缩中，我们希望通过压缩算法减少数据的存储空间或传输带宽。
根据信息熵的定义，我们可以发现，如果一个数据源的熵越高，那么它的压缩效率就越低。
因为高熵数据源中的信息量较大，我们需要更多的编码来表示其中的不确定性。
相反，如果一个数据源的熵较低，那么它的压缩效率就会更高。
除了信息熵，信息论还研究了信道容量的概念。
信道容量是指在给定信道条件下，能够可靠传输的最大数据率。
这个概念对于通信系统的设计和优化非常重要。
根据香农的定理，信道容量与信噪比有关。
信噪比越高，信道容量就越大。
因此，提高信道容量的方法之一是增加信噪比，例如通过改进调制方式、使用更好的编码方案等。
信息论还研究了误差纠正编码的原理和方法。
在数字通信中，由于信道噪声或传输错误，接收到的信号可能会产生误码。
误差纠正编码通过在发送端添加冗余信息，使得接收端可以检测和纠正部分错误，从而提高通信系统的可靠性。
常见的误差纠正编码方法包括海明码、卷积码等。
信息论还涉及到密码学领域。
信息论提供了一种理论基础，用于分析和设计密码系统的安全性。
基于信息论的密码学研究主要关注信息论中的信息泄露和信息隐藏问题。
信息泄露是指在密码系统中，攻击者通过分析密文或其他辅助信息来获取明文信息的情况。
信息隐藏是指通过加密算法和密钥管理方法，使得除了合法的接收者之外的任何人无法获取明文信息的情况。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息和含义是分开的，信息的含义并非直接载于信息当中，而是理解的机械机制将理解注入。
物质本身的属性就呈现一种编码特征，即固态信息积累和物质自身的的计算能力。
物理秩序，即是信息。
物体是信息和想象力的具象化。
生命体是高度有组织地处理和生产信息的结构。
人类突破了自然造物的限制，开始了自编码，编码和破译的能力就是人类为什么不同的答案。
知识和技术
知识的本质是算法，包含了实体与实体之间的关联，思考而非操作就可以将这些现实的替代品进行计算，逻辑演算而不用实际行为。
技术关系到不言而喻的行为能力。
一辆撞坏的小车的使用价值被破坏，并非由于破坏了其原子，我们只是破坏了原子的排列方式-----编码。
信息论之父克劳德·香农说：信息是交流中想要传递特殊消息所需要的最小单位。
换言之，信息就是表达一种排列方式所需要的最小内存。
当我们面对一条状态，我们只能用A/B测试的方式，或者只回答是/不是来猜出内容
那么，一条状态的信息量就等于完全用这种猜测方式全猜出内容所需要的最少问题。
每次提问，都会缩小一半的猜测范围。
信息，是能够完整描述一个系统状态所需要的比特数。
微态，即微观状态。
熵，即状态的多重性
熵意味着蕴含更少的信息，但一旦需要描述熵的状态，则需要更多信息。
因此，熵并不是用来衡量混乱的程度，而是用来衡量微态的多重性（等价状态的个数）。
因此高熵值更可能是无序的，因为状态的多重性往往会导致排列的多重性。
因此，想要准确描述一个微态，需要更多比特，即需要更多详细和具体的信息来定位到某个特定微态上。
熵作为状态的多重性，是一个状态的均值；而信息是一个特定的状态。
相对与规律的排列，混乱的排列需要更多信息。
我们需要耗费更多比特，即需要更多信息来描述一个随机混乱状态；但这并不意味着这些状态中蕴含更多的信息。
对于一个系统来说
一个系统不能随意地在两种状态中随意切换，排列的方式。
从无序到有序，需要的是连续性的变化。
从无序到有序的路径比从有序到无序的路径要少得多。
对于任何一个改变都只是偶然的系统来说，想要做一系列正确、连续的移动是不容易的。
时间的不可逆性为我们在混沌中带来了秩序。
我们的世界在加速复杂化和稳定增长，但是宇宙更多的部分却在萎缩。
热力学第二定律：熵在封闭系统内不断增加。
意味着：信息丰富→信息匮乏
同时可以得出另一条结论：信息处在非平衡但稳定的物理状态下的物理结构中，会自发产生。
时间的矢量流动和信息的起源：
信息处在非平衡但稳定的物理状态下的物理结构中，会自发产生。
这说明了信息的物理来源。
石子在地上不动，是静稳态；一个密闭箱子里的空气是动稳态。
后者虽然不断运动，但是却达到了一个均衡。
而一个漩涡则是非平衡系统之下的稳恒态，是自发的高度结构性的丰富信息状态。
因此，人类，秩序，和地球都是一个巨大趋向平衡宇宙里面的非平衡系统。
我们是一个浩瀚信息荒芜宇宙里面的一个信息小漩涡。
紧随混乱之后，系统会自动形成一个高度组织化的状态。
秩序，保持非平衡态。
而熵意味着不断增加的混乱将会毁灭这些异常的非平衡。
而信息找到了一种反击办法-----粘性
固体性质，可以将信息固定下来，免于熵的魔掌。
再加上算法，就可以形成一个稳恒态-----比如树----一个半冰冻的漩涡。
而这些稳恒态一旦被输入不一样的信息的时候，会变得不稳定，而发生新的稳恒态。
因此信息算法，优先于生命。
只要基础的化学物质，在输入信息的情况下，就可以自发（算法决定）产生一个个稳定的稳恒态。
时间在统计系统中总是不可逆的，由于系统的混乱本质我们需要无限的信息来逆转系统的进程。
这同时意味着统计系统不能走回头路：因为有与现实共存的无限多条路径，随着系统的前进，他们快速忘记了如何倒退。
因此返回路径的无限性，被称之为熵障碍。
过去是不可达到的，它只是不存在，虽然存在过。
在我们的宇宙中，只有每个时刻都在进行计算的现在，不存在过去和未来。
因此这往往意味着，在微观角度上，过去是不可被计算的，因为不可达到。
整个社会累积信息和构建秩序的能力，都建立在：能量的流动、固体物质对于信息的储存和人类作为一个整体的分析计算能力之上。
人类的意义并不在于我们能够想象，而在于我们能够实践并将想象力带到这个世界来-----具象化。
因此我们可以定义技术，技术过程就是想象力的具现化过程。
一个产品的结构和雏形远远不足以让我们完全了解它的商业信息，我们还需要知道这个产品的试用环境。
好产品=提高人的能力
而复杂的产品体现并强调了知识技术的实际运用。
因此，创造者需要获得这些技术的“原始形态”----源代码-------也就是人们所知道的知识，而非实际运用到产品里的知识。
我们的综合学习能力受限于人类对于信息的无限分割能力和有限连接能力。
前者强迫我们在接受信息的同时分隔它们，而后者在我们连接信息的时候制造障碍。
因此我们有了“人比”----即衡量一个人神经系统所能接收的最大信息量定义为一个度量单位。
这意味着一个量子化的极限，因为它表明了一个知识技术被细分的基本单位。
当信息累积量小于一个人比，信息积累只受制于个体局限性（包括个人经历和社交学习能力）当信息累积量大于一个人比，信息积累受制于人类总体的局限性（包括有限的分割和组合信息的能力）
人比这个概念的美妙之处在于，它忽略了种种限制知识技术积累的因素背后的本质，只关注“个人的积累是有限的”这个事实。
无论什么因素导致的分块聚积，这样的分块都会让知识技术的积累变得越来越困难。
非平衡系统中的信息产生的短暂稳恒态（漩涡）
固态物质中信息的积累（DNA和小汽车）
物质的计算和解析能力，该能力同时。