信息理论与编码
《信息论与编码》考核大纲
信息论与编码课程考核大纲一、适应对象修读完本课程规定内容的通信工程专业的学生。
二、考核目的考核学生对信息论的基本理论以及编码理论与实现原理的理解和掌握程度；并通过实验教学加深学生对基本概念的理解，巩固基础理论知识，提升学生参与课堂的积极性，充分发挥其主观能动性。
最后通过分析考核成绩，检查本门课程的教学效果，不断改进和提高课程教学水平，促进课程建设和学科建设。
三、考核形式与方法开卷考试、实验成绩和平时成绩均为百分制。
1、平时成绩考核方法如下：1) 作业：50%按交作业的次数、每次作业质量和态度确定。
2) 考勤：50%2、实验成绩考核方法如下：实验成绩为单次实验成绩的平均值。
单次实验成绩考核方法及所占比例如下：单次实验成绩＝实验方案×40%+实验操作×20%+实验结果×40%1) 实验方案：40%实验方案主要考察方案设计的合理性和可靠性；实验数据的整理归纳能力；实验报告完成的质量等。
不做实验预习报告的、不能回答教师问题的，扣除当次实验方案成绩的40%；不按时交实验报告的，扣除当次实验方案成绩的20%；书写不合格的重写，扣除当次实验方案成绩的40%；未交试验报告的，扣除当次实验方案成绩的100%。
2) 实际操作: 20%着重考察学生实际操作的科学性、主动性、认真性、熟练性。
实验课程缺勤的，扣除当次实验成绩的100%。
3) 实验结果：40%实验结果着重考查其与实验方案、实验要求、实验操作的一致性。
4) 实验课堂纪律：凡违反学生实验守则或安全规则的扣除实验总成绩的60%，损坏物品要赔偿。
5) 考勤：实验课程缺勤的，扣除当次实验成绩的100%。
3、期末考核采用开卷笔试形式。
四、课程考核成绩构成本门课程考核成绩按百分计。
课程考核成绩=平时成绩×20%+实验成绩×20%+期末考核成绩×60%五、考核内容与要求第1章概论【考核内容】信息论的形成和发展，信息、信号、消息的区别，香农信息的定义，通信系统的模型。
面向人工智能应用的《信息论与编码》课程教学初探
面向人工智能应用的《信息论与编码》课程教学初探随着人工智能技术的快速发展和广泛应用，信息论与编码作为计算机科学和工程领域中的重要学科，也变得越来越重要。
信息论与编码是一门研究信息传输和存储原理的学科，它的基本理论和方法在人工智能领域有着广泛的应用。
本文将探讨面向人工智能应用的《信息论与编码》课程教学的初步思考和建议。
一、课程内容安排1. 信息论基础信息论是研究信息的数量、传输和存储等问题的一门科学。
在人工智能领域，信息论的基本概念和原理对于理解和分析数据处理、模式识别、机器学习等算法都有着重要的作用。
在课程内容安排上，可以从信息的基本定义、信息熵、联合熵、条件熵、互信息等基本概念入手，逐步引入信息论在人工智能领域的应用。
2. 信道编码和纠错编码在人工智能领域，数据的传输和存储是一个重要问题。
而信道编码和纠错编码则是保证数据传输和存储的可靠性和安全性的重要手段。
在课程内容安排上，可以介绍常见的信道编码和纠错编码原理，如Hamming码、Reed-Solomon码等，并结合人工智能领域中的数据传输和存储应用案例进行讲解。
4. 信息论在机器学习中的应用机器学习作为人工智能领域的重要分支，其核心问题之一就是如何从数据中提取出有用的信息。
信息论在机器学习中有着重要的作用，如特征选择、模型评估等问题都可以用信息论的方法来解决。
在课程内容安排上，可以介绍信息论在机器学习中的应用原理和方法，并结合实际的机器学习算法进行讲解。
二、教学方法与手段1. 理论讲授结合案例分析在教学内容上，可以通过讲解信息论与编码的理论知识，然后结合人工智能领域中的实际案例进行分析和讨论，帮助学生更好地理解知识的应用。
2. 开展小组讨论和项目实践通过组织学生进行小组讨论和项目实践，可以让学生从实际问题出发，理解和应用信息论与编码的知识，培养学生的分析和解决问题的能力。
3. 联合实验室和企业开展合作可以与相关实验室和企业合作，开展实际的项目调研和实践活动，让学生深入了解信息论与编码在人工智能领域的实际应用，提高他们的实践能力和创新意识。
信息理论与编码
信息理论与编码第一讲1、信息论与编码的关系（重要）信息论研究的是编码极限，首先要通讯就要编码，编码有各种方法，选取好的，压缩数据，从编码有效性来说，数据最短的最好，信息论告诉我们什么样的情况数据最短。
2、编码与通讯的关系通讯就是把信息从A点传到B点的过程，信息要进行传递必须把信息加载到一定载体上而把信息指代给载体的过程就是编码，如果要通讯就一定要进行编码。
3、什么是摩尔斯码？摩尔斯码是人类第一个使用的编码，摩尔斯码是由点和划来表示常用的英文字母、标点符号以及10个阿拉伯数字的编码，通过这个编码就可以把通常的电报内容用电码形式传递出来。
4、SOS的含义这三个救急信号是摩尔斯码里的“———”，不是英文缩写。
5、信息论的发展简史1917年频分复用（载波）；1924年采样定理；模拟—数字信号1932年摩尔斯电报系统；1948年Shannon发表论文“通讯的数学理论”，从而“信息论”诞生了。
6、什么是加密编码？举例说明。
7、编码需要解决通讯中的哪三个问题？1)压缩数据；2)检错和纠错；3)通讯过程中的加密。
8.加密编码在信息通讯中的作用。
举例说明（重要）1）网上银行数字证书2）二次世界大战美国人没有破译日本人的密码就会有更多人牺牲IT时代信息的保密十分重要1、什么是信息科学、信息论信息科学是研究所有信息现象的一门学科，信息论研究通讯中的信息传递、加密、压缩、纠错。
2、信息论和信息科学的关系、区别（重要）信息论只要讲通讯里的信息处理问题（如信息传递、加密、收缩、纠错），范围窄；信息科学讲的是所有领域的信息处理问题，例如知识论等，范围广。
信息论是信息科学中的一部分。
3、信息科学研究的范围和具体内容信息科学研究通信中的信息和信息的获取、传递、认知、再生、施效、组织等所有信息现象。
第三讲1、信息的定义（重要）维纳的信息定义——信息就是信息，不是物质也不是能量。
仙农的定义——用来减少随机不定性的东西。
我们自己的定义——信息是内容和载体的统一体，指代了内容的载体就是信息。
《信息论与编码》课件第1章 绪论
1.2 通信系统的模型
信源符号
信 源 编码 信 源
（序列）
编码器 信 道 译码器
x y yˆ
重建符号 （序列）
x
❖ 无失真编码： x xˆ
重建符号与信源发送符号一致， 即编码器输出码字序列与信源 发送序列一一映射；
限失真编码： x xˆ
总是成立的
y yˆ
分别是编码输出码字和接收到的码字
重建符号与信源发送符号不 完全一致；编码器输出码字 序列与信源输出符号序列之 间不是一一映射关系，出现 符号合并，使得重建符号的 熵减少了。
限失真、无失真是由于编译 码器形成的
信道编码
增加冗余
提高
对信道干 扰的抵抗 力
信息传输 的可靠性
❖ 由于信道中存在干扰， 数据传递过程中会出现 错误，信道编码可以检 测或者纠正数据传输的 错误，从而提高数据传 输的可靠性。
1.2 通信系统的模型
调制器
作用：
➢ 将信道编码的输出变换为适合信道传输的 要求的信号 ；
消息
信息的表现形 式；
文字，图像， 声音等；
信号
信号的变化描 述消息；
信息的基本特点
1.不确定性
受信者在接收到信息之前，不知道信源发送 的内容是什么，是未知的、不确定性事件；
2.受信者接收到信息后，可以减少或者消除不确定性；
3. 可以产生、消失、存储，还可以进行加工、处理；
4. 可以度量
1.2 通信系统的模型
冗 信源符号 余 变 相关性强 化 统计冗余强
信源编码器
码序列 相关性减弱 统计冗余弱
相关冗余 统计冗余 生理冗余
模型简化
信源输出前后符号之间存在一定相关性
信源输出符号不服从等概率分布
数学中的信息论与编码理论
数学中的信息论与编码理论在没有信息论和编码理论的帮助下，我们现代社会的通信系统几乎无法存在。
信息论和编码理论是数学中一个重要的分支，它们的发展不仅深刻影响了通信技术的进步，也在其他领域起到了重要的作用。
本文将探讨数学中的信息论与编码理论的基本概念和应用。
一、信息论信息论是由美国数学家克劳德·香农在20世纪40年代提出的一门学科。
它的研究对象是信息，旨在衡量信息的传输效率和极限。
那么，什么是信息？信息是我们从一个消息中获得的知识或内容。
在信息论中，信息量的单位被称为“比特”（bit），它表示信息的最基本单位。
例如，当我们投掷一枚公平的硬币，出现正面的概率为50%，我们可以用1比特来表示这个消息，因为它提供了一个二进制的选择（正面或反面）。
在信息论中，还有一个重要的概念是“信息熵”。
信息熵用来衡量一个随机变量的不确定性。
一个有序的事件具有较低的信息熵，而一个随机的事件具有较高的信息熵。
例如，当我们已知一个硬币是公平的时候，投掷获得的信息熵最高，因为我们无法预测结果。
二、编码理论编码理论是信息论的一个重要组成部分。
它研究如何将信息转化为机器能够识别和处理的形式。
编码理论可以分为源编码和信道编码两个方面。
1. 源编码源编码是将源数据（比如文本、图像、声音等）进行压缩和表示的过程。
它的目标是将数据表示为更紧凑的形式，以便于存储和传输。
最著名的源编码算法之一是赫夫曼编码，它利用不同符号出现的频率进行编码，将出现频率较高的符号用较短的编码表示，从而实现数据的压缩。
2. 信道编码信道编码是为了在噪声干扰的信道中可靠地传输信息而设计的编码方法。
它通过引入冗余来纠正或检测传输过程中的错误。
最常见的信道编码方法是奇偶校验码和循环冗余检验码（CRC）。
这些编码方法能够检测和校正一定数量的错误，从而提高传输的可靠性。
三、信息论与编码理论的应用信息论和编码理论不仅在通信领域中发挥着重要作用，也在其他领域有广泛的应用。
《信息论与编码》课件第6章 信道编码理论
信源编码
Y
差错控制 编码
Z
调制
信息错误
数据错 误一定
物理信道
条件：实
信宿
重建 符号
Xˆ
信源译码
Yˆ 差错控制 Zˆ
接收 信息
译码
接收 数据
解调
注
际信息传 输速率不 大于信道
容量，
意 1.信道一定，数据出现差错的概率一定，这是无
法改变的，与差错控制编码/译码方式无关
2.数据出现差错的概率不可改变，但是可以通过引 入差错控制编码/译码，降低信息传递中的错误
即如何选择 译码规则和 编码方法
减少信道传 输中的信息 差错
由于信道噪声或者干扰的存在， 会产生数据传输错误。
信道编码定理，也 称为香农第二定理
通信原理告诉我们，信噪声为例， 介绍虚警概率、漏报概率，以及 计算错误概率的过程和方法
原始
数
符号
信息
据
信源
(4) 纠正t个随机错误, ρ个删除,则要求码的最小距离满足 d0 ≥ ρ +2t+1
分组码的最小汉明距离满足下列关系
d0 n k 1
奇偶校验码是只有一个检验元的分组码 最小汉明距离为2，只能检测一个错误， 不能纠错。
是不等式， 不能用于计
算d0
差错 控制 译码 已知 条件
任务
6.3 译码规则
p( y)
p( y)
﹝ ❖ 考虑y的取值 两者之间比较
P(0 | y 0)
(1 pe ) p
p(1 pe ) (1 p) pe
P(1| y 0)
(1 p) pe
p(1 pe ) (1 p) pe
﹝ 两者之间比较
信息理论与编码
1、单选题下列不属于消息的是( ）。
2分文字信号图像语言标准答案： B2、单选题设有一个无记忆信源发出符号A和B，已知[如图1]，发出二重符号序列消息的信源，无记忆信源熵[如图2]为( ）。
2分图1图20.81bit/二重符号1.62bit/二重符号0.93 bit/二重符号1.86 bit/二重符号标准答案： B3、单选题同时扔两个正常的骰子,即各面呈现的概率都是1/6,若点数之和为12，则得到的自信息为( ）。
2分－log36bitlog36bit－log（11/36）bitlog（11/36)bit标准答案： B4、单选题二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，x0: 发出一个0 、x1: 发出一个1、y0 ：收到一个0、y1：收到一个1 ，则已知收到的符号，被告知发出的符号能得到的信息量是( ）。
2分H（X/Y)H(Y/X)H（X，Y)H(XY）标准答案： A5、单选题一个随即变量x的概率密度函数P（x）= x /2,[如图1]，则信源的相对熵为( ）。
2分图10.5bit0.72bit1bit1.44bit标准答案： C6、单选题下面哪一项不属于熵的性质：( ）。
2分非负性完备性对称性确定性标准答案： B7、单选题根据树图法构成规则，( ）。
2分在树根上安排码字在树枝上安排码字在中间节点上安排码字在终端节点上安排码字标准答案： D8、单选题下列组合中不属于即时码的是( ）。
2分｛0，01,011}｛0，10，110｝｛00，10，11}｛1,01，00}标准答案： A9、单选题已知某（6,3）线性分组码的生成矩阵[如图1]，则不用计算就可判断出下列码中不是该码集里的码是( ）。
2分图1000000110001011101111111标准答案： D10、单选题下列保密编码中属于现代密码体制的是( ）2分凯撒密码Vigenere密码韦维纳姆密码DES加密算法标准答案： D11、单选题1948年，美国数学家( ）发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
《信息理论与编码》,答案,考试重点(1--3章)
《信息理论与编码》习题参考答案1. 信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。
信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。
2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。
语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。
语用信息是信息的最高层次。
它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。
三者之间是内涵与外延的关系。
第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量答：依据题意，这一随机事件的概率空间为120.80.2X x x P ⎡⎤⎡⎤=⎢⎥⎢⎥⎣⎦⎣⎦其中：1x 表示摸出的球为红球事件，2x 表示摸出的球是白球事件。
a)如果摸出的是红球，则获得的信息量是()()11log log0.8I x p x =-=-（比特）b)如果摸出的是白球，则获得的信息量是()()22log log0.2I x p x =-=-（比特）c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。
则如此摸取n 次，红球出现的次数为()1np x 次，白球出现的次数为()2np x 次。
随机摸取n 次后总共所获得信息量为()()()()1122np x I x np x I x +d)则平均随机摸取一次所获得的信息量为()()()()()()()()()112211221log log 0.72 H X np x I x np x I x n p x p x p x p x =+⎡⎤⎣⎦=-+⎡⎤⎣⎦=比特/次2. 居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第一节！信息论与编码的关系？信息论研究的是编码极限，首先要通讯就要编码，编码有各种方法，选取好的，压缩数据，从编码有效性来说，数据最短的最好，信息论告诉我们什么样的情况数据最短。
！编码与通讯之间的关系？通讯就是把信息从A点传到B点的过程，信息要进行传递必须把信息加载到一定载体上而把信息指代给载体的过程就是编码，如果要通讯就一定要进行编码。
编码可以解决通讯中的三个问题：第一、压缩数据；第二、检错和纠错问题；第三、通讯过程中的加密问题。
什么是摩尔斯码？摩尔斯码是人类第一个使用的编码，摩尔斯码是由点和划来表示常用的英文字母，标点符号以及10个阿拉伯数字的编码，通过这个编码就可以把通常的电报内容用电码形式传递出来。
解释SOS的含义？这三个救急信号是摩尔斯码里的“…———…”，不是英文缩写。
信息论发展的简史？1832年摩尔斯电报系统；1917年频分复用（载波）；1924年采样定理；1948年Shannon发表的第一篇论文“通讯中的数学理论”从而“信息论”创建了。
加密的概念？字典码加密过程，即是取两本新华字典，一个字由五个数字组成，数字的前三位表示页码，后二位表示这个字在一页中的序码。
什么是加密编码？举例说明？利用密钥方法对信号进行加密，即是取0~9打乱作为明码，确定一个只有双方之间知道的密码。
第二节！什么是信息科学？研究所有信息现象的一门学科！信息论和信息科学的关系？信息论只要讲通讯里的信息处理问题，范围窄；信息科学讲的是所有领域的信息处理问题，例如知识论等，范围广。
信息科学研究的范围和内容？通信中的信息；信息的获取；信息的传递；信息的认知；信息的再生；信息的施效；信息的组织。
第三节☆☆信息的定义？维纳的信息定义——信息就是信息，不是物质也不是能量。
仙农的定义——用来减少随机不定性的东西。
我们自己的定义——信息是内容和载体的统一体信息的三要素以及关系？载体、内容以及指代；内容是精神、定义、指代的原像，载体是物质，内容通过指代到载体。
成为载体的三个必要条件？必须是物质的、有两种以上可分辨状态、在时空时可排列。
第四节什么是符号集、时空位？符号集中的符号与时空位区别？举例说明？符号集就是由符号组成的集合，例：英文26个字母、汉字、0到9阿拉伯数字；时空位就是通讯过程中的一个时空的点，这个时空点可填充不同符号，例：一排红绿灯中的某个灯、7位ASCII码中的一位。
什么是信息序列？什么是信息流？信息序列：指代了内容的时空位序列；信息流：信息序列随时间变换，由时空位构成的指代了内容信息载体。
什么是信源、信宿以及信道？举例？信源——信息的产生和发送者，例：嘴；信宿——信息接受者，例：耳朵；信道——信源与信宿之间的信息传输媒介，例：空气。
信息的分类？①语法信息、语义信息、语用信息；②自然信息、编码信息；③离散信息、连续信息。
！信息论的三种编码？信源编码、信道编码、加密编码信源编码与信道编码之间的关系？信源编码就是在信源端对数据进行的压缩编码，目的是信源端压缩数据使数据变短；信道编码就是使得信息可以在信道上传输以及正确传输，目的是在信道上正确传递数据，加了检验位和纠错位使得数据变长。
信源编码有哪两种？无失真编码，信息内容没有失真；限失真编码，信息内容可以在限定范围内部分失真。
什么是调制与解调？为什么要调制与解调？调制就是将需要传输的信号加载到载波上去的过程；解调就是把信号从载波中取出的过程。
原因：一、因为天线发射无线电波必须满足无线电波的半波长和天线的尺寸近似相等，才能有效地发射，必须把低频信号加载到高频信号上去；二、可实现N个人和N个人之间的通讯。
第五节信息的定量可分成哪两种？载体信息量和内容信息量。
Shannon信息量为载体信息量。
什么是载体和内容信息量？载：载体最大能承载的信息量；内：内容包含的信息的多少。
什么是定量的一般方法？一、寻找一个单位，单位保证不变，容易获取以及测量，不能消失；二、将待测量与单位比较，得到一个倍数关系；三、用倍数和单位得到测量值。
信息的单位有哪几个？状态数（个）；bit（以二为底的对数）；det（以十为底）；nat（e）N个状态？I=N2log（bit）信息量的计算公式？单位？1928年Hartley载体：I=N2log（bit），N为可分辨状态数。
如何来计算一张光盘的信息量？由什么因素决定？利用Hartley公式；由光盘可记录时空位的密度和一个时空位的可分辨状态数决定。
第六节十个天干和十二个地支？如何组成一个甲子年？今年是什么年？天干：甲、乙、丙、丁、戊、己、庚、辛、壬、癸；地支：子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥。
天干地支组合成如下六十个计时序号，作为纪年、月、日、时的名称，叫干支纪年法；用六十甲子依次纪年，六十年一个轮回。
今年是庚寅年，计算方法：天干——年数减3，除以10所得余数；地支——年数减3，除以12所得余数。
在易经中阴和阳分别用什么表示？64卦和几位二进制对应？信息量？阴：—；阳：——；64卦对应的是：六位二进制编码；信息量= 6（bit）什么是内容信息量？公式？指代原像的多少，内容对应的状态数对数的个数；I=N2log （bit），N为内容的可分辨状态数。
第七节什么是满指代？载体的每一个状态上都指代了内容。
什么是冗余？载体里有一部分没有指代内容。
为什么符号集符号等概率使用时，符号集中符号利用率最高？证明—见书P52，性质8证明什么是符号集概率模型？条件概率？模型：符号集状态可能性的模型。
条件概率：有事件A、B，其中P(A)＞0，在A事件发生的条件下求B事件的概率记为P(B|A),称为条件概率。
！☆☆什么是信息熵？公式？含义？信息熵：符号集在一个时空位上的载体信息量。
公式：)/(1log)()(12时空位bitpPxIxHni ii∑===含义:符号集在一个时空位上平均可表示的载体状态数的对数。
第八节什么是符号集的概率空间？⎥⎦⎤⎢⎣⎡=N N P P P x x x x P ......)(2121什么是Shannon 第一定律？给出了离散无记忆信源，在无失真条件下信息冗余的压缩极限。
什么是哈夫曼编码？步骤？举例说明？（举例见笔记16页）哈夫曼编码是一种编码方式，一种可变长编码。
步骤：一、将信源符号集的N 个符号概率从大到小排列；二、用0和1分别表示概率最小的二个符号，0指代给二个符号中的大概率还是小概率可任意选择，但编码过程中必须保持一致。
将两个概率最小的符号合并成一个符号，合并后符号的概率为两个符号概率之和。
将合并后的符号与原有符号组成新的符号集（N-1），这个新符号成为缩减符号集；三、将缩减信源符号集中的符号再按概率从大到小排列，并且用0.1表示两个概率最小的符号。
然后将这两个最小概率符号再合并成一个符号，和其余符号构成N-2的缩减符号集；四、以此类推，知道缩减为两个符号，将0,1,赋于这两个符号，然后从最后可缩减符号开始，还溯到原符号，还溯过程中得到的二进制码序列即为哈夫曼编码。
哈夫曼编码的特点是什么？为什么哈夫曼编码能压缩数据？ 特点：一、可以保证概率大的信源符号对应短码，概率小的对应长码；二、哈夫曼编码并非唯一；三、哈夫曼编码对不同的信源的编码效率不同；四、对信源进行哈夫曼编码后，形成一个哈夫曼编码表。
解码时，必须参照这一哈夫编码才能正确译码。
因为：当载体信息量无限接近于内容信息量然后达到压缩极限就能压缩数据，数据压缩实质上是减少信息冗余量，冗余量的减少可以减少数据量而不减少信源的信息量。
第九、十节什么是物理信道？举例说明？由物理实体构成的信道，如：双绞线、同轴电缆、光纤、空气、真空等。
什么是信道传输速率？单位时间内在信道中传输的载体信息量，用Rt 表示，单位：bit/s 什么是无噪声的物理信道容量？物理信道内可达到的最大信息传输速率，用Cw 表示，单位：bit/s ，Cw=max （Rt ） 什么是噪声平均误码速率？单位时间内，由于噪声干扰而产生的错误载体信息量，用Rn 表示，单位：bit/s什么是有噪物理信道容量？单位时间内可正确接收的最大载体信息量，Cw=max （Rt-Rn ）bit/s 决定物理信道的流量的因素是什么？一、信道的载体时空位密度（由技术决定）；二、噪声水平（由环境决定）什么是数学信道？数学信道是由数学模型决定的信道。
什么是信息传输码率？在信道中一个时空位可传输的载体信息量，用R 表示，单位为：bit/时空位什么是噪声平均错误码率？一个时空位中由噪声引起的错误码的码率什么是数学信道容量？在数学信道中一个时空位最大可正确接收的载体信息量，用C 表示，单位为bit/时空位 ☆☆什么是Shannon 第二定律？在一个有噪声干扰的数学信道内，信道编码存在的充要条件是R ≤C ，其中R=C 为编码极限。
什么是纠错编码？纠错编码与压缩编码的区别？可以实现纠错的编码。
区别：压缩编码——使数据变少，压缩；纠错编码——使数据变成长，纠正错误。
！什么是奇偶检验码？举例？说明奇偶校验码能检出多少错误？能纠错吗？一种通过增加冗余位使得码字中“1”的个数恒为奇数或偶数的编码方法，它是一种检错码。
例：需传赵-000、钱-100、孙-010、李-110、周-001、吴-101、郑-011、王-111，它们的奇偶检验码分别为赵-0000、钱-1001、孙-0101、李-1100、周-0011、吴-1010、郑-0110、王-1111奇偶校验码可以检查出一位错误，不能纠错，不能检查二位错误。
什么是重复码？举例？n 次重复码（n 为奇数）时可检出多少错？可纠正多少错？ 各码字的码元是重复的。
例：需传赵-000、钱-100、孙-010、李-110、周-001、吴-101、郑-011、王-111，它们的重复码分别为赵-000 000 000、钱-100 100 100、孙-010 010 010、李-110 110 110、周-001 001 001、吴-101 101 101、郑-011 011 011、王-111 111 111n 次重复码可以检出（n-1）位错，可纠正（n-1）/2位错第十一节什么是失真？信息序列中允许一定的错误时空位出现。
什么是失真误码率？一个时空位上的平均误码率。
C δ，bit/时空位什么是限失真误码码率？一个时空位上的最大允许的平均误码码率。
Cd ，bit/时空位 什么是Shannon 第三定律？举例说明限失真的压缩编码？ 第三定律：允许失真的信率压缩编码的极限。
Cs 表示一个是时空位中的载体信息量，Cc 表示一个时空位中的内容信息量。
信源限失真编码存在的必要条件是：Cs ≥Cc-Cd ，其中Cs=Cc-Cd 为编码极限。
令R （D ）=Cc-Cd ，R （D ）称为信息率失真函数，其中D 为失真度，则Cs ≥R （D ） 例：1张图有1024*768个点，现在允许100个点出错，可以丢掉边缘的100个点，但传输后空掉的点用其（前点+后点）÷2来填充该点或者对边缘的100个点不纠错。