[VIP专享]实验一 离散信源及其信息测度
![[VIP专享]实验一 离散信源及其信息测度](https://img.360docs.net/img27/14n5l7ejef8cvq4tczzr182ustb8goxa-71.webp)
![[VIP专享]实验一 离散信源及其信息测度](https://img.360docs.net/img27/14n5l7ejef8cvq4tczzr182ustb8goxa-b2.webp)
实验一离散信源及其信息测度
预备知识 一、矩阵处理 1）在MATLAB中矩阵的创建应遵循以下基本常规：矩阵元素应用方括号（[]）括住；每行内的元素间用逗号（,）或空格隔开；行与行之间用分号（;）或回车键隔开；元素可以是数值或表达式。 2）矩阵赋值 若A=[1 2 3; 4 5 6; 7 8 9;10 11 12] 若A=[1 2 3; 4 5 6; 7 8 9;10 11 12]，选出前3行构成矩阵B，B=A(1：3，:)选出前2列构成矩阵C，C=A(:，1:2) 3）矩阵删除 在MATLAB中可以对数组中的单个元素、子矩阵和所有元素进行删除操作，删除就是将其赋值为空矩阵（用[]表示）。 若将A的2,3行去除，则A([2,3],:)=[] 4）矩阵变换 A' %矩阵A的转置 A(:) %矩阵A按列展开形成一维数组 5）矩阵运算 点运算 两个矩阵之间的点运算是按照数组运算规则计算，矩阵的对应元素直接运算。要求参加运算的矩阵大小必须相同。有“.*”、“./”和“.\”三种运算符。 乘法运算 两个矩阵的维数相容时（A的列数等于B的行数），可以进行A乘B的乘法运算。二、M文件 if语句 最简单的选择结构语句，其基本格式为： if 表达式 语句组 end 说明：表达式多为关系或逻辑表达式。如果表达式为真（非零），就执行if和end之间的语句组，然后再执行end之后的语句；如果表达式为假（零），就直接执行end之后的语句。 for语句 for语句为计数循环语句，在许多情况下，循环条件是有规律变化的，通常把循环条件初值、终值和变化步长放在循环语句的开头，这种形式就是for语句的循环结构。for循环的一般形式是： for 循环变量名=表达式1：表达式2：表达式3 语句体 end
并行计算1
并行计算 实 验 报 告 学院名称计算机科学与技术学院专业计算机科学与技术 学生姓名 学号 年班级 2016年5 月20 日
一、实验内容 本次试验的主要内容为采用多线程的方法计算pi的值，熟悉linux下pthread 形式的多线程编程，对实验结果进行统计并分析以及加速比曲线分析，从而对并行计算有初步了解。 二、实验原理 本次实验利用中值积分定理计算pi的值 图1 中值定理计算pi 其中公式可以变换如下： 图2 积分计算pi公式的变形 当N足够大时，可以足够逼近pi，多线程的计算方法主要通过将for循环的计算过程分到几个线程中去，每次计算都要更新sum的值，为避免一个线程更新sum 值后，另一个线程仍读到旧的值，所以每个线程计算自己的部分，最后相加。三、程序流程图 程序主体部分流程图如下：
多线程执行函数流程图如下： 四、实验结果及分析
令线程数分别为1、2、5、10、20、30、40、50和100，并且对于每次实验重复十次求平均值。结果如下： 图5 时间随线程的变化 实验加速比曲线的计算公式类似于 结果如下： 图5 加速比曲线 实验结果与预期类似，当线程总数较少时，线程数的增多会对程序计算速度带来明显的提升，当线程总数增大到足够大时，由于物理节点的核心数是有限的，因此会给cpu带来较多的调度，线程的切换和最后结果的汇总带来的时间开销较大，所以线程数较大时，增加线程数不会带来明显的速度提升，甚至可能下降。 五、实验总结
本次试验的主要内容是多线程计算pi的实现，通过这次实验，我对并行计算有了进一步的理解。上学期的操作系统课程中，已经做过相似的题目，因此程序主体部分相似。不同的地方在于，首先本程序按照老师要求应在命令行提供参数，而非将数值写定在程序里，其次是程序不是在自己的电脑上运行，而是通过ssh和批处理脚本等登录到远程服务器提交任务执行。 在运行方面，因为对批处理任务不够熟悉，出现了提交任务无结果的情况，原因在于windows系统要采用换行的方式来表明结束。在实验过程中也遇到了其他问题，大多还是来自于经验的缺乏。 在分析实验结果方面，因为自己是第一次分析多线程程序的加速比，因此比较生疏，参考网上资料和ppt后分析得出结果。 从自己遇到的问题来看，自己对批处理的理解和认识还比较有限，经过本次实验，我对并行计算的理解有了进一步的提高，也意识到了自己存在的一些问题。 六、程序代码及部署 程序源代码见cpp文件 部署说明： 使用gcc编译即可，编译时加上-pthread参数，运行时任务提交到服务器上。 编译命令如下： gcc -pthread PI_3013216011.cpp -o pi pbs脚本(runPI.pbs)如下： #!/bin/bash #PBS -N pi #PBS -l nodes=1:ppn=8 #PBS -q AM016_queue #PBS -j oe cd $PBS_O_WORKDIR for ((i=1;i<=10;i++)) do ./pi num_threads N >> runPI.log
实验2 大数据分析平台中HDFS的使用
1、HDFS 预备知识 2、HDFS 读写数据的过程 （一） 实验目的 1.理解HDFS 在Hadoop 体系结构中的角色； 2.理解HDFS 存在的原因； 3.理解HDFS 体系架构； 4.理解HDFS 读写数据过程； 5.熟练使用HDFS 常用的Shell 命令。 （三） 实验环境 1.在HDFS 中进行目录操作； 2.在HDFS 中进行文件操作； 3.从本机中上传文件到HDFS ； 4.从HDFS 下载文件到本机。 （四） 实验步骤 （二） 实验要求 1.大数据分析实验系统（FSDP ）； 2.CentOS 6.7； 3. Hadoop 2.7.1。 分布式文件系统（Distributed File System ）是指文件系统管理的物理存储资源不一定直接连接在本地节点,而是通过计算机网络与节点相连。 HDFS （Hadoop 分布式文件系统，Hadoop Distributed File System ）是一种适合运行在通用硬件上的分布式文件系统，它是一个高度容错性的系统，适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 HDFS 为大数据分析平台的其他所有组件提供了最基本的存储功能。它具有高容错、高可靠、可扩展、高吞吐率等特征，为大数据存储和处理提供了强大的底层存储架构。 HDFS 采用主/从（master/slave ）式体系结构，从最终用户的角度来看，它就像传统的文件系统，可通过目录路径对文件执行增删改查操作。由于其分布式存储的性质，HDFS 拥有一个NameNode 和一些DataNode ，NameNode 管理文件系统的元数据，DataNode 存储实际的数据。 1.HDFS 预备知识； 2.HDFS 读写数据的过程； 3.HDFS 的目录和文件操作。 HDFS 提供高吞吐量应用程序访问功能，适合带有大型数据集的场景，具体包括： ?数据密集型并行计算：数据量大，但是计算相对简单的并行处理，如大规模Web 信息搜索； ? 计算密集型并行计算：数据量相对不是很大，但是计算较为复杂的并行处理，如3D 建模与渲染、气象预报、科学计算等； ? 数据密集型与计算密集型混合的计算，如3D 电影渲染等。 HDFS 读数据的过程 HDFS 写数据的过程 普通文件系统主要用于随机读写以及与用户进行交互，而HDFS 则是为了满足批量数据处理的要求而设计的，因此为了提高数据吞吐率，HDFS 放松了一些POSIX 的要求，从而能够以流方式来访问文件系统数据。
第5章_无失真信源编码题与答案
第5章_无失真信源编 码题与答案 本页仅作为文档封面，使用时可以删除 This document is for reference only-rar21year.March
有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码 E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字， 110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r (2) 非延长码：A ，C (3)
3125.1616 1 5161416131612411213 =?+?+?+?+?+?= ?===∑i i i C B A l p L L L
多核编程与并行计算实验报告 (1)
(此文档为word格式，下载后您可任意编辑修改！) 多核编程与并行计算实验报告 姓名： 日期：2014年 4月20日
实验一 // exa1.cpp : Defines the entry point for the console application. // #include"stdafx.h" #include 实验二 // exa2.cpp : Defines the entry point for the console application. // #include"stdafx.h" #include 实验一 离散信源及其信息测度 一、[实验目的] 离散无记忆信源是一种最简单且最重要的信源，可以用完备的离散型概率空间来描述。本实验通过计算给定的信源的熵，加深对信源及其扩展信源的熵的概念的理解。 二、[实验环境] windows XP,MATLAB 三、[实验原理] 信源输出的各消息的自信息量的数学期望为信源的信息熵，表达式如下 1()[()]()log ()q i i i H X E I xi p x p x ===-∑ 信源熵是信源的统计平均不确定性的描述，是概率函数()p x 的函数。 四、[实验内容] 1、有条100字符英文信息，假定其中每字符从26个英文字母和1个空格中等概选取，那么每条信息提供的信息量为多少？若将27个字符分为三类，9个出现概率占2/7,13个出现概率占4/7，5个出现占1/7，而每类中符号出现等概，求该字符信源的信息熵。 2、二进制通信系统使用0、1,由于存在失真，传输会产生误码，用符号表示下列事件：u0:一个0发出；u1:一个1发出；v0:一个0收到；v1:一个1收到；给定下列概率：p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2。求：(a)已知发出一个0，求收到符号后得到的信息量；(b)已知发出的符号，求收到符号后得到的信息量； 3、给定离散无记忆信源X ，其概率空间为 010.70.3X P ????=???????? 求该信源的熵和其二次、三次扩展信源的熵。(编写一M 函数文件： function [H_X1,H_X2,H_X3]=t03(X1,P1) %t03 求信源和其二次、三次扩展信源的熵 %输入为X1,P1,分别为信源符号和概率阵 %输出为原离散信源的熵H_X1和二次、三次扩展信源的熵H_X2、H_X3 并行计算上机实验报告题目：多线程计算Pi值 学生姓名 学院名称计算机学院 专业计算机科学与技术时间 一. 实验目的 1、掌握集群任务提交方式； 2、掌握多线程编程。 二.实验内容 1、通过下图中的近似公式，使用多线程编程实现pi的计算； 2、通过控制变量N的数值以及线程的数量，观察程序的执行效率。 三.实现方法 1. 下载配置SSH客户端 2. 用多线程编写pi代码 3. 通过文件传输界面，将文件上传到集群上 4.将命令行目录切换至data，对.c文件进行编译 5.编写PBS脚本，提交作业 6.实验代码如下： #include #include 有一信源，它有6个可能的输出，其概率分布如题表所示，表中给出了对应的码E D C B A ,,,, 和 F 。 (1) 求这些码中哪些是唯一可译码； (2) 求哪些是非延长码（即时码）； (3) 对所有唯一可译码求出其平均码长L 。 解： (1) 唯一可译码：A ，B ，C A 是等长码，码长3，每个码字各不相同，因此是唯一可译码。 B 是非即时码，前缀码，是唯一可译码。 C 是即时码，是唯一可译码。 D 是变长码，码长}4 ,4 ,4 ,3 ,2 ,1{，不是唯一可译码，因为不满足Kraft 不等式。 10625.132******** 321≥=??? ? ??+??? ??+??? ??+??? ??=∑-i l i r E 是变长码，码长}4 ,4 ,4 ,4 ,2 ,1{，满足Kraft 不等式，但是有相同的码字，110053==W W ，不是唯一可译码。 1142121214 21≤=??? ? ??+??? ??+??? ??=∑-i l i r F 是变长码，码长}3 ,3 ,3 ,3 ,3 ,1{，不满足Kraft 不等式，不是唯一可译码。 1125.1521213 1≥=??? ? ??+??? ??=∑-i l i r (2) 非延长码：A ，C (3) 3125.1616 1 5161416131612411213 =?+?+?+?+?+?= ?===∑i i i C B A l p L L L 设离散信源的概率空间为 ???? ??=??????05.010.015.020.025.025.0654321 s s s s s s P S 对其采用香农编码，并求出平均码长和编码效率。 解： ()%7.897 .2423 .2)( 423.205.0log 05.0...25.0log 25.0log )(7 .2505.041.0315.032.0225.0225.0=== =?++?-=-==?+?+?+?+?+?=?=∑∑L S H bit p p S H l p L i i i i i i η 设无记忆二元信源，其概率995.0 ,005.021==p p 。信源输出100=N 的二元序列。在长为 100=N 的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。 (1) 求码字所需要的长度； (2) 考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率E p 是多少？ 解： (1) 码字中有0个“1”，码字的个数：10 100=C 码字中有1个“1”，码字的个数：1001100=C 码字中有2个“1”，码字的个数：49502100=C 码字中有3个“1”，码字的个数：1617003100=C 1835.17166751log log 166751 161700495010013100210011000100===≥≥=+++=+++=i r i l l q l q r C C C C q i 多核编程与并行计算实验报告 姓名： 日期：2014年 4月20日 实验一 // exa1.cpp : Defines the entry point for the console application. // #include"stdafx.h" #include 实验二 // exa2.cpp : Defines the entry point for the console application. // #include"stdafx.h" #include 第2章离散信源与信息熵 信号 信号+干扰 消息 干扰 消息 信源 编码器 信道 译码器 信宿 噪声源 通信系统模型 信息 2.1 信源的分类和描述 信源是信息的发源地，可以是人、生物、机器或其他事物。信源的输出是包含信息的消息。消息的形式可以是离散的或连续的。 信源输出为连续信号形式（如语音），可用连续随机变量描述。 连续信源←→模拟通信系统 信源输出是离散的消息符号（如书信），可用离散随机变量描述。 离散信源←→数字通信系统 离散信源…X i…X j… 离散无记忆信源：输出符号X i X j 之间相互无影响； 离散有记忆信源：输出符号X i X j 之间彼此依存。 3 离散信源 无记忆 有记忆发出单个符号发出符号序列马尔可夫信源 非马尔可夫信源 y j 将一粒棋子随意地放 在棋盘中的某列； 棋子放置的位置是一 个随机事件； 可看做一个发出单个 符号的离散信源。 x i 1212,,...,(),(),...,()m m x x x X P p x p x p x ????=???????? 就数学意义来讲，信源就是一个概率场，可用概率空间来描述信源。由离散随机变量X 表示棋子位置： 10()1,()1m i i i p x p x =≤≤=∑i x 其中，代表随机事件的某一结果。 2.2离散信源的信息熵信息的可度量性是信息论建立的基础； 香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量，建立熵的概念。 2.2.1自信息量 –定义2.1 任意随机事件x i 的自信息量定义为： i i i 1(x )log log (x )(x ) I P P ==- 深圳大学 实验报告 课程名称：并行计算 实验名称：矩阵乘法的OpenMP实现及性能分析姓名： 学号： 班级： 实验日期：2011年10月21日、11月4日 一. 实验目的 1) 用OpenMP 实现最基本的数值算法“矩阵乘法” 2) 掌握for 编译制导语句 3) 对并行程序进行简单的性能 二. 实验环境 1) 硬件环境：32核CPU 、32G 存计算机； 2) 软件环境：Linux 、Win2003、GCC 、MPICH 、VS2008； 4) Windows 登录方式：通过远程桌面连接192.168.150.197，用户名和初始密码都是自己的学号。 三. 实验容 1. 用OpenMP 编写两个n 阶的方阵a 和b 的相乘程序，结果存放在方阵c 中，其中乘法用for 编译制导语句实现并行化操作，并调节for 编译制导中schedule 的参数，使得执行时间最短，写出代码。 方阵a 和b 的初始值如下： ????????? ? ??????????-++++=12,...,2,1,..2,...,5,4,31,...,4,3,2,...,3,2,1n n n n n n n a ???????? ? ???????????= 1,...,1,1,1..1,...,1,1,11,...,1,1,11,..., 1,1,1b 输入： 方阵的阶n 、并行域的线程数 输出： c 中所有元素之和、程序的执行时间 提示： a,b,c 的元素定义为int 型，c 中所有元素之各定义为long long 型。 Windows 计时: 用 第二章信源与信息熵 主要内容：（1）信源的描述与分类；（2）离散信源熵和互信息；（3）离散序列信源的熵；（4）连续信源的熵和互信息；（5）冗余度。 重点：离散/连续信源熵和互信息。 难点：离散序列有记忆信源熵。 说明：本章内容主要针对信源，但是很多基本概念却是整个信息论的基础，所以安排了较多课时。由于求熵涉及一些概率论的基础知识，考虑到大四的同学可能对这部分知识已经遗忘，故适当复习部分概率论知识。较难的 2.1.2节马尔可夫信源部分放置在本章最后讲，便于同学理解。本章概念和定理较多，比较抽象，课堂教学时考虑多讲述一些例题，通过例题来巩固概念和消化定理。 作业： 2．1—2．7，2．10，2．12。 课时分配：10课时。 板书及讲解要点： 在信息论中，信源是发出消息的源，信源输出以符号形式出现的具体消息。如果符号是确定的而且预先是知道的，那么该消息就无信息而言。只有当符号的出现是随机的，预先无法确定，一旦出现某个符合就给观察者提供了信息。因此应该用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息，这就是香农信息论的基本点。 2．1 信源的描述与分类 在通信系统中收信者在未收到消息以前对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机序列或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度——概率空间来描述信源。 信源：产生随机变量、随机序列和随机过程的源。 信源的基本特性：具有随机不确定性。 信源的分类 离散信源：文字、数据、电报——随机序列 连续信源：话音、图像——随机过程 离散信源：输出在时间和幅度上都是离散分布的消息。 消息数是有限的或可数的，且每次只输出其中一个消息，即两两不相容。 发出单个符号的无记忆信源 离散无记忆信源： 发出符号序列的无记忆信源 离散信源 离散有记忆信源： 发出符号序列的有记忆信源 发出符号序列的马尔可夫信源 概率论基础： 无条件概率，条件概率和联合概率的性质和关系： （1） 非负性 0()()(/)(/)()1i j j i i j i j p x p y p y x p x y p x y ≤≤，，，， （2） 完备性 111 1 11 ()1,()1,(/)1, (/)1,()1 n m n i j i j i j i m m n j i i j j j i p x p y p x y p y x p x y ===========∑∑∑∑∑∑ 1 1 ()(),()()n m i j j i j i i j p x y p y p x y p x ====∑∑ （3） 联合概率 ()()(/)()(/)()()()(/)()(/)() i j i j i j i j i j i j j i j i j i p x y p x p y x p y p x y X Y p x y p x p y p y x p y p x y p x =====当与相互独立时，， （4） 贝叶斯公式 1 1 () () (/)(/)() () i j i j i j j i n m i j i j i j p x y p x y p x y p y x p x y p x y === = ∑∑， 2.1.1 无记忆信源： 例如扔骰子，每次试验结果必然是1～6点中的某一个面朝上。可以用一个离散型随机变量X 来描述这个信源输出的消息。 《并行计算》实验教学大纲 课程名称：并行计算 英文名称：Parallel Computing 课程编号： 课程性质：课程类型：专业选修是否为独立设课的实验课：否 适用专业：软件工程专业 学时与学分：总学时：72 总学分：3.5 实验学时：16 实验学分：0.5 执笔人：陆克中 制定时间：2012-3-12 一、实验课的任务、性质与目的 《并行计算》是一门实践性很强的课程，除了系统的课堂理论学习外，还配有足够数量的实践内容，以巩固和加深学生对并行算法理论、设计技术、分析方法和具体实现等各个环节的整体理解。通过课程实践，强化学生“结构—算法—编程”一体化学习方法的意识，充分理解对于求解一个给定问题的任何并行算法，都必须采用某种并行编程语言，最终运行在一台具体的并行计算机上。 根据并行计算课程的要求，其实验教学的要求如下： (1) 熟悉三种以上的主流并行计算平台，包括共享存储的多处理机、分布存储的多计算机和目前流行的PC机群，要求学生能够使用上述几种并行计算平台所提供的硬／软件环境及工具来开展自己的实验工作。 (2) 掌握至少两种并行程序设计语言标准：即分布存储的MPI和共享存储的OpenMP。对面向大型科学和工程计算的HPF（高性能Fortran）也应尽量了解和熟悉。 (3) 选择某些典型的非数值并行算法和数值并行算法，使用上述的并行编程语言标准，至少在PC机群上编程调试、分析和运行它们。 (4) 为了入门，选用课程中简单的计算π的样本程序为出发点，通过使用不同的并行程序设计模型和不同的并行编程语言，在不同的硬件编程环境上改造和重现，以便为进一步的实践打下基础。 学习本课程的过程中，这些实践环节是非常必要的和重要的，它可以激发学生学习并行计算的积极性，缩小理论教学和实际应用能力之间的差距，引导学生进入一个思考和探索的世界，在这个世界里，他们是学习的主动参与者，而不再是被动的接受者。 二、主要仪器设备及环境 硬件设备：机群计算机 软件环境：Linux MPICH PVM 并行处理与体系结构实验指导书 Guide Book of Parallel Processing and Architecture Experiment 编者：王璿 教务处 2015 年 10月 目录 实验一 MPI安装与程序编译、运行和调试 (1) 实验二共享存储模型与消息传递模型的比较 (3) 实验三矩阵运算 (5) 实验四八皇后问题 (10) 实验五快速排序 (12) 实验六快速傅氏变换 (14) 实验一 MPI安装与程序编译、运行和调试 一、实验目的 搭建MPI并行编程环境，开发并行程序；学习并行程序的编写、编译、运行步骤，了解系统结构对编程模式和环境工具的影响。 二、实验内容 在计算机局域网上安装MPICH2虚拟机，用一个简单的计算实例进行测试。运行\实验代码\MPI 运行程序\ 文件夹下面的hello.c、who.c、message.c、isend.c和mtpi.c程序实例，体会MPI中获取进程标识、消息传递及非阻塞通信等工作模式。 三、实验步骤 推荐的MPI使用环境是Linux，但实际应用中Windows系统应用广泛。本实验主要给出Windows 下MPI环境的搭建方法及MPI程序的编写、编译连接及运行。大致步骤及说明如下： 1.创建用户 以管理员的身份登录主机，在主机上建立一个MPI账户。如：用户名：mympi 密码：mympi 若在局域网环境下所有主机均推荐创建相同的MPI账户，且创建相同的工作目录，如D:\mpijob，将并行编译成功的可执行文件均存放在同一目录下。 2. 安装MPICH 例如：本实验采用的mpich2-1.4.1p1-win-ia32安装程序的下载地址为：https://www.360docs.net/doc/279369612.html,/ research /projects/ mpich2 downloads/tarballs/1.4.1p1/ mpich2-1.4.1p1-win-ia32.msi推荐局域网中准备进行并行计算的所有计算机都要安装MPICH2虚拟机，且要安装在相同的路径下。本实验以设置安装在C:\ Program Files\MPICH2目录下为例。 (1)运行mpich2目录下的mpich2-1.4.1p1-win-ia32.msi，将MPICH2虚拟机安装到计算机上。 (2)测试MPI是否安装成功前首先需要注册一个用户，具体操作如下：“开始”按钮-->所有程序-->MPICH2 -->wmpiregister.exe。输入用户名、密码，即我们第一步建立的系统管理员账户和系统登录密码。如图1.1所示： 图1.1 MPICH用户注册界面 (3)用例程测试。选择开始-->所有程序-->MPICH2-->wmpiexec.exe；选择Application为c:\program files\mpich2\examples\cpi.exe (就是自带的一个计算圆周率的例子程序)。可在Number of processes的数量选择2表示用二个进程来协同完成。选中“run in separate window”选项，再点击Excute执行。如图1.2所示。 并行计算课程设计 班级：12级计科一班 姓名：郭慧敏 学号:121013040 一、实验内容： 使用MPI并行程序设计方法设计矩阵加法的并行程序。随机产生所需的矩阵元素 尽量设计较高的加速比 二、程序段： 1、方法一：利用MPI_Send和MPI_Recv实现多进程并行#define MPICH_SKIP_MPICXX #include 第三章 离散信源及其信息测度 3.1 信源的数学模型及分类 信源是信息的来源，是产生消息或消息序列的源泉。信息是抽象的，而消息是具体的。消息不是信息本身，但它包含着和携带着信息。我们不研究信源的内部结构，不研究信源为什么产生和怎样产生各种不同的、可能的消息，而只研究信源的各种可能的输出，以及各种可能消息的不确定性。 在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机矢量或随机过程来描述信源输出的消息。不同的信源输出的消息不同，可以根据消息的不同的随机性质来对信源进行分类。 1）信源输出的单符号消息可用随机变量描述 在实际情况中，有些信源可能输出的消息数是有限的或可数的，而且每次只输出其中一个消息，如书信文字、计算机的代码、电报符号、阿拉伯数字码等。这些信源输出的都是单个符号的消息，它们符号集的取值是有限的或可数的。我们可用一维离散型随机变量X 来描述这些信源的输出。这样的信源称为离散信源。它的数学模型就是离散型的概率空间 121 2(), ,(),(),()q q X P x a a a P a P a P a =???????????? （3-1） 显然，()(1,2,,)i P a i q =应满足 1()1q i i P a ==∑ （3-2） 式中，{}i a 是离散信源可能的输出符号；()1(1,2,,)0i P a i q ≤=≤是信源输出符号 (1,2,,)i a i q =的先验概率。 有的信源虽然输出的是单个符号（代码）的消息，但其可能出现的消息数是不可数的无限值，即输出消息的取值是连续的，或取值是实数集(,)-∞∞。例如，语音信号、热噪声信号某时间的连续取值数据，遥控系统中有关电压、温度、压力等测得的连续数据。这些数据取值是连续的，但又是随机的。我们可用一维的连续型随机变量X 来描述这些消息，则这种信源称为连续信源，其数学模型是连续型概率空间 ()(x)X P x p =?????????? ??R （3-3） 并满足 ()d 1b a p x x =? 或()d 1p x x =?R 式中，R 表示实数集(,)-∞∞；()p x 是随机变量X 的概率密度函数。 上述离散信源和连续信源是最简单、最基本的情况，信源只输出一个消息（符号），所 英语信源、汉语信源及其信息熵的研究 摘要 英语信源和汉语信源是两种不同的自然语信源，而信息熵反映了信源的记忆长度，信源的记忆长度越长，熵就越小。只有当记忆长度为0，即信源符号间彼此没有任何依赖关系且等概率分布时，信源熵达到最大值。也就是说，信源符号相关性越强，所提供的平均信息量就越小。所以，研究这两种信源的信息熵，就可以得出每种信源中符号的相关性，和提供的平均信息量，量化的来比较两种语言。 关键词 英语信源 汉语信源 信息熵 正文 一、英语信源及其信息熵 英语字母有26个，加上空格，共27个符号。根据熵的性质，信源的最大熵 02log 27 4.76(/)H bit symbol == 但实际上，英语中的字母并非等概率出现，字母之间还有严格的依赖关系。如果我们对英语书中27个符号出现的概率加以统计，可得： 27个英语字符出现的概率 符号 概率 符号 概率 符号 概率 空格 0.2 S 0.052 Y,M 0.012 E 0.105 H 0.047 G 0.011 T 0.072 D 0.035 B 0.0105 O 0.0654 L 0.029 V 0.008 A 0.063 C 0.023 K 0.003 N 0.059 F,U 0.0225 X 0.002 I 0.055 M 0.021 J,Q 0.001 R 0.054 P 0.0175 Z 0.001 如果不考虑上述符号之间的依赖关系，即近似地认为信源是离散无记忆信源，根据离散上的定义可得 27121()log () 4.03(/) i i i H p a p a bit symbol ==-=∑ 按上述表格中的概率分布，随机选择英语字母排列起来，得到一个信源输出序列： AI_NGAE_ITE_NNR_ASAEV_OTE_BAINTHA_HYROO_POER_SE TRYGAIETRWCO … 可见，这些字母完全是随机排列，毫无相关性，却不是英语单词，所以我们应该考虑字母的依赖性。 为了进一步逼近实际情况，可把婴语信源近似地看作1阶，2阶，…，∞阶马尔可夫信源，求得相应的熵 2 3.32(/)H bit symbol = 3 3.1(/)H bit symbol = 异推出，马尔可夫信源阶数越高，输出的序列越接近实际情况。当依赖关系延伸到无穷远时，信源输出就是真正的英语。所以我们求马尔可夫信源的极限熵 1.4(/)H bit symbol ∞= 二、汉语信源及其信息熵 基于o p e n M P的并行计 算实验 文档编制序号：[KKIDT-LLE0828-LLETD298-POI08] 并行计算实验报告 课程：并行计算 姓名：郑波 学号44 班级：计算机科学与技术13-2班 日期：2015年12月7日 实验一：OpenMP基本使用 一、实验目的 1、熟悉OpenMP编程。 2、比较串行算法与并行算法在执行时间上的差别； 3、考察线程数目使用不同对并行算法执行时间的影响； 4、考察运算规模N对串、并行算法执行时间上的影响。 二、实验内容 1、使用OpenMP进行两个矩阵A和B的加法，并分析串行、并行时间的差别以及问题规模对程序运行时间的影响 三、实验步骤 1、整个程序的设计流程 ①全局变量设置三个宏定义过的size×size的二维数组啊a,b,c。 ②初始化a数组为全1，b数组为全2 ③通过omp_set_num_threads()库函数设置线程数 ④调用openMP库函数omp_get_wtime()获取当前时间start #pragma omp parallel for开始做并行区部分 … 结束后再次调用omp_get_wtime()获取时间end，end-start即为并行消耗时间 ⑤再次调用时间函数更新strat 串行做一边矩阵相加 更新end,end-start即为串行耗时 代码如下： #include 英语信源、汉语信源及其信息熵的研究 摘要英语信源和汉语信源是两种不同的自然语信源，而信息熵反映了信源的记忆长度，信源的记忆长度越长，熵就越小。只有当记忆长度为0，即信源符号间彼此没有任何依赖关系且等概率分布时，信源 符号概率符号概率符号概率 空格0.2 S 0.052 Y,M 0.012 E 0.105 H 0.047 G 0.011 T 0.072 D 0.035 B 0.0105 O 0.0654 L 0.029 V 0.008 0.023 K 0.003 A 0.063 C N 0.059 F,U 0.0225 X 0.002 I 0.055 M 0.021 J,Q 0.001 R 0.054 P 0.0175 Z 0.001 如果不考虑上述符号之间的依赖关系，即近似地认为信源是离散无记忆信源，根据离散上的定义可得 27121()log () 4.03(/) i i i H p a p a bit symbol ==-=∑ 1.4(/)H bit symbol ∞= 二、汉语信源及其信息熵 对于英语，字符数少，可轻松的计算出英语信源的信息熵，但是对于汉语这个中文字符极其庞大的信源，科学家们做出了大量的统计 与计算。方法同上面的英语信源信息熵的计算，不过计算量增加了非常多。下面是截取的一些统计资料。 CCL 语料库-现代汉语总字频数：307,317,060 总字种数：9711 字频表： 的:11523375 一:4140344 是:3291508 了:3059837 在:2933070 人:2827726 不:2733842 国:2645758 有:2507415 中:2182025 他:2029395 这:1968713 我:1940875 和:1872750 大:1832977 （ZIPF'S LAW）核算，汉字的容量极限是12366个汉字，汉字的平均信息量是9.65比特 三、英语信源和汉语信源的比较 显而易见，汉语信源的信源熵远远大于英语信源的信息熵，说明实验一 离散信源及其信息测度
并行计算第一次实验报告
无失真信源编码题与答案
多核编程与并行计算实验报告 (1)
2015秋.信息论.第2章离散信源与信息熵
并行计算-实验二-矩阵乘法的OpenMP实现及性能分析
第二章信源信息熵
《并行计算》实验教学大纲
并行处理与体系结构实验指导书
并行计算累加和
通信原理第三章-离散信源及信息测度
英语信源汉语信源信息熵的研究
基于openMP的并行计算实验
英语信源汉语信源信息熵的研究