信息论基础论文
信息与计算科学专业导论论文
信息与计算科学专业导论论文中国计量学院题目：信息与计算科学专业导论论文专业：班级：姓名：学号：专业导论课程论文信息与计算科学13信算一班朱雨戈2022年4月9日一．摘要与概述信息与计算科学专业是以信息领域为背景，数学与信息，管理相结合的交叉学科专业。
该专业致力于培养具有良好数学基础，能熟练地使用计算机，初步具备在信息与计算科学领域的某个方向上从事科学研究，解决实际问题，设计开发有关软件的能力的高素质人才。
本专业的课程体系和知识结构体现了在扎实的数学基础之上，合理架构信息科学与计算科学的专业基础理论。
通过信息论、科学计算、运筹学等方面的基础知识教育和建立数学模型、数学实践课、专业实习各环节的训练，着重培养学生解决科学计算、软件开发和设计、信息处理与编码等实际问题的能力，培养能胜任信息处理、科学与工程计算部门工作的高级专门人才。
二．信算专业的前景在几位老师的专业导论课的学习中，我了解到信息与计算科学是当今科学前沿领域，是除理论研究与实验以外的第三种科学研究手段，是我国科技发展观规划中的重要学科。
今天，虽然许多人能够完成大量计算机应用的任务而并不需要很多的数学训练，但这不等于说计算科学不需要高深的数学。
对比计算机专业人才，信算专业人才通过对实际问题数学化进而解决该问题的这种思维过程更受人们青睐。
对从事计算机具体应用的人员来说，只需要懂得怎么使用各种计算机软件资源，如编译程序、操作系统、数据库管理系统、有关的硬件接口、各种软件工具和应用软件程序包的使用就可以了，因而不可能从事较高起点的计算科学专业技术工作。
信算专业毕业生未来发展多样化，可报考研究生进行更深入的研究，也可直接就业。
考研方向：计算机类：计算机系统结构、微型计算机系统、并行分布/处理与智能计算机系统、计算机软件、人工智能与智能控制、计算机图形学及计算机辅助设计、计算机信息处理与应用、计算机设计自动化与计算机科学理论自动化控制类：控制理论与控制工程，模式识别，测控，精密仪器，导航制导。
信息论方法预测信号肽-论文
第二章几种公认的预测方法２．１，３准确性权重矩阵方法对于蛋白质信号肽剪切位点是成功的，至今仍然是众多科研人员对新方法时候成功的进行检验的一个标准，在Ｄｒ．ｖｏｎＨｅｉｊｉｎ．Ｇ１９８６年的这篇文章中，该方法对于自建数据库中的已知剪切位点蛋白质的检验准确性可以达到：真核生物６１％、革兰氏阳性菌８１％和革兰氏阴性菌６９％；对于位置剪切位点的蛋白质的预测准确性可以达到７５％．８０％。
２－２序列编码方法伍川Ⅱｅｎｃｅ＿ｅｎｃｏｄｅｄａｌｇｏｒｉｔｈｍ）１９１２．２．１方法信号肽的长度对于不同蛋白质有所不同，最短的线号肽可能是８个氨基酸（ｔ＝８），最长的可能是９０个氨基酸（厶＝９０），大部分的信号肽长度分布在１８—２５个氨基酸之间。
假定一个信号肽和他的剪切位点可以被一个虚拟的、标示为【一厶，＋厶】的序列来说明，其中厶是信号部分的氨基酸残基数目，厶是蛋白质成熟部分的数目，信号台的剪切位点必定存在于这段被称为“基准窗口”的序列片断中标定位一１和＋ｌ的两个残基之间。
首先【９］作者选定厶＝６、上２＝２，那么【９】作者有一个基准窗口【一６，＋２１（这个算法可以很容易的推广到其他的厶、岛值）。
一个卜６，＋２】序列片断可以表示成为：足６噩５足４足３足２足ｌ段ｌ心这里的Ｒ代表新生蛋白质序列ｉ位置的氨基酸残基。
在（一１，＋１）之间的位置时分泌过程中的剪切位点，在此之前的位置上的残基组成了信号部分。
图２－１：信号肽及其剪切位点示意图第五章结果与讨论５．１信号肽特征不同物种的信号肽，在其长度上时有区别的。
对于真核生物来说，信号肽的平均长度是２３．４（氨基酸个数）；革兰式阴性菌是２５．９，而革兰式阳性菌则相对更长，其平均长度达到了３２．７。
各个物种信号肽长度的具体分布见图５．１。
ｌｅｎｇｔｈｏｆｓｉｇｎａｌ口ｅｐ啦ｄｅ圈５－ｌ：信号肽长度分布对于信号肽来说，剪切位点附近的氨基酸服从下面的（一３，一１）规则【ｌＯ】：一ｌ位置的残基必须是小氨基酸，比如，Ａｌａ，Ｓｅｒ，Ｇｌｙ，Ｃｙｓ，Ｔｈｒ或是Ｇｉｎ，一３位鼍的残基一定不是芳香族氨基酸（Ｐｈｅ，Ｈｉｓ，Ｔｙｒ，Ｔｒｐ），带电荷的氨基酸（Ａｓｐ，Ｏｌｕ，Ｌｙｓ，Ａｒｇ），或是大且极性的氨基酸（Ａｒｍ，Ｇｉｎ）。
通信的数学基石——信息论
通信的数学基石——信息论引言1948年，美国科学家香农（C. E. Shannon）发表了题为“通信的数学理论”论文，这篇划时代学术论文的问世，宣告了信息论的诞生。
文中，香农创造性地采用概率论的方法研究通信的基本问题，把通信的基本问题归结为“一方精确或近似地重现出另一方所选择的消息”，并针对这一基本问题给予了“信息”科学定量的描述，第一次提出了信息熵的概念，进而给出由信源、编码、信道、译码、信宿等组建的通信系统数学模型。
如今，信息的概念和范畴正不断地被扩大和深化，并迅速地渗透到其他相关学科领域，信息论也从狭义信息论发展到如今的广义信息论，成为涉及面极广的信息科学。
信息论将信息的传递看作一种统计现象，运用概率论与数理统计方法，给出信息压缩和信息传输两大问题的解决方法。
针对信息压缩的数学极限问题，给出了信息源编理论；针对信息传输的极限问题，则给出了信道编码理论。
《信息论基础与应用》在力求降低信息论学习对数学理论要求下，加强了信息论中基础概念的物理模型和物理意义的阐述；除此这外，该书将理论和实际相结合，增加了在基础概念的理解基础上信息论对实际通信的应用指导，并给出了相关应用的MATLAB程序实现，以最大可能消除学生对信息论学习的疑惑。
全书共分7章，第1章是绪论，第2章介绍信源与信息熵，第3章介绍信道与信道容量，第4章给出信源编码理论，第5章给出信道编码理论，在此基础上，第6章、第7章分别介绍了网络信息理论和量子信息理论。
什么是信息论什么是信息论？信息论就是回答：1）信息是如何被度量？2）如何有效地被传输？3）如果接收到的信息不正确，如何保证信息的可靠性？4）需要多少内存，可实现信息的存储。
所有问题的回答聚集在一起，形成的理论，称为信息论。
总之，信息论是研究信息的度量问题，以及信息是如何有效地、可靠地、安全地从信源传输到信宿，其中信息的度量是最重要的问题，香农首次将事件的不确定性作为信息的度量从而提出了信息熵的概念。
(完整word版)信息论基础理论及应用
信息论形成的背景与基础人们对于信息的认识和利用，可以追溯到古代的通讯实践可以说是传递信息的原始方式。
随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。
到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。
美国科学家N.奈奎斯特、德国K.屈普夫米勒、前苏联A.H.科尔莫戈罗夫和英国R.A.赛希尔等人，从不同角度研究信息，为建立信息论做出了很大贡献。
信息论是在人们长期的通信工程实践中，由通信技术和概率论、随机过程和数理统计相结合而逐步发展起来的一门学科。
信息论的奠基人是美国伟大的数学家、贝尔实验室杰出的科学家 C.E.香农(被称为是“信息论之父”)，他在1948年发表了著名的论文《通信的数学理论》，1949年发表《噪声中的通信》，为信息论奠定了理论基础。
20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。
近半个世纪以来，以通信理论为核心的经典信息论，正以信息技术为物化手段，向高精尖方向迅猛发展，并以神奇般的力量把人类社会推入了信息时代。
信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。
随着信息理论的迅猛发展和信息概念的不断深化，信息论所涉及的内容早已超越了狭义的通信工程范畴，进入了信息科学领域。
信息论定义及概述信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
核心问题是信息传输的有效性和可靠性以及两者间的关系。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
基于这一理论产生了数据压缩技术、纠错技术等各种应用技术，这些技术提高了数据传输和存储的效率。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。
企业信息化论文
企业信息化论文篇一：企业信息化论文企业信息化论文关键词：中小企业;信息技术;信息化;网络;对策所谓企业信息化，就是有效利用信息技术和信息知识资源，对企业的各种生产经营活动进行全方位改造，充分开发、利用企业的人、财、物等资源及企业内外信息资源进行生产经营活动，以达到降低生产和管理成本、提高经济效益的目的，实现企业的生产、设计、经营、管理、采购、仓储等全面实现自动化、智能化的过程，它包括生产过程信息化、企业管理信息化、企业商务活动电子化。
进入21世纪以来，经济全球化与全球信息化的迅猛发展，使企业之间的竞争越来越激烈，竞争层次越来越高，企业之间的竞争焦点已经从单纯的产品和价格的竞争，逐步转向信息应用的竞争。
企业信息化实质就是企业经营管理全过程信息化，包括企业内部管理信息化和企业外部沟通信息化，其目的就是提升企业的核心竞争力，随着全球化经济的发展，企业信息化建设已经成为企业生存和发展的必经之路。
加快中小企业信息化建设的对策企业信息化建设涉及因素较多、时间长、风险系数又大，在实施中必须积极调动社会各方面的力量，强化企业信息化意识，加强对信息化建设工作的宏观指导、组织保证和政策支持，加大实施企业信息化工程的制定规划、研究政策和宣传力度。
充足的资金是企业信息化建设的基础，先进的管理水平是企业信息化建设的前提，高素质的综合型人才是企业信息化建设的关键，先进的设施是企业信息化建设的条件。
企业必须从各个方面加大资金投入，强化网络设施建设，借助先进的计算机网络技术，建立完备的企业信息系统项目管理体制和运作机制，制定有效措施吸引高级人才，改革管理模式进行更高层次的管理重组，切实提高企业竞争力。
(一)更新观念，提高对企业信息化的认识现代社会企业面对着极为严峻的国际竞争环境，中小企业要面对全球一体化的新市场，自觉走上信息化道路，尽快缩小与国外先进企业和大企业在管理上的差距，实施企业管理现代化。
作为中小企业的管理者，不仅要在制度、技术、管理上进行创新，更应当认识到信息技术和网络经济是代表先进生产力的重要方面。
信息论论文
信息科学技术概论课程报告姓名: 葛坤专业: 11级电子信息工程A班学号: 1115102016日期2013年3月1日—2013年4月26日一、研究内容信息科学信息科学是以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门新兴的综合性学科。
信息科学由信息论、控制论、计算机科学、仿生学、系统工程与人工智能等学科互相渗透、互相结合而形成的。
信息科学技术主要研究信息的产生、获取、存储、传输、处理及其应用。
其中以微电子、计算机、软件、通信讯技术为主导，微电子是基础，计算机及通信设施是载体，而软件是核心，是计算机的灵魂。
信息，既是信息科学的出发点，也是它的归宿。
具体来说，信息科学的出发点是认识信息的本质和它的运动规律；它的归宿则是利用信息来达到某种具体的目的。
信息概念信息是人类对自然世界的了解的物化形式，信息的概念可以在两个层次上定义：1、本体论意义的信息是事物运动的状态和状态变化的方式，即事物内部结构和外部联系的状态和方式。
2、认识论意义的信息是认识主体所感知、表达的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。
信息并非事物本身，而是表征事物之间联系的消息、情报、指令、数据或信号。
信息的主要特征有：可量度、可识别、可转换、可存储、可处理传递、可再生、可压缩、可利用、可共享、主客体二重性等。
信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用。
信息可以控制和支配物质与能量的流动。
数据、信息、知识和智慧数据是未加工过的“信息”；信息通过将事实和给定的语境关联而导出；知识将某语境中的信息和在不同语境中得到的信息相关联；智慧是从完全不同的知识导出的一般性原理。
信息论概念信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科。
信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。
信息技术论文范文
信息技术改变着我们的生活论文2000字类惊速度走工业文明步入信息代信息代临仅改变着产式式且改变着思维式习式二十世纪我毫犹豫说：信息技术改变着我信息技术社发展着深刻影响仅提高社产力发展速度且社总体结构式全位影响引发史前例革命使我视野变更加阔沟通更加便捷类进入知识经济信息化社步伐加快随着现代社发展信息、知识已经社基本资源信息产业社核产业信息素养已每公民必须具备基本素质信息技术逐步渗透社面面信息选取、析、加工、利用能力与传统听、说、读、写、算等面知识技能同重要些能力信息社新型才培养基本要求何快获取信息效析信息何利用信息形决策现代管理核商业及获信息效利用信息更企业存事信息技术改变我各面同使我教育教发翻覆变化于工作校园教师习、校园同说我亲身经历、亲自创造着信息技术引起教育模式变化信息代知识爆炸科技新月异才需求提更高要求般应用型才书架型才、工匠型才已难适应代发展习型、创造型才培养今教育工作核充利用信息技术应该说培养新型才第步信息技术普及发展能帮助我较代价获较收获用较少间精力获较教育习效获取专业知识同掌握定信息知识、信息能力具备定信息意识、信息观念能够灵应用信息处理工作习、现问题我教育重要面同信息技术发展教育产深刻影响给教育注入新机力同给教育提更高要求于转变陈旧教育思想观念促进教内容、教、教结构教模式改革加快建设教育手段管理手段现代化起决定性作用尤其于深化基础教育改革提高教育质量效益培养面向现代化面向世界面向未创新才更具深远意义由难看：展信息化教育培养信息意识信息能力提高信息技术应用水平已前高等教育应该着重加强面信息技术800字论文我是一名幸运儿，生活在高科技发展迅速的二十一世纪。
我漫步在平坦的柏油马路上，穿梭于鳞次栉比的摩天高楼之间，身边一辆辆轿车飞驰而过，令我眼花缭乱。
信息技术为我们的生活带来了方便，我喜欢信息技术，更喜欢它走进了我家。
在众多的信息技术中，电脑显然是芸芸众生中的佼佼者，倍受人们的青睐，走进了千家万户。
信息与计算科学毕业论文
摘要信息论是人们在长期通信实践活动中，由通信技术与概率论、随机过程、数理统计等学科相结合而逐步发展起来的一门新兴交叉学科。
而熵是信息论中事件出现概率的不确定性的量度，能有效反映事件包含的信息。
随着科学技术，特别是信息技术的迅猛发展，信息理论在通信领域中发挥了越来越重要的作用，由于信息理论解决问题的思路和方法独特、新颖和有效，信息论已渗透到其他科学领域。
随着计算机技术和数学理论的不断发展，人工智能、神经网络、遗传算法、模糊理论的不断完善，信息理论的应用越来越广泛。
在图像处理研究中，信息熵也越来越受到关注。
为了寻找快速有效的图像处理方法，信息理论越来越多地渗透到图像处理技术中。
本文通过进一步探讨概论率中熵的概念，分析其在图像处理中的应用，通过概念的分析理解，详细讨论其在图像处理的各个方面：如图像分割、图像配准、人脸识别，特征检测等的应用。
本文介绍了信息熵在图像处理中的应用，总结了一些基于熵的基本概念，互信息的定义。
并给出了信息熵在图像处理特别是图像分割和图像配准中的应用，最后实现了信息熵在图像配准中的方法。
关键词：信息熵，互信息，图像分割，图像配准AbstractInformation theory is a new interdisciplinary subject developed in people long-term communication practice, combining with communication technology, theory of probability, stochastic processes, and mathematical statistics. Entropy is a measure of the uncertainty the probability of the occurrence of the event in the information theory, it can effectively reflect the information event contains. With the development of science and technology, especially the rapid development of information technology, information theory has played a more and more important role in the communication field, because the ideas and methods to solve the problem of information theory is unique, novel and effective, information theory has penetrated into other areas of science. With the development of computer technology and mathematical theory, continuous improvement of artificial intelligence, neural network, genetic algorithm, fuzzy theory, there are more and more extensive applications of information theory. In the research of image processing, the information entropy has attracted more and more attention. In order to find the fast and effective image processing method, information theory is used more and more frequently in the image processing technology. In this paper, through the further discussion on concept of entropy, analyzes its application in image processing, such as image segmentation, image registration, face recognition, feature detection etc.This paper introduces the application of information entropy in image processing, summarizes some basic concepts based on the definition of entropy, mutual information. And the information entropy of image processing especially for image segmentation and image registration. Finally realize the information entropy in image registration.Keywords：I nformation entropy, Mutual information, Image segmentation, Image registration目录摘要............................................................................... .. (1)ABSTRACT (2)目录 (3)1 引言 (5)1.1信息熵的概念 (5)1.2信息熵的基本性质及证明 (6)1.2.1 单峰性 (6)1.2.2 对称性 (7)1.2.3 渐化性 (7)1.2.4 展开性 (7)1.2.5 确定性 (8)2基于熵的互信息理论 (9)2.1 互信息的概述 (9)2.2 互信息的定义 (9)2.3 熵与互信息的关系 (9)3 信息熵在图像分割中的应用 (11)3.1图像分割的基本概念 (11)3.1.1图像分割的研究现状 (11)3.1.2 图像分割的方法 (11)3.2 基于改进粒子群优化的模糊熵煤尘图像分割 (12)3.2.1 基本粒子群算法 (12)3.2.2 改进粒子群优化算法 (13)3.2.3 Morlet变异 (13)3.2.4改建粒子群优化的图像分割方法 (14)3.2.5 实验结果及分析 (16)3.3 一种新信息熵的定义及其在图像分割中的应用 (19)3.3.1香农熵的概念及性质 (19)3.3.2一种信息熵的定义及证明 (19)3.3.3信息熵计算复杂性分析 (21)3.3.4二维信息熵阈值法 (22)3.3.5二维信息熵阈值法的复杂性分析 (24)3.3.6 结论及分析 (25)4 信息熵在图像配准中的应用 (27)4.1图像配准的基本概述 (27)4.2基于互信息的图像配准 (27)4.3P OWELL算法 (28)4.4变换 (28)4.4.1平移变换 (29)4.4.2旋转变换 (30)4.5基于互信息的图像配准的设计与实现 (31)4.5.1总体设计思路和图像配准实现 (31)4.5.2直方图 (33)4.5.3联合直方图 (33)4.5.4灰度级差值技术 (34)4.4.5优化搜索办法级结论 (35)5 结语 (37)致 (38)参考文献 (39)1 引言1.1. 信息熵的概念1948年，美国科学家香农(C ．E ．Shannon)发表了一篇著名的论文《通信的数学理论》。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
信息论基础发展史
信息论（information theory）是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。
是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。
信息传输和信息压缩是信息论研究中的两大领域。
这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
信息论从诞生到今天，已有五十多年历史，是在20世纪40年代后期从长期通讯实践中总结出来的，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。
它是在长期的通信工程实践和理论研究的基础上发展起来的。
通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。
电的通信系统(电信系统)已有100多年的历史了。
在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。
当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。
1876年，贝尔(A．G．BELL)又发明了电话系统。
1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。
接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。
本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波
进行放大的电子管。
之后很快出现了远距离无线电通信系统。
大功率超高频电子管发明以后，电视系统就建立起来了(1925—1927)。
电子在电磁场运动过程中能量相互交换的规律被人们认识后，就出现了微波电子管(最初是磁控管，后来是速调管、行波管)，接着，在三十年代末和四十年代初的二次世界大战初期，微波通信系统、微波雷达系统等就迅速发展起来。
五十年代后期发明了量子放大器，六十年代初发明的激光技术，使人类进入了光纤通信的时代。
现代信息论实际是从20世纪20年代奈奎斯特（H.Nyquist）和哈特莱（L.V.R.Hartley）的工作中开始的.在1832年莫尔斯电报系统中高效率编码方法对后来香农的编码理论是有启发的。
1885年凯尔文(L.Kelvin)曾经研究过一条电缆的极限传信率问题。
1922年卡逊(J．R．Carson)对调幅信号的频谱结构进行了研究，并建立了信号频谱概念。
1924年奈奎斯特(H．Nyquist)指出，如果以一个确定的速度来传输电报信号，就需要一定的带宽。
他把信息率与带宽联系起来了。
1928年哈特莱(R．V．Hartley)发展了奈奎斯特的工作，并提出把消息考虑为代码或单语的序列。
他的工作对后来香农的思想是有影响的。
香农被称为是“信息论之父”。
人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。
论文中系统地提出了关于信息的论述，创立了信息论。
他为解决通讯技术中的信息编码问题，把发射信息和接收信息作为一个整体的通讯过程来研究，提出通讯系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。
信息科学是以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门新兴的综合性学科。
信息科学由信息论、控制论、计算机科学、仿生学、系统工程与人工智能等学科互相渗透、互相结合而形成的。
信息的产生和发送者称之为信源，信源要将输出的消息通过某种通讯渠道传输给成为信宿的接受者。
我
们称信源发出的信息为消息，这里并不考虑其内涵的语义信息，而只考虑它的统计特性，通信的主要目标之一是是接收端能尽可能准确地复制信源发送的消息。
一般说来，信息可以界定为由信息源（如自然界、人类社会等）发出的被使用者接受和理解的各种信号。
作为一个社会概念，信息可以理解为人类共享的一切知识，或社会发展趋势以及从客观现象中提炼出来的各种消息之和。
信息并非事物本身，而是表征事物之间联系的消息、情报、指令、数据或信号。
一切事物，包括自然界和人类社会，都在发出信息。
我们每个人每时每刻都在接收信息。
在人类社会中，信息往往以文字、图象、图形、语言、声音等形式出现。
就本体论意义而言，信息是标志事物存在及其关系的属性。
但这样的描述难以将信息定量化，就认识论意义。
[
信息量是信息论中量度信息多少的一个物理量。
它从量上反映具有确定概率的事件发生时所传递的信息。
用H（x）表示为信息熵，是信源整体的平均不定度。
而用I（p）表示为信息，是从信宿角度代表收到信息后消除不定性的程度，也就是获得新知识的量，所以它只不在信源发出的信息熵被信宿收到后才有意义。
在排除干扰的理想情况下，信源发出的信号与信宿接收的信号一一对应，H （x）与I（p）二者相等。
信息的量度与它所代表的事件的随机性或各外事件发生的概率有关，当事件发生的概率大，事先容易判断，有关此事件的消息排队事件发生的不确定程度小，则包含的信息量就小；反之则大。
从这一点出发，信息论利用统计热力学中熵的概念，建立了对信息的量度方法。
在统计热力学中，熵是系统的无序状态的量度，即系统的不确定性的量度。
信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科。
信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。
信息论还研究语义信息、有效信息和模糊信息等方面的问题。
信息论有狭义和广义之分。
狭义信息论即申农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。
广义信息论又称信息科学，主要研究以计算机处理为中心的信息处理的基本理
论，包括评议、文字的处理、图像识别、学习理论及其各种应用。
广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性，它是一种物质系统的特性以一定形式在另一种物质系统中的再现。
广义信息论包括了狭义信息论的内容，但其研究范围却比通讯领域广泛得多，是狭义信息论在各个领域的应用和推广，因此，它的规律也更一般化，适用于各个领域，所以它是一门横断学科。
广义信息论，人们也称它为信息科学。
信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。
它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。
信息科学在安全问题的研究中也有着重要应用。
信息的不断革命，使得整个人类世界发生了巨大的变化。
尤其是电子计算机和现代通讯技术在信息工作中的应用。
电子计算机和现代通讯技术的有效结合，使信息的处理速度、传递速度得到了惊人的提高；人类处理信息利用信息的能力达到了空前的高度。
人类社会步入了所谓的信息社会。