智能信号处理

缺点：
(1)BP算法的收敛速度慢，不能保证网络收敛；
(2)BP算法从数学角度看是一种梯度最速下降法，这就可 能出现局部极小的问题； (3)BP网络中隐含层神经元的数目目前仅有一些经验的选 取方法； (4)BP网络并没有反馈存在，只是一个非线性映射系统； (5)BP网络的泛化能力较差。
4、BP神经网络的应用


输出层节点数：实际问题中所要预测的值个数，或称 自变量个数
网络层数
• 即确定隐层层数。
• 一般认为，增加隐层数可以降低网络误差提高精度， 但也使网络复杂化。 • 设计神经网络应优先考虑3层网络（即有1个隐层）。 • 一般地，靠增加隐层节点数来获得较低的误差，其 训练效果要比增加隐层数更容易实现。
基于人的慢速脑研究；
思维观点: AI不仅限于逻辑思维，还应考虑形象思维、 灵感思维，才能促进AI的突破性的发展。
1、智能信号处理方法
小波分析 神经网络
模糊聚类
人工智能
遗传算法
专家系统
模式识别
2.1神经网络的概念
人工神经网络是从微观结构与功能上对人脑神经系统 的模拟而建立起来的一类模型，具有模拟人的部分形象 思维的能力。其特点主要是具有非线性、学习能力和自 适应性，是模拟人的智能的一条重要途径。 它是由简单信息处理单元（人工神经元，简称神经元） 电脉冲 互联组成的网络，能接受并处理信息。网络的信息处理 树 突 输 输 形成 由处理单元之间的相互作用来实现，它是通过把问题表 细胞体 轴突 突 触 入 出 达成处理单元之间的连接权来处理的。 信息处理 传输
3.1 BP神经网络
误差逆传播神经网络 (Back Propagation Neural Network，简记 作BP网络) 工程实际中运用最为 广泛的一种神经网络。
3.1 BP神经网络
• ①输入模式从输入层经隐含 层传向输出层的“模式顺传播” 过程 • ②网络的期望输出与实际输 出之差的误差信号由输出层经隐 含层向输入层逐层修正连接权的 “误差逆传播”过程 • ③由“模式顺传播”和“误 差逆传播”的反复交替进行的网 络“记忆训练”过程 • ④网络趋向收敛即网络的全 局误差趋向极小值的“学习收敛” 过程。
函数拟合： 使得输入 输出为 P1 = 1:2:200 T1 = sin(P1*0.1）
+ 为 真 实 值 ， o为 预 测 值 1 0.8 0.6 0.4 0.2 0 -0.2 -0.4 -0.6 -0.8 -1
0
10
20Leabharlann 304050
60
70
80
90
100
谢谢！！
智能信号处理
• 智能信号的处理方法 • 神经网络概念 • BP神经网络 • 神经网络的应用实例
1、智能信号处理方法
人工智能(Artificial Intelligence ， AI) ，是研究、 开发用于模拟、延伸和扩展人的智能的理论、方法、 技术及应用系统的一门新的技术科学。
快速脑 非逻辑脑 图像脑 右脑 慢速脑 逻辑脑 学术脑 左脑
2.2神经网络的互联模式
2）有反馈的前向网路 其结构如下图。输出层对输入层有信息反馈，这种网络可用于存储某 种模式序列。如神经认知机和回归BP网络都属于这种类型。
2.2神经网络的互联模式
3）层内有相互结合的前向网络 其结构如下图。通过层内神经元的相互结合，可以实现同一层内神经 元之间的横向抑制或兴奋抑制。这样可以限制每层内可以同时动作的 神经元素，或者把每层内的神经元分为若干组，让每一组作为一个整 体进行运作。例如，可以利用横向抑制机理把某层内具有最大输出的 神经元挑选出来，从而抑制其他神经元，使之处于无输出的状态。
以训练好的网络，对未知的样本进行预测。
3.2 BP神经网络设计要点
①输入、输出层节点 ②网络层数 ③激活函数的选择 ④隐含层节点数的确定 ⑤学习速率和冲量系数 ⑥网络的初始连接权值

输入层节点数：即实际问题中的因素个数，或称因变 量个数 初始值预处理：预处理方法有归一化处理、标准化处 理和主成分分析等。常采用的是归一化处理,即将输入、 输出数据映射到[-1,1]范围内,训练结束后再反映射到原 数据范围。
什么是智能信号处理？
心理活动的最高层级是思维策略，中间一层是初级 信息处理，最低层级是生理过程，即中枢神经系统、神 经元和大脑的活动，与此相应的是计算机程序、语言和 硬件。 研究认知过程的主要任务是探求高层次思维决策与 初级信息处理的关系，并用计算机程序来模拟人的思维 策略水平，而用计算机语言模拟人的初级信息处理过程。 这是智能信息处理的起源！
什么是智能？
智能可以是名词，也可以是形容词。 用作名词，智能是指人类所能进行的脑力劳动，包括感 觉、认知、记忆、联想、计算、推理、判断、决策、抽象、 概括…… 用作形容词，智能的意义是：人一样的、聪明的、灵活 的、柔性的、自学习的、自组织的、自适应的、自治的…… 智能理论的研究包括两方面：其一是对智能的产生、形 成和工作的机制的直接研究；其二是研究如何利用人工的方 法模拟、延伸和扩展智能。
2.3神经网络的学习方式
2）无监督学习：对于无监督学习，则无教师信号提 供给网络，网络能够根据其特有的结构和学习规则， 进行连接权值和域值的调整。此时，网络的学习评价 标准隐含于其内部。
智能信号处理
• 智能信号的处理方法 • 神经网络概念 • BP神经网络 • 神经网络的应用实例
3.1 BP神经网络
y
迭代次数加1
No
迭代终止？
y
BP神经网络的运行
包括两个阶段
训练或学习阶段（training or learning phase）
向神经网络提供一系列输入－输出数据组，通过数值计 算方法和参数优化技术，使节点连接的权重因子不断调整， 直到从给定的输入能产生所期望的输出。
预测（应用）阶段（generalization phase）
• 有导师的学习方式

输入量与输出量构成一个训练对
• 正向+反向的数据流学习过程

正向：输入层 反向：输出层
各级隐层 各级隐层
输出层 输入层
3.1 BP神经网络

BP神经网络是一种多层感知神经网络，采用误差反向 传递学习算法（Error Back Propagation），基本结 构包括输入层、中间层（隐含层）和输出层，每层都 由节点组成。
•Hebb学习规则：神经网络具有学习功能。对于人工神经 网络而言，这种学习归结为：若第 i 个和第 j 个神经元同 时处于兴奋状态，则它们之间的连接应当加强，即：
wij uiu j
2.2神经网络的互联模式
根据连接方式的不同，神经网络的神经元之间的连接有如下几种形式。 1）前向网络 前向网络结构如下图。神经元分层排列，分别组成输入层、中间层 （也称为隐含层，可以由若干层组成）和输出层。每一层的神经元只 接受来自前一层神经元的输入，后面的层对前面的层没有信号反馈。 输入模式经过各层次的顺序传播，最后在输出层上得到输出。感知器 网络和BP网络均属于前向网络。
y j f (u j )
2.1神经网络的概念
u j w ji xi w ji xi j
i 0 i 1 n n
( x0 j , w j 0 1)
y j f (u j )
j
x1
其中：
-1 w j1
. . w jn ) .
j为阈值
( ) f f (. )
图 12.2 生物神经元功能模型
2.1神经网络的概念
神经网络是人脑的某种抽象、简化和模拟，反映了人脑 功能的若干基本特性： （1）网络的信息处理由处理单元间的相互作用来实现， 并具有并行处理的特点。 （2）知识与信息的存储，表现为处理单元之间分布式的 物理联系。 （3）网络的学习和识别，决定于处理单元连接权系的动 态演化过程。 （4）具有联想记忆的特性。
2.3神经网络的学习方式
神经网络的学习也称为训练，指的是通过神经 网络所在环境的刺激作用调整神经网络的参数（权 值和域值），使神经网络以一种新的方式对外部环 境做出反应的一个过程。能够从环境中学习和在学 习中提高自身性能是神经网络的最有意义的性质。 根据学习过程的组织方式不同，学习方式分为两类： 有监督学习和无监督学习。
隐层节点数

目前理论上还没有一种科学的和普遍的确定方法，主要是 按经验选取。一些经验公式可以参考 N=输入节点*75% N=sqrt(输入*输出) 确定隐层节点数的最基本原则是： 在满足精度要求的前提下取尽可能紧凑的结构，即取尽可 能少的隐层节点数； 隐层节点数必须小于N-1（N为训练样本数）； 训练样本数必须多于网络模型的连接权数，一般为2~10倍。



激活函数：常采用Sigmoid型函数 学习速率：过大加快收敛，但会导致系统震荡。 初始权值选取：选择一组介于-0.5～0.5之间的值作为网 络初始权值。


3.3 BP神经网络的优缺点

优点：广泛的适应性和有效性
广泛应用于日常生活各个领域，包括材料性能预 测、环境污染防治系统建模、心理学预测、产品销 售预测、价格预测、市场供求分析、证券投资分析、 农业灾害预测等，并取得了良好的拟合结果。
性能（误差）函数
3.1 BP神经网络
初始化W
输入和期望输出 计算隐层和输出层的输出
调节输出层和隐层的连接权值
o o o k wkj (t 1) wkj (t ) pk O pj h o wkj (t 1) wh ji (t ) pj x pj
改变训练样板
No
训练样终止？
2.1神经网络的概念
1943年，美国心理学家Mc Culloch和数学家 Pitts共同提出“模拟生物神经元”的被称为MP的人 工神经元模型，从此开创了对神经网络的理论研究。