20030225-hejianhua-神经网络讲义-part3-感知机与Adline
合集下载
深度学习-神经网络PPT学习课件
神经网络的学习过程就是学习控制着空间变换方式（物质组成方式）的权重矩阵 W ， 那如何学习每一层的权重矩阵 W 呢？ 2.3.1、激活函数
激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络 仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价 的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性 映射学习能力。
线性可分视角：神经网络的学习就是学习如何利用矩阵的线性变换加激活函数的非 线性变换，将原始输入空间投向线性可分/稀疏的空间去分类/回归。
增加节点数：增加维度，即增加线性转换能力。 增加层数：增加激活函数的次数，即增加非线性转换次数。
2/29/2020
13
2.2.2、物理视角：“物质组成”
回想上文由碳氧原子通过不同组合形成若干分子的例子。从分子层面继续迭代这种 组合思想，可以形成DNA，细胞，组织，器官，最终可以形成一个完整的人。不同层级之 间都是以类似的几种规则再不断形成新物质。
2/29/2020
16
➢Sigmoid
sigmoid 是使用范围最广的一类激活函数，具 有指数函数形状，它在物理意义上最为接近生物神 经元。此外，(0, 1) 的输出还可以被表示作概率， 或用于输入的归一化，代表性的如Sigmoid交叉熵 损失函数。
然而，sigmoid也有其自身的缺陷，最明显的 就是饱和性。 软饱和激活函数：
2/29/2020
17
➢Tanh
➢ReLU
可以看到，当x<0时，ReLU硬饱和，
tanh也是一种非常常见的激活函数。 与sigmoid相比，它的输出均值是0， 使得其收敛速度要比sigmoid快，减少 迭代次数。然而，从途中可以看出， tanh一样具有软饱和性，从而造成梯 度消失。
激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络 仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价 的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性 映射学习能力。
线性可分视角：神经网络的学习就是学习如何利用矩阵的线性变换加激活函数的非 线性变换，将原始输入空间投向线性可分/稀疏的空间去分类/回归。
增加节点数：增加维度，即增加线性转换能力。 增加层数：增加激活函数的次数，即增加非线性转换次数。
2/29/2020
13
2.2.2、物理视角：“物质组成”
回想上文由碳氧原子通过不同组合形成若干分子的例子。从分子层面继续迭代这种 组合思想，可以形成DNA，细胞，组织，器官，最终可以形成一个完整的人。不同层级之 间都是以类似的几种规则再不断形成新物质。
2/29/2020
16
➢Sigmoid
sigmoid 是使用范围最广的一类激活函数，具 有指数函数形状，它在物理意义上最为接近生物神 经元。此外，(0, 1) 的输出还可以被表示作概率， 或用于输入的归一化，代表性的如Sigmoid交叉熵 损失函数。
然而，sigmoid也有其自身的缺陷，最明显的 就是饱和性。 软饱和激活函数：
2/29/2020
17
➢Tanh
➢ReLU
可以看到，当x<0时，ReLU硬饱和，
tanh也是一种非常常见的激活函数。 与sigmoid相比，它的输出均值是0， 使得其收敛速度要比sigmoid快，减少 迭代次数。然而，从途中可以看出， tanh一样具有软饱和性，从而造成梯 度消失。
神经网络专题ppt课件
(4)Connections Science
(5)Neurocomputing
(6)Neural Computation
(7)International Journal of Neural Systems
7
3.2 神经元与网络结构
人脑大约由1012个神经元组成，而其中的每个神经元又与约102～ 104个其他神经元相连接，如此构成一个庞大而复杂的神经元网络。 神经元是大脑处理信息的基本单元，它的结构如图所示。它是以细胞 体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞， 其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触 (Synapse，又称神经键)组成。
15
4.互连网络
互连网络有局部互连和全互连 两种。 全互连网络中的每个神经元都 与其他神经元相连。 局部互连是指互连只是局部的， 有些神经元之间没有连接关系。 Hopfield 网 络 和 Boltzmann 机 属于互连网络的类型。
16
人工神经网络的学习
学习方法就是网络连接权的调整方法。 人工神经网络连接权的确定通常有两种方法：
4
5. 20世纪70年代 代表人物有Amari, Anderson, Fukushima, Grossberg, Kohonen
经过一段时间的沉寂后，研究继续进行
▪ 1972年，芬兰的T．Kohonen提出了一个与感知机等神经 网络不同的自组织映射理论(SOM)。 ▪ 1975年，福岛提出了一个自组织识别神经网络模型。 ▪ 1976年C．V．Malsburg et al发表了“地形图”的自形成
6
关于神经网络的国际交流
第一届神经网络国际会议于1987年6月21至24日在美国加州圣地亚哥 召开，标志着神经网络研究在世界范围内已形成了新的热点。
常见神经网络模型演示PPT
感知器的分类边界是：
n
wixi 0
i1
4.2 常见神经网络模型
•4
一、感知器
在输入样本只有两个分量x1，x2时，则有分类边 界条件： 即 w1x1+w2x2-θ=0
4.2 常见神经网络模型
•5
一、感知器
感知器的学习算法： 感知器的学习算法目的在于找寻恰当的权系数w
＝(w1，w2，…，wn)，使系统对一个特定的样 本x＝(x1，x2，…，xn)能产生期望输出y。当x 分类为A类时，期望值y＝1；X为B类时，y=0。
4.2 常见神经网络模型 •27
三、Hopfield网络
•Hopfield网络的一个功能是可用于联想记忆，这是 人类的智能特点之一。人类的所谓“触景生情” 就是见到一些类同过去接触的景物，容易产生对 过去情景的回味和思忆。 •DHNN网络的能量极小状态又称为能量井，为信 息的存储记忆提供了基础。将要记忆的信息与能 量井一一对应，则当输入某一模式时，神经网络 就能通过状态转移实现联想记忆。
X
k i
f
(U
k i
)
U
k i
Wij
X
k 1 j
j
4.2 常见神经网络模型 •14
二、BP网络
BP网络的学习算法：
反向传播算法分二步进行，即输入信号正向传播和误差信号反向传播。 1．输入信号正向传播 输入的样本从输入层经过隐层单元一层一层进行处理，通过所有的隐 层之后，则传向输出层，每一层神经元的状态只对下一层神经元的状 态产生影响。 2．误差信号反向传播 在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望 输出，则进入反向传播过程。误差信号按原来正向传播的通路反向传 回，并对每个隐层的各个神经元的权系数进行修改，以望误差信号趋 向最小。
《计算机视觉》教学课件 第08章1-神经网络和深度学习1
➢蓝色圆圈
• 输入特征
➢添加了两个表示中间值的“隐藏层” ➢将输出表示为输入的函数并进行简化时
• 只是获得输入的另一个加权和
➢仍然是一个线性模型
• 无法解决非线性问题
2024/7/13
41
神经网络基本概念 – 非线性问题
➢“非线性”意味着无法使用形式为“b + w1x1 + w2x2”的模型准确预测标签
2024/7/13
28
C ONTENTS
01
引言
02 神经网络和深度学习简史
03
神经网络基本概念
04
深度学习基本概念
05
使用和训练神经网络
深度学习之前
2024/7/13
30
神经网络基本概念 – 生物神经网络
➢生物神经网络
• 一般指生物的大脑神经元、细胞、触点等组成的网络 • 用于产生生物的意识 • 帮助生物进行思考和行动
2024/7/13
16
神经网络和深度学习简史
➢1982年
• 著名物理学家John Hopfield发明了Hopfield神经网络
2024/7/13
17
神经网络和深度学习简史
➢Hopfield神经网络是一种结合存储系统和二元系统的循环神经网络
• 可以模拟人类的记忆 • 根据激活函数的选取不同，有连续型和离散型两种类型，分别用于优化计算和联想记忆 • 容易陷入局部最小值的缺陷，该算法并未在当时引起很大的轰动
2024/7/13
27
神经网络和深度学习简史
➢2016-2017年
• Google的AlphaGo • 4:1的比分战胜了国际顶尖围棋高手李世石 • 随后战胜了一众高手 • AlphaGo升级版AlphaGo Zero • “从零开始”、“无师自通”的学习模式 • 以100:0的比分轻而易举打败了之前的AlphaGo
• 输入特征
➢添加了两个表示中间值的“隐藏层” ➢将输出表示为输入的函数并进行简化时
• 只是获得输入的另一个加权和
➢仍然是一个线性模型
• 无法解决非线性问题
2024/7/13
41
神经网络基本概念 – 非线性问题
➢“非线性”意味着无法使用形式为“b + w1x1 + w2x2”的模型准确预测标签
2024/7/13
28
C ONTENTS
01
引言
02 神经网络和深度学习简史
03
神经网络基本概念
04
深度学习基本概念
05
使用和训练神经网络
深度学习之前
2024/7/13
30
神经网络基本概念 – 生物神经网络
➢生物神经网络
• 一般指生物的大脑神经元、细胞、触点等组成的网络 • 用于产生生物的意识 • 帮助生物进行思考和行动
2024/7/13
16
神经网络和深度学习简史
➢1982年
• 著名物理学家John Hopfield发明了Hopfield神经网络
2024/7/13
17
神经网络和深度学习简史
➢Hopfield神经网络是一种结合存储系统和二元系统的循环神经网络
• 可以模拟人类的记忆 • 根据激活函数的选取不同，有连续型和离散型两种类型，分别用于优化计算和联想记忆 • 容易陷入局部最小值的缺陷，该算法并未在当时引起很大的轰动
2024/7/13
27
神经网络和深度学习简史
➢2016-2017年
• Google的AlphaGo • 4:1的比分战胜了国际顶尖围棋高手李世石 • 随后战胜了一众高手 • AlphaGo升级版AlphaGo Zero • “从零开始”、“无师自通”的学习模式 • 以100:0的比分轻而易举打败了之前的AlphaGo
人工神经网络.pdf
更新
y(t )(w(t − 1) ∗ x(t )) > 0 . y(t )(w(t − 1) ∗ x(t )) ≤ 0
（ x (t ) 分错）
控制收敛速度的参数
5.1 感知机
学习算法收敛性：
对线性可分的数据有下面的定理。
定理(Novikoff)：假设训练数据有界 x(i ) ≤ D， 两类样本的最大边界距离(maximal margin)为 2ρ （线性SVM）。则当学习速度参数η = 1 时， 2 次更新就会收敛。 D 感知机学习算法至多做
x2
x1 0 0 1 1
A
B
B
A
x1
5.2 多层感知机
解决XOR问题
x2
A
B
B
A
x1
5.2 多层感知机
两层神经网络解决XOR问题的真值表
第一层
x1 0 0 1 1
x2 0 1 0 1
y1 0 1 1 1
y2 0 0 0 1
第二 层 B(0) A(1) A(1) B(0)
y2
B
BLeabharlann Ay15.2 多层感知机
5.2 多层感知机
例: (XOR问题)
问题的提出以及重要性：
1956-1958年Rosenblatt提出感知机，是为了实现 另一种形式（模拟）的计算机。与数字计算机形 成鲜明对照。 数字计算机是用逻辑门电路实现的。逻辑门电路 的设计：AND, OR, NOT; 实际上，数字计算机的所有逻辑电路都是用XOR 门实现的。
MLPs具有一致逼近能力，因此可以学习这个函 数，也就解决了XOR问题。后面要讲到的RBF网 络也是一致逼近子，也可以解决XOR问题。
y(t )(w(t − 1) ∗ x(t )) > 0 . y(t )(w(t − 1) ∗ x(t )) ≤ 0
（ x (t ) 分错）
控制收敛速度的参数
5.1 感知机
学习算法收敛性：
对线性可分的数据有下面的定理。
定理(Novikoff)：假设训练数据有界 x(i ) ≤ D， 两类样本的最大边界距离(maximal margin)为 2ρ （线性SVM）。则当学习速度参数η = 1 时， 2 次更新就会收敛。 D 感知机学习算法至多做
x2
x1 0 0 1 1
A
B
B
A
x1
5.2 多层感知机
解决XOR问题
x2
A
B
B
A
x1
5.2 多层感知机
两层神经网络解决XOR问题的真值表
第一层
x1 0 0 1 1
x2 0 1 0 1
y1 0 1 1 1
y2 0 0 0 1
第二 层 B(0) A(1) A(1) B(0)
y2
B
BLeabharlann Ay15.2 多层感知机
5.2 多层感知机
例: (XOR问题)
问题的提出以及重要性：
1956-1958年Rosenblatt提出感知机，是为了实现 另一种形式（模拟）的计算机。与数字计算机形 成鲜明对照。 数字计算机是用逻辑门电路实现的。逻辑门电路 的设计：AND, OR, NOT; 实际上，数字计算机的所有逻辑电路都是用XOR 门实现的。
MLPs具有一致逼近能力，因此可以学习这个函 数，也就解决了XOR问题。后面要讲到的RBF网 络也是一致逼近子，也可以解决XOR问题。
神经网络算法的ppt课件
神经网络的反向分散学习算法
神经网络的反向分散学习算法
神经网络的反向分散学习算法
神经网络的反向分散学习算法
神经网络的反向分散学习算法
动态网络——Hopfield网络
假设按照神经网络运转过程中的信息流向来分类， 那么一切网络都可分为前馈式网络和反响式网络，在前 一章中，主要引见了前馈式网络经过许多具有简单处置 才干的神经元的复协作用使整个网络具有复杂的非线性 映射才干。在那里，着重分析了网络学习算法，研讨的 重点是怎样尽快地得到网络的整体非线性处置才干。在 本章中，我们将集中讨论反响式网络，经过网络神经元 形状的变化而最终稳定于某一形状而得到联想存贮或神 经计算的结果。在这里，主要关怀的是网络稳定性的问 题，研讨的重点是怎样得到和利用稳定的反响式网络。
联想的定义
首先思索x类方式向量集合 (x1, x2, … , xp〕 及y类方式向量集合 (y1, y2, … , yp)， 其中 xi=(x1i, x2i,… , xni ) ， xi {-1, +1}n yi=(y1i, y2i,… , ymi ) ， yi {-1, +1}m
联想的定义
定义3 吸引子的吸引域 对于某些特定的初始形状，网络按 一定的运转规那么最后能够都稳定在同一吸引子v(t)上。称可 以稳定在吸引子v(t)的一切初始形状集合为v(t)的吸引域。
Hopfield网络的联想原理
E= mc2 Newt
Newy
Einstan Newton
Newyear
Hopfield网络的联想原理
f1(x) = f2 (x) = … = fn (x) = sgn (x) 为以后分析方便，我们选各节点门限值相等，且等于0 ，即有 1= 2 = … = n = 0 同时，x = (x1, x2, …, xn )， x {-1, +1}n 为网络的输出， y = (y1, y2, …, yn )， y {-1, +1}n 为网络的输出 v (t) = (v1(t1), v2(t2), …, vn(tn)), v (t) {-1, +1}n 为网络在时辰 t的形状， 其中t (0，1，2，…)为离散时间变量，Wij为从Ni到Nj的衔接 权值， Hopfield网络是对称的，即Wij = Wji ，i, j {1,2, …, n} 。
Chapter3ADALINENetworks
实用标准文案 精彩文档 Chapter 3 ADALINE Networks
ADALINE: ADAptive Linear NEuron 一、Introduction B. Widrow and M. Hoff, 1960: 线性激活函数+LMS (Least Mean Square) 学习算法。 1. 网络结构
niiixwy1
where T1),,(nwww T1),,(nxxx
一般：xwT01niiiniiixwxwy， T10),,,(nwwww，T10),,,1(nxxxx
应用：分类；自适应滤波：自适应噪声消除（长途电话回声消除）、自适应信道均衡
2. 分类性能 （线性分类器） 感知器 ADALINE网络
声敏感不是好的分类器、对噪仅可用于线性可分
缺点：
1class 2class
Class1 Class2 非线性可分
决策边界仍存在
1class 2class
介于两类之间
线性可分
nw 1w 0 nx 2x
y
1x 实用标准文案
精彩文档 二、LMS学习算法 (Least Mean Square) 随机梯度法、Widrow-Huff学习算法 1. Mean Square Error
设t,x是随机抽取的训练样本，其中 Input: nRx, Target output: filtering adaptivefor R,tionclassificafor ,1 t 均方误差 2T22)(Ey)-(tEE)(Fxwwte
Goal: 求]E[)F(minarg2eww
2. 求精确解w Solution: ])E[()(F2Txwwt
=]2E[TTT2wwxxxwtt =wxxwxw]E[]E[2]E[TTT2tt =wwhwR2]E[TT2t where ]E[Txxh—输入x与输出t的互相关向量；
神经网络与深度学习ppt课件
对大量同类的图像样本迚行学习找出这些图像所有的产生了颜色突变本让机器对这些样本迚行学习并最织生成一个对象识别模型用来正确寻找一幅图像中你所需要寻找的元素
神经网络 & 深度学习 基础知识
1
图像的特征
计算机图像是由一定数量的点阵像素构成的。如上所示，我们看到的 是一辆车，但实际上计算机理解的是一个由各像素点的灰度值组成的 矩阵，它并不能直接理解“这是一辆车”。
感知器的本质就是对各个输入量的加权和进行分析，做出 Yes or No 的决策的模型。
12
上述你考虑的三个因素可以作为感知器的三个输入量 x1, x2, x3，并设积极的结果为 1，消极的结果为 0。三者都有对 应的权重量w1, w2, w3。现计算它们的加权和 w1x1 + w2x2 + w3x3，同时加上一个偏差值 b。若其为正（大于 0）， 则最终的回答是 Yes，否则（小于或等于 0）回答 No。
这涉及到一个现象：颜色突变。上图所圈出的区域中，都是颜色变化较大的区 域。而我们就会自然地认为，这是物体的边缘，而由封闭边缘构成的区域就是 物体。
不仅是房子这个整体，房子里的门、窗户等元素我们都能发现，而原因自然也 是颜色突变。
思考：人能看见绝对透明（100% 透明）的玻璃吗？
6
我们定义一个形状的时候，本质 上就是在定义其产生颜色突变的 像素点的大致相对位置。比如圆， 在一个直角坐标系的图象上上， 存在所有满足 (x-a)2+(y-b)2=r2 条件的坐标点的某个小邻域内有 较大的颜色突变，那么这幅图像 上就有一个圆的形状。左上方是 一幅色盲测试图，不色盲的朋友 都能看到左下角有一个蓝色的圆， 而且是一个空心圆。
但是这里有一个问题，我们目前的决策是非此即彼的，非 常机械化的决策。比如一个数字 9，如果下方的那一撇写 得不弯，变成了一条直线，那是不是这个数字就不是 9 了 呢？我们是不是应该有一个过渡的过程呢？
神经网络 & 深度学习 基础知识
1
图像的特征
计算机图像是由一定数量的点阵像素构成的。如上所示，我们看到的 是一辆车，但实际上计算机理解的是一个由各像素点的灰度值组成的 矩阵，它并不能直接理解“这是一辆车”。
感知器的本质就是对各个输入量的加权和进行分析，做出 Yes or No 的决策的模型。
12
上述你考虑的三个因素可以作为感知器的三个输入量 x1, x2, x3，并设积极的结果为 1，消极的结果为 0。三者都有对 应的权重量w1, w2, w3。现计算它们的加权和 w1x1 + w2x2 + w3x3，同时加上一个偏差值 b。若其为正（大于 0）， 则最终的回答是 Yes，否则（小于或等于 0）回答 No。
这涉及到一个现象：颜色突变。上图所圈出的区域中，都是颜色变化较大的区 域。而我们就会自然地认为，这是物体的边缘，而由封闭边缘构成的区域就是 物体。
不仅是房子这个整体，房子里的门、窗户等元素我们都能发现，而原因自然也 是颜色突变。
思考：人能看见绝对透明（100% 透明）的玻璃吗？
6
我们定义一个形状的时候，本质 上就是在定义其产生颜色突变的 像素点的大致相对位置。比如圆， 在一个直角坐标系的图象上上， 存在所有满足 (x-a)2+(y-b)2=r2 条件的坐标点的某个小邻域内有 较大的颜色突变，那么这幅图像 上就有一个圆的形状。左上方是 一幅色盲测试图，不色盲的朋友 都能看到左下角有一个蓝色的圆， 而且是一个空心圆。
但是这里有一个问题，我们目前的决策是非此即彼的，非 常机械化的决策。比如一个数字 9，如果下方的那一撇写 得不弯，变成了一条直线，那是不是这个数字就不是 9 了 呢？我们是不是应该有一个过渡的过程呢？
第三章 多层感知器神经网络(1)
络来实现“异或”运算。
10
神经网络的发展历程
神经网络的发展历性的热潮，
分别是1943年的神经网络的诞生、1983年的神经网络的复兴及2006年的深度学习
的崛起。
➢ 神经网络的诞生（1943—1969年）
➢ 在1943年，心理学家Warren McCulloch和数学家Walter Pitts和最早
➢ 我们主要关注采用误差反向传播进行学习的神经网络，神经元之间的连接权重就是 需要学习的参数，可以在机器学习的框架下通过梯度下降法来进行学习。作为对人 工神经网络的初步认识，本章主要介绍感知器神经网络和反向传播网络。
2
第一节
感知器及其发展过程
3.1
感知器及其发展过程
感知器及其发展过程
➢ 1943年，McCulloch和Pitts发表了他们关于人工神经网络的第一个系统研究。 ➢ 1947年，他们又开发出了一个用于模式识别的网络模型——感知器，通常就叫作
➢ Rosenblatt [1958]最早提出可以模拟人类感知能力的神经网络模型，
并称之为感知器（Perceptron），并提出了一种接近于人类学习过程
（迭代、试错）的学习算法。
11
神经网络的发展历程
神经网络的发展历程（二）
神经网络之后经历了长达10年的冷落期，主要由于当时基本感知机无法处理异或 回路，并且计算机处理能力还非常有限。1974年，哈佛大学的Paul Webos发明反向 传播算法，但当时没有收到重视。随后几年，反向传播算法引起了新的复兴。
描述了一种理想化的人工神经网络，并构建了一种基于简单逻辑运算的
计算机制。他们提出的神经网络模型称为MP模型。
➢ 阿兰·图灵在1948年的论文中描述了一种“B型图灵机”。(赫布型学习)
神经网络与深度学习讲义20151211
21 15 -1 ： 20 间 编 译 时
1 2 3 3 3 3 4 4 5 5 6 6 6 7 7 7 9 10 10
总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1
向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
神经元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.1.1 激活函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
第二章 数学基础
0
II 3.1.1 3.1.2 3.1.3 3.1.4 3.2 3.3 损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 机器学习算法的类型 . . . . . . . . . . . . . . . . . . . . . . . . . . 机器学习中的一些概念 . . . . . . . . . . . . . . . . . . . . . . . . . 参数学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1 2 3 3 3 3 4 4 5 5 6 6 6 7 7 7 9 10 10
总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1
向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
神经元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.1.1 激活函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
第二章 数学基础
0
II 3.1.1 3.1.2 3.1.3 3.1.4 3.2 3.3 损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 机器学习算法的类型 . . . . . . . . . . . . . . . . . . . . . . . . . . 机器学习中的一些概念 . . . . . . . . . . . . . . . . . . . . . . . . . 参数学习算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .