系统辨识第5章 统计学方法预备知识 (精简版)杨骏涛
统计学复习知识点
（1）抽样方法
（2）常见的抽样组织形式
3
抽样分布
掌握
（1）抽样分布的概念、类型
（2）常用统计量的抽样分布
第五章小结：了解常见离散型、连续型随机变量的概率分布，以及抽样分布的概念、类型、常用统计量的抽样分布。
重点：常用统计量的抽样分布。
难点：概率分布。
六
抽样估计
5
1
优良估计的标准
了解
（1）无偏性、有效性、一致性
难点：统计学的含义、统计学与统计数据的关系、统计学的基本概念。
二
统计数据的搜集与整理
5
1
统计数据的搜集
熟悉
（1）统计数据搜集的意义与基本要求。
（2）统计数据搜集方式与方法
（4）统计数据搜集方案的主要内容。
2
统计数据的整理
熟悉
（1）统计数据整理的意义。
（2）统计分组的意义与关键。
（2）统计学的研究对象与性质：统计学是研究如何搜集、整理和分析统计数据的方法科学，目的是探索客观现象内在的数量规律。
（3）统计学的分科：描述统计学与推断统计学；理论统计学与应用统计学。
3
统计学中的几个基本概念
掌握
（1）总体、总体单位及其相互关系。
（2）标志、指标及其相互的联系与区别。
（3）变量的概念与数据的计量尺度。
（3）计算和应用平均指标应注意的问题。
2
分布离散程度的测度——变异指标
掌握
（1）变异指标的意义。
（2）变异指标的种类及计算：全距、平均差的概念及其计算方法；标准差的概念、计算方法及其运用；变异系数的计算方法及其运用。
3
分布偏态与峰度的测度
了解
（1）偏态系数的计算；峰度系数的计算
《初级实用统计方法》——主题一 统计预备知识
(三) 编辑数据 • 1. 创建工作表数据 • 2. 管理工作表
知识四 与统计相关的Excel软 件知识
• (四) 修饰工作表 • 1. 数字修饰 • 2. 行高和列高 • 3. 对齐 • 4. 边框和颜色 • (五) 公式、函数与图表 • 1. 公式 • 2. 函数 • 3. 图表
3、统计推断法 是在一定置信程度（即可靠程度）下，根据样本资料 的特征对总体特征作出估计和预测的方法。统计推断 是现代统计学的基本方法。
结束
知识四 与统计相关的Excel软 件知识
一、统计方法与计算机学科的关系 二、与统计相关的Excel知识介绍 (一) Excel界面中的几个基本概念
知识四 与统计相关的Excel软 件知识
工作与工作成果关系
实践与理 论关系
知识一 统计功能与课程学习 要求
二 、哪些工作经常用到统计方法
• (1) 需要收集大量数据的工作 • (2) 需要进行数据处理的工作 • (3) 需要进行数据分析的工作
知识一 统计功能与课程学习 要求
• 三、“初级实用统计方法”的学习要求
• (一) 要求掌握的统计知识程度
知识二 几个重要的统计术语
• 二、 字段、字段名、记录、变量、常量
• (一) 定义
• 字段是反映总体单位特征的栏目，每个栏目的 标题称为字段名，也称标志。 字段按其数据的性质不同可分为字符型、数值 型、日期型和逻辑型四种类型。 记录是每一行的具体内容，记录中的每一格内 容称为常量，也称标志值，每个字段中的具体内 容是变化的，所以字段也称为变量，标志值也称 为变量值。
《系统辨识》Ppt01-2016-09-24
2004.10– 2006.03–2006.05 2006.12–2007.02 2008.05–2008.12 2009.01–2009.10
江南大学“太湖学者”特聘教授、 硕士生导师、 博士生导师 香港科技大学研究员, 中国香港 加拿大渥太华 卡尔顿大学 (Carleton University)研究员 加拿大渥太华 卡尔顿大学(Carleton University)访问教授 加拿大多伦多 瑞尔森大学 (Ryerson University)研究员 数学建模; 系统辨识; 参数估计; 过程控制
令矩阵范数 X
t
2
:= tr[XX T]. 定义二次损失函数
J (θ ) :=
j =1
[y (j ) − ϕT(j )θ ]2 = (Yt − Htθ )T(Yt − Htθ ) = Yt − Htθ 2,
T = −2Ht (Yt − Htθ ) T ˆ (t) = H TYt. Ht)θ = 0. =⇒ (Ht t
Ht−1 T = Ht Ht−1 + ϕ(t)ϕT(t) T − 1 ϕ (t) (5)
= P −1(t − 1) + ϕ(t)ϕT(t), ˆ (t) = (H THt)−1H TYt = P (t)H TYt = P (t)[H T Yt−1 + ϕ(t)y (t)] θ t t t t−1
T = P (t)[P −1(t − 1)P (t − 1)Ht −1 Yt−1 + ϕ(t)y (t)]
系统:
y (t) + a1y (t − 1) + a2y (t − 2) + · · · + any (t − n) = b1u(t − 1) + b2u(t − 2) + · · · + bnu(t − n) + v (t). (2)
系统辩识基础知识点
系统辨识根底复习资料知识点汇总：1.所谓系统，按通常的意义去理解，就是按某种相互依赖关系联系在一起的客体的集合。
2.所谓系统辨识，利用对未知系统的试验数据或在线运行数据〔输入/输出数据〕以及原理和原则建立系统的〔数学〕模型的科学。
3.系统辨识的步骤：〔1〕先验知识和建模目的的依据；〔2〕实验设计；〔3〕结构辨识；〔4〕参数估量；〔5〕模型适用性检验。
4.系统的数学模型，描述系统输入与输出之间数量关系的数学表达式称为系统的数学模型。
5. 目前最流行的操纵系统辅助工具是Matlab。
6.机理分析和系统辨识相结合建模方法也称为“灰箱问题〞。
7.机理建模这种建模方法也称为“白箱问题〞。
8.频谱覆盖宽、能量均匀分布是白噪声信号的特点。
9.最小二乘法辨识方法不属于系统辨识的经典方法。
10.关于多阶最小二乘法，描述错误的选项是计算简单，计算量小，只用五步根本的最小二乘法可获得较好的结果。
11.渐消记忆法是指对旧数据加上遗忘因子，按指数加权来使得旧数据的作用衰减。
12.脉冲响应数学模型属于非参数型。
13.检验模型的标准是模型的实际效果，检验应从不同的侧面检验其可靠性。
14.与周期测试信号相比，阶跃响应法不能够比拟精确地反映对象的动态特性。
15.闭环系统前向通道的阶次不是可辨识的。
16.使辨识系统可被辨识的X要求是辨识时间内系统的动态必须被输入信号延续鼓励。
17.观测数据内容不属于系统辨识的根本内容。
18.输入数据不属于系统辨识过程中的3大要素。
19.棕箱不属于按提供的实验信息分类的建模方法。
20.数学建模不属于现代操纵论的三大支柱。
21.不属于传递函数辨识的时域方法的是时间图索法。
22.关于递推算法收敛性的结论错误的选项是递推辅助变量法收敛于非真值。
23.设A为n×n矩阵，B为n×m矩阵，C为m×n矩阵，并且A，A+BC和I+CA-1B 都是非奇异矩阵，则以下等式横成立的是A+BC-1=A-1-A-1BI+CA-1B]-1CA-1。
系统辨识方法
系统辨识⽅法第四章系统辨识中的实际问题§4 —1 辨识的实验设计⼀、系统辨识的实验信号实验数据是辨识的基础，只有⾼质量的数据才能得出良好的数学模型，⽽且实验数据如果不能满⾜起码的要求，辨识根本得不出解。
系统辨识学科是在数理统计的时间序列分析的基础上发展起来的，两者的区别在于系统辨识的对象存在着⼈为的激励（控制）作⽤，⽽时序分析则没有。
因此，前者能通过施加激励信号u(k)达到获得较好辩识结果的⽬的（即实验信号的设计），⽽后者不能。
（⼀）系统辨识对实验信号的最起码的要求为了辨识动态系统，激励信号u 必须在观测的周期内对系统的动态持续地激励。
满⾜辨识对激励信号最起码的要求的持续激励信号应具备的条件称“持续激励条件”，分以下四种情况讨论： 1．连续的⾮参数模型辨识（辩识频率特性）如果系统通频带的上下限为ωmin ≤ ω ≤ ωmax ,要求输⼊信号的功率密度谱在此范围内不等于零。
)()()}({)}({)(ωωωj U j Y t u F t y F j G ==2．连续的参数模型辨识被辩识的连续传函为，共包含(m+n+1)个参数对于u(t)的每⼀个频率成分ωi 的谐波，对应的频率响应有⼀个实部R(ωi )和⼀个虚部Im(ωi )，由此对应两个关系式（⽅程），能解出两个未知参数。
因此，为辩识(m+n+1)个参数，持续激励信号⾄少应包含：j ≥( m+n+1 )/2 个不同的频率成分。
3．离散的脉冲响应 g(τ)的辨识g(τ) ;τ = 0,1,..m ，假设过程稳定，当τ > m 时 g(τ)= 0 。
由维纳—何甫⽅程有：R uy (τ )=∑ g(σ)R uu (τ - σ) 式(4-1-1)由上式得出(m+1)个⽅程的⽅程组:上式表达成矩阵形式φuy = φuu G 式（4-1-2）可解出 G = φuu -1 φuy 式（4-1-3）G s b b s b s a s a s m mn n ()=++++++0111R R R m R R R m R R R m R m R m R g g g m uy uy uy uu uu uu uu uu uu uuuu uu ()()()()()()()()()()()()()()()010******** =----?G = [ g(0),…,g(m) ]T 有解的条件是:如果所有的输出⾃相关函数式(4-1-4)都存在,且⽅阵φuu ⾮奇异, 即det φuu ≠ 0 。
统计学ppt课件pptx2024新版
明确图表主题和目的
观察数据特征和趋势
在解读图表前，首先要明确图表的主题和 所要表达的信息。
注意图表中的数据特征和趋势变化，如最 大值、最小值、平均值、波动情况等。
比较不同组别或时间点的数据
结合实际情况进行分析
通过比较不同组别或时间点的数据，可以 发现数据之间的差异和变化规律。
在解读图表时，要结合实际情况进行分析 ，考虑数据的背景、影响因素等。
Tableau
专业的数据可视化工具，支持多种数 据源和交互式操作，适合数据分析师 使用。
Power BI
微软推出的商业智能工具，支持数据 整合、分析和可视化，适合企业级用 户使用。
R语言与ggplot2包
强大的数据分析和可视化工具，支持 高度自定义和扩展性，适合专业数据 分析师和科研人员使用。
统计图表解读技巧
统计学ppt课件pptx
目录
• 统计学基本概念与原理 • 描述性统计方法 • 推论性统计方法 • 非参数统计方法 • 统计图表展示与解读 • 统计软件操作实践
01
统计学基本概念与原理
Chapter
统计学定义及作用
统计学的定义
统计学是一门研究如何收集、整理、 分析、解释和呈现数据的科学。
统计学的作用
著差异。
应用
符号检验常用于单个样本或配对样本的比较。例如，在质量控制中，可以用于判断产品 某项指标是否符合标准要求；在经济学研究中，可以用于比较不同政策实施前后经济指
标的变化情况。
游程检验原理及应用
原理
游程检验是一种基于游程数的非参数检验方法。游程是指样本序列中连续出现同一符号的序列段。通 过计算游程数，判断样本序列的随机性，从而推断总体分布是否存在显著差异。
统计学知识点全归纳__全面准确
统计学知识点全归纳__全面准确统计学是一门研究和应用统计原理和方法的学科。
统计学的目的是通过收集、整理、分析和解释数据来描述和推断人类活动中的规律性和不确定性。
下面将全面准确地归纳统计学的基本知识点。
1.数据收集和整理-数据的收集方法：可以通过抽样或完全普查进行数据收集。
抽样是从总体中选择一部分样本进行调查或实验，以此来推断总体的特征。
2.描述统计-数据的概括性度量：包括测量中心趋势的平均数（如算术平均值、中位数和众数）、测量离散程度的方差和标准差、测量数据分散程度的四分位数等。
-数据的可视化表示：可以使用直方图、箱线图、散点图、饼图等图表来展示数据的分布和关系。
3.概率与随机变量-概率的概念：概率是描述事件发生可能性的数值，范围从0到1、事件的概率可以通过频率或基于概率模型推断得到。
-随机变量：随机变量是随机试验结果的数值表示。
可以分为离散随机变量和连续随机变量。
4.概率分布-离散分布：包括二项分布、泊松分布等。
二项分布描述了一次试验中两个可能结果的概率分布，泊松分布描述了随机事件在固定时间或空间区域内发生的次数的概率分布。
-连续分布：包括正态分布、指数分布等。
正态分布是最常见的连续概率分布，它以钟形曲线显示数据的分布情况。
-概率密度函数和累积分布函数：概率密度函数描述了随机变量落在一些区间内的概率密度，累积分布函数描述了随机变量小于或等于一些值的概率。
5.抽样分布和统计推断-抽样分布：根据中心极限定理，当样本容量足够大时，样本均值的抽样分布会近似服从正态分布。
-参数估计：通过样本统计量（如样本均值、样本方差）来推断总体参数的数值。
-假设检验：用来检验一个关于总体参数的假设是否成立。
根据样本数据和给定的显著性水平，对假设进行接受或拒绝的判断。
6.相关分析和回归分析-相关分析：用来研究两个变量之间的关系。
可以通过计算相关系数（如皮尔逊相关系数）来衡量两个变量之间的线性相关程度。
-回归分析：用来研究一个或多个自变量与因变量之间的关系。
初级统计复习笔记整理—统计学基础知识
第一章统计学和数据第一节统计学的含义及其应用统计学：关于数据的一门学问所关注的是大量可重复事物现象数量特征总体：研究的全部个体或数据的集合往往只有一个，特征唯一确定的，但未知的样本：从总体中抽取的一部分元素构成的集合不唯一，不确定，特征已知的样本量n：构成样本的元素的数目统计方法：描述统计：搜集、处理和描述推断统计：利用样本数据推断总体特征（参数估计和假设检验）第二节统计学发展简史古典统计学：国势学派—H·康令“显著事项”、有统计学之名，无统计学之实政治算术学派—威廉·配第（统计学创始人），有统计学之实，无统计学之名近代统计学：A·凯特勒（统计学之父）现代统计学：哥塞特—推断统计学先驱者费雪—推断统计学建立者第三节变量与数据观察数据：客观现象．．．．观测得到无人为控制和条件约束实验数据：科学实验环境下得到的数据第四节数据的搜集↓↓↓直接来源（一手数据/原始数据）：统计调查（观测数据）实验（实验数据）：实验组和对照组的产生是随机的，匹配的。
间接来源（二手数据/次级数据）：由其他人搜集和整理得到的统计数据公开出版的数据未公开发表的数据网络爬取的数据搜集数据方式：1.询问（访谈）：面访（面对面交谈）、邮寄、计算机辅助电话调查、座谈会、个别深入访谈2.观察实验：观察法（调查对象没有意识到的情况下）、实验法第五节数据的误差↓抽样误差：不可避免，概率抽样中能计量并控制．．．．．．总体内部差异越大，误差越大样本容量越大，误差越小重复抽样误差大于不重复抽样，分层抽样误差小于其他抽样非抽样误差：不能通过增大样本量加以控制抽样框误差，应答误差，无回答误差，计量误差（登记错误）第二章 数据描述第一节用统计量描述数据集中趋势平均数．．．①② 受极端值影响 主用于数值型数据 数据对称分布时应用 中位数．．．③/分位数．．．④ 不受极端值影响．．．．．．．主用于顺序数据．．．．．．． 数据分布偏斜程度较大时应用众数．．⑤ 主用于分类数据中位数不能用于分类数据．．．．．．．．．．．众数、中位数和平均数的关系：均值在哪边就是往哪边偏众数中位数均值对称分布众数中位数均值 左偏分布．．．．众数中位数均值右偏分布．．．．公式① 算术平均数简单平均数（未分组）：x =x 1+x 2+ ···+x nn =∑x in i=1n加权平均数（分组）：x=x 1f 1+x 2f 2+ ···+x k f kf 1+f 2+ ···+f k=∑x i f i k i=1∑f ik i=1有分组取组中值为平均数，若有开口组， 上开口组．．．．：组中值=该组上限-（下组上限-下组下限）/2 下开口组．．．．：组中值=该组下限-（上组上限-上组下限）/2② 几何平均数简单（每个数据只出现一次）：G =√x 1·x 2·… ·x n n=√∏x n加权（每个数据出现不止一次）：G =√x 1f 1·x 2f 2·… ·x n f n f 1+f 2+···+f n =√∏x f ∑f x③ 中位数 n 是奇数：M e=x n+12n 是偶数：M e =12[x(n 2)+x (n 2+1)]下限公式：M e=L +∑f2−S m−1f m·dL ：中位数所在组上限 ∑f ：各组频数之和 S m−1：中位数所在组以前各组的累计频数 d ：中位数所在组组距 上限公式．．．．：M e =U −∑f2−S m+1f m·dU ：中位数所在组下限 f m ：中位数所在组的频数 S m+1：中位数所在组以后各组的累计频数④ 分位数：Q L =(n +1)/4 Q M =2(n +1)/4 Q U =3(n +1)/4⑤ 众数下限公式：M 0=L +∆1∆1+∆2·d 上限公式：M 0=U −∆2∆1+∆2·d∆1：众数所在组的频数与前一组频数之差 ∆2：众数所在组的频数与后一组频数之差公式⑥异众比率V r=1−f0∑f i（f0：众数组的频数）⑦极差/全距R=max(x i)−min (x i)⑧四分位距：Q d=Q U−Q L⑨平均差未分组：MAD=∑|x i−x|n已分组：MAD=∑|x i−x|f∑f⑪离散系数总体：Vσ=σx̅样本：V s=sx̅⑫标准分数z i=x i−x̅sz的均值=0 标准差s=1（z=1.2，说明观察值比平均值大1.2倍s）偏态系数（SK）⑬峰值系数（K）⑭SK=0对称SK<0左偏SK>0右偏正态分布K<0扁平分布K>0尖峰分布公式⑬偏态系数未分组：SK=n∑(x i−x̅)3 (n−1)(n−2)s3已分组：SK=n∑(M i−x̅)3f ins3⑭峰态系数未分组：K=n(n+1)∑(x i−x̅)4−3[∑(x i−x̅)2]2(n−1) (n−1)(n−2)(n−3)s4已分组：K=∑(M i−x̅)4f ins4−3第二节用表格描述数据频数分布表分组→频数分组数K=1+log(n) log(2)K：组数n：数据个数2K>n组距=全距/组数各组组距=上限-下限各组组中值=（上限+下限）/2等距数列：每一组距相等，研究的现象变动比较均匀．．．．．．．．．．．不等距/异距数列：每一组距不全相等，研究的对象变动分布均匀，波动幅度很大．．．．．．“上限不在内”原则第三节用图形描述数据1.直方图用矩形面积表示各组频数分布（面积之和．．．）．．．．=．总频数对于不等距分组，纵轴必须表示为频数密度（频数．．）．．．．．．．．/．组距2.箱线图找5个特征点：最大值、最小值、中位数、两个四分位数3.茎叶图类似横置直方图，既反映数据分布，又保留原始数据大致信息4.折线图5.气泡图6.雷达图（蜘蛛图）：总的绝对值与图形所围成的区域成正比．．．．．．．．．．．．．．．．．Array 7.散点图：观．察两个变量之间的相关程度和类型最直观的方法．．．．．．．．．．．．．．．．．．．．．8.条形图9.饼图：主要用于结构性问题研究10.环形图：反映多个样本（或总体）之间的结构差异11.帕累托图：双直接坐标系表示，左边纵坐标表示频数，右边纵坐标表示频率，分析线表示累计频率按各类别数据出现的频率排序（降序），并画出累计百分比双直角坐标系表示第三章参数估计第一节统计量与抽样分布一、统计量的抽样分布统计量：对样本数量特征的概括性度量不含任何未知参数的样本的函数是一个随机变量不同样本可算出不同的统计量值抽样分布：样本统计量的概率分布仅仅是一种理论分布提供了样本统计量长远而稳定的信息，构成推断总体参数的理论基础点估计：用样本统计量的某个实际取值作为相应的总体参数的估计值的过程常用——用样本均值x̅估计总体均值μ用样本比例p估计总体比例π用样本方差s2估计总体方差σ2总体参数是未知的，但可以利用样本信息来推断。
统计学第一章总论新
综合指标法：将大量观察所得的资料进行加工、汇总，就可以得到反映现象总体一般数量特征的综合指标，运用各种综合指标对现象总体的数量方面进行分析，这种分析方法叫综合指标法。
01
常用的综合指标有三类：
02
总量指标、相对指标和平均指标。
在这三类指标的基础上展开统计分析的具体形式有：
对比分析、平均分析、变异分析、动态分析、指数分析、经济模型分析（包括相关回归分析、平衡分析和预测分析）。
02
01
构成统计总体的两个条件：
02
客观存在；
03
在某一个（些）方面性质相同（即同质性）。
统计总体的基本特征：
大量性；（2）同质性；（3）差异性。
统计总体的种类：（1）有限总体；（2）无限总体。
总体单位：它是指构成统计总体的每一个具体单位。即构成总体的各个事物。
01
如果说统计总体是集合的概念，那么总体单位就是集合体的元素。
02.
对“统计”一词的解释（统计的涵义）
是指对社会、政治、经济、文化等现象的数量方面进行调查、整理、和分析的工作活动过程的总称。
统计工作:即统计实践。
一项完整的统计工作一般划分为四个阶段：
统计设计；
统计调查，是收集资料阶段，是统计工作的基础环节；
统计整理，是对统计调查得到的原始资料进行加工处理的过程，形成综合资料，是统计工作的中间环节；
社会统计学派产生于19世纪末期，首创者是德国人克尼斯，主要代表人物的梅尔、恩格尔。
⒊现代统计学时代
1908年，“学生”（William Seely Gosset戈塞特的笔名）发表t分布的论文，创立了小样本代替大样本理论
02
1900年，英国统计学家卡尔﹒皮尔生推导了卡—平方（ ）检验法
中级经济师中级经济基础预习资料-统计学概述、基础知识和统计调查
中级经济师中级经济基础预习资料专题7统计学概述统计学基础知识一、统计学统计学是一门关于数据的学科，概括来讲，统计学是关于收集、整理、分析数据和从数据中得出结论的科学。
统计学有两个分支：描述统计和推断统计。
1.描述统计：描述统计是研究数据收集、整理和描述的统计学方法。
统计描述的内容包括：(1)如何取得所需要的数据；(2)如何用图表或数学方法对数据进行整理和展示；(3)如何描述数据的一般特征；2.推断统计：推断统计是研究如何利用样本数据推断总体特征的统计学方法。
推断统计的内容包括：(1)参数估计利用样本信息推断总体特征；(2)假设检验：利用样本信息判断对总体假设是否成立。
【提示】某公司要评测顾客满意度，从中随机抽取一部分顾客，调查他们对该公司的质量感知、满意状况和忠诚度等信息，再对公司顾客总体满意度情况进行估计；验证满意度高的客户更倾向于成为忠诚客。
☆快速检测☆【真题·多选】下列统计处理中，属于描述统计的有()。
(2019年真题)A.利用折线图展示生产者价格指数的变化B.利用圆形图展示居民消费支出构成C.利用图形展示居民消费价格指数的基本走势D.在某个城市随机抽取一部分居民住户对该城市居民收入进行估计E.根据1%人口抽样数据推算我国总人口【答案】ABC【解析】描述统计是研究数据收集、整理和描述的统计学方法，其内容包括如何取得所需要的数据，如何用图表或数学方法对数据进行整理和展示，如何描述数据的一般性特征。
选项ABC属于描述统计，选项DE属于推断统计。
【真题·单选】下列统计处理中，属于推断统计的是()。
(2021年真题)A.利用统计表展示2020年我国主要工业产品产量B.利用抽样调查数据估计粮食产量C.利用直方图显示分组数据频数分布特征D.利用圆形图显示居民生活支出构成【答案】B【解析】推断统计是研究如何利用样本数据来推断总体特征的统计学方法，其内容包括参数估计和假设检验两大类。
故选B。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第5章 统计学方法预备知识
1概率统计基本知识
随机变量的概念：如果一个变量，在实验的结果中，可能取这个数值或那个数值，但不能预先知道取哪一个数值，则这样的变量称为随机变量。
随机变量分为离散型和连续型两类。
随机变量的概率分布：要完全描述一个随机现象的特性，就需要知道在实验中各种可能结果出现的机会是多少，即随机变量的概率分布．
对于离散型随机变量，其概率分布为：i i p x X P ===}{，
11
=∑=N
i i
p
连续型随机变量x 的概率分布是一个函数．记为：}{)(x X P x F <=
概率密度，定义为：
dx x dF x p )()(=
二位随机变量：称两个事件X<x ，Y<y 同时实现的概率为随机变量（X,Y ）的概率分布，即：},{),(y Y x X P y x F <<=
二维随机变量的概率密度：y
x y x F y x p ∂∂∂=)
,(),(2
均值：有时也称为数学期望，它表示大量重复某一实验，其结果的平均。
分为离散型均值和连续性均值。
离散型随机变量X 的均值定义为：
∑===N
i i
i p x X E X 1
)(
连续型随机变量X 的均值定义为：⎰
+∞
∞
-=
=dx x xp X E X )()(
方差：也记作VarX,，它表示分布特性，即随机变量的可能取值与均值的偏离程度，方差越小，则分布越集中于均值附近，方差VarX 的平方根称为X 的均方差（或标准差），记作VarX =σ。
离散型随机变量X 的方差定义为：∑=-=
-N
i i i
p X x X X E 1
2
2
)
())((
连续型随机变量X 的方差定义为：⎰
+∞
∞
--=
-dx x p X x X X E i )()())((22
离散型随机变量的协方差定义为：∑--=--j
i ij
i
i
p
Y y X x Y Y X X E ,))(())(((
连续型随机变量的协方差定义为：
dxdy y x p Y y X x Y Y X X E ),()()())(((--=--⎰
⎰
+∞∞-+∞
∞
-
随机函数：依赖于一组参数（包括时间）的随机变量
随机过程：由随机函数表述的物理过程
随机函数的概率分布函数：随机函数的概率特性由分布函数和密度函数来描述，设某一随机过程}),({D k k X ∈，其中},...,2,1|{m k k D ==，其联合概率分布函数为：
})(,...,)1({),...,(11m m x m X x X P x x F <<=
其联合概率密度函数为：m
m m m x x x x F x x F ∂∂∂=...),...,(),...,(111
2 最小二乘法的一般原理
最小二乘法通过最小化误差的平方和来寻找数据的最佳函数匹配.利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。
最小二乘法还可用于曲线拟合。
其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
输入量为n x x x ,...,,21，系统待估计的参数为n θθθ,...,,21，输出量为y,则系统输入、输出和参数三者的关系可以用如下的线性方程式来表达：n n x x x y θθθ+++= 2211。
向量式为：Y=X θ。
其中：
⎥⎥⎥⎥⎦⎤⎢⎢⎢
⎢⎣⎡=)()2()1(n y y y Y ⎥
⎥
⎥⎥
⎦
⎤
⎢⎢⎢⎢⎣⎡=)()2()1(n θθθθ ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=)()()2()2()1()1(111m x m x x x x x X n n n 实际中模型总有误差，所以更精确的表示为：Y=X θ+e 。
其中：
⎥⎥⎥⎥
⎦
⎤
⎢⎢⎢
⎢⎣⎡=)()2()1(n e e e e 表示误差向量，又称为残差。
按照最小二乘法的原理，θ的决定就是要使残差的平方和为最小,即J=e T e 最小。
曲线拟合：对于给定的一组数据(,)(1,2,
,)i i x y i m =,要求在给定的函数类中
,{1,,}i span i n φϕ==⋅⋅⋅
找到一个函数
*
0101
()()n
n k n
k k S x a a a a x ϕϕϕϕ*
**
*
==++
+=∑ (n<m)
使*()S x 满足
2
*
2
2
()1
1
1
[()()]min [()()]m
m
m
i
i i i i S x i i i S x f x S x f x φ
δ
∈====-=-∑∑∑
这里：0011()n n S x a a a ϕϕϕ=+++
这种求逼近*()S x 的方法就称为曲线拟合的最小二乘法.函数类φ一般可取比较低次的
多项式集合或其它较简单的函数类.
实用中,为了使问题提法更具有一般性,常对最小二乘法中
2
1
m
i
i δ
=∑加权平方,即
2
1
()[()()]
m
i
i
i
i x S x f x ρ=-∑
其中,()(0)x ω≥是[,]a b 上给定的权函数,它表示不同的点,()i i x y 地位的强弱,例如点
,()i i x y 处的权()i x ω可以用来表示数据,()i i x y 在实验中重复的次数,也可以用来表示数i y 的
准确度,
i y 越准确,它的地位越重要,从而权()i x ω也越大.满足关系式
2
*
2
2
()1
1
1
()[()()]min ()[()()]m
m m
i
i i i i i i S x i i i x S x f x x S x f x φ
δ
ρρ∈====-=-∑∑∑
称为上述最小二乘问题的最小二乘解。