四辅助变量法IV
工具变量法（四）：GMM
工具变量法（四）：GMMProf. Lars Peter HansenWhat Hansen did with the generalized method of moments is show that when we have more moment conditions than parameters we can best estimate those parameters by giving more weight to the conditions that we have better information about. -- Alex Tabarrok (Marginal Revolution Blog)传统的工具变量法为2SLS，因为它操作方便，且同时适用于恰好识别与过度识别的情形。
然而，2SLS 仅在扰动项同方差的情况下，才是最有效率的。
理由很简单，如果每位个体的扰动项方差不相同（比如，大企业的方差一般不同于小企业的方差），则方差小的个体观测值所包含的信息量更大，而 2SLS 却对所有数据等量齐观地进行处理，故在异方差的情况下不是最有效率的。
在过度识别且存在异方差的情况下，更有效率的做法是“广义矩估计”（Generalized Method of Moments，简记 GMM）。
该方法由芝加哥大学的 Lars Peter Hansen 教授所提出 (Hansen, 1982)，已成为最流行的计量方法之一，Hansen 也因此获得 2013年的诺贝尔经济学奖。
顾名思义，广义矩估计为矩估计的推广，故先介绍矩估计。
矩 (Moment)何为矩？简单说，矩就是随机变量之函数的期望。
比如，对于随机变量，其一阶原点矩为其期望，二阶中心矩为其方差，以此类推。
更一般地，考虑随机变量的函数。
显然，仍为随机变量，其期望也称为“矩”（moment）。
进一步推广，随机向量的函数之期望，也称为“矩”。
标量辅助变量法
标量辅助变量法标量辅助变量法又称为标量辅助变量技巧，是一种常见的数学技巧，可以方便地求出复杂的多项式积分。
该技巧利用了辅助变量的概念，将多项式积分转化为两个一元函数的积分，然后应用微积分基本定理求解。
本文将介绍标量辅助变量法的基本原理和具体应用方法。
1. 基本原理标量辅助变量法可以表示为如下形式：∫f(x)dx=∫f(g(u))g'(u)du其中，g(u)是一个一元函数，当f(x)dx的积分难以求解时，我们可以通过引入辅助变量u来简化问题。
具体来说，将x表示为g(u)并求出dx/dg，将之代入f(x)dx即可得到上述等式中右侧的积分形式。
2. 应用方法通过上述基本原理，我们可以得到具体的求解方法：（1）确定辅助变量g(u)首先，需要选择一个合适的辅助变量g(u)。
一般来说，选择g(u)为原式中比较复杂的因式或者指数函数可以使积分变得更加简单。
特别地，当所求积分是多项式函数的乘积时，可以选择其中一个多项式作为辅助变量，即：其中，g(u)选取p(x)中的一个因子，将q(x)表示为1/g(u)的形式。
例如，对于积分∫x^2(1-x)dx，我们可以取u=1-x，从而得到：根据链式法则，我们有：dx/dg=d(u)/g'(u)，因此需要计算出g'(u)=du/dx。
由于g(u)是一个一元函数，易进行求导运算。
（3）将变量代换和求导代入原式将x表示为g(u)，dx/dg表示为g'(u)，以及f(x)表示为d_u(p(x)q(x))，代入原式得到：由于d_u(p(x)q(x))只是一个带有变量u的函数，因此我们可以直接进行求解。
根据微积分基本定理，将对g(u)的积分转化为对x的积分即可。
（4）反代计算结果在最后一步中，需要将所得的结果反代回到原式中，得到积分的具体值。
3. 实例演示下面以一些常见的例子进行演示：例1：求解∫x^2/(x^3+1)dx我们可以令g(u)=x^3+1，得到：x=g(u)^(1/3), dx=(1/3)g'(u)g(u)^(-2/3)将x和dx代入原式，得到：由于g(u)中3次方已经被消去，此时我们可以比较方便地求得积分的值，即：展开上式，得到：∫cos(2x)/(2+sin(x))dx=(1/2)ln|2+sin(x)|-2tan^(-1)(tan(x/2)+1)+C以上即为标量辅助变量法的基本原理和应用方法。
系统辨识综述
系统辨识课程综述作者姓名：王瑶专业名称：控制工程班级：研硕15-8班系统辨识课程综述摘要系统辨识是研究建立系统数学模型的理论与方法。
虽然数学建模有很长的研究历史，但是形成系统辨识学科的历史才几十年在这短斩的几十年里，系统辨识得到了充足的发展，一些新的辨识方法相继问世，其理论与应用成果覆盖了自然科学和社会科学的各个领域。
而人工神经网络的系统辨识方法的应用也越来越多，遍及各个领域。
本文简单介绍了系统辨识的基本原理，系统辨识的一些经典方法以及现代的系统辨识方法，其中着重介绍了基于神经网络的系统辨识方法：首先对神经网络系统便是方法与经典辨识法进行对比，显示出其优越性，然后再通过对改进后的算法具体加以说明，最后展望了神经网络系统辨识法的发展方向。
关键字：系统辨识；神经网络；辨识方法0引言辨识、状态估计和控制理论是现代控制理论三个相互渗透的领域。
辨识和状态估计离不开控制理论的支持，控制理论的应用又几乎不能没有辨识和状态估计技术。
随着控制过程复杂性的提高，控制理论的应用日益广泛，但其实际应用不能脱离被控对象的数学模型。
然而在大多数情况下，被控对象的数学模型是不知道的，或者在正常运行期间模型的参数可能发生变化，因此利用控制理论去解决实际问题时，首先需要建立被控对象的数学模型。
所以说系统辨识是自动化控制的一门基础学科。
图1.1 系统辨识、控制理论与状态估计三者之间的关系随着社会的进步 ,越来越多的实际系统变成了具有不确定性的复杂系统 ,经典的系统辨识方法在这些系统中应用 ,体现出以下的不足 :(1) 在某些动态系统中 ,系统的输入常常无法保证 ,但是最小二乘法的系统辨识法一般要求输入信号已知，且变化较丰富。
(2) 在线性系统中，传统的系统辨识方法比在非线性系统辨识效果要好。
(3) 不能同时确定系统的结构与参数和往往得不到全局最优解，是传统辨识方法普遍存在的两个缺点。
1系统辨识理论综述1.1系统辨识的基本原理根据L.A.Zadel的系统辨识的定义:系统辨识就是在输入和输出数据的基础上，从一组给定的模型类中，确定一个与所测系统等价的模型。
工具变量是什么意思
工具变量是什么意思
工具变量的意思是：一个计量经济学的概念，它的出现是为了克服普通最小二乘法中的内生性问题。
在这里，内生性是指回归模型中的解释变量（X）和随机扰动项（δ）相关。
工具变量（英语：instrumental variable，简称“IV”）也称为“仪器变量”或“辅助变量”，是经济学、计量经济学、流行病学和相关学科中无法实现可控实验的时候，用于估计模型因果关系的方法。
工具变量（英语：instrumental variable，简称“IV”）也称为“仪器变量”或“辅助变量”，是经济学、计量经济学、流行病学和相关学科中无法实现可控实验的时，用于估计模型因果关系的方法。
在回归模型中，当解释变量与误差项存在相关性（内生性问题），使用工具变量法能够得到一致的估计量。
内生性问题一般产生于被忽略变量问题或者测量误差问题。
当内生性问题出现时，常见的线性回归模型会出现不一致的估计量。
此时，如果存在工具变量，那么人们仍然可以得到一致的估计量。
根据定义，工具变量应该是一个不属于原解释方程并且与内生解释变量相关的变量。
在线性模型中，一个有效的工具变量应该满足以下两点：
此变量和内生解释变量存在相关性；
此变量和误差项不相关，也就是说工具变量严格外生。
参数估计的改进算法
第三章 参数估计的改进算法§3—1 最小二乘方法的改进—辅助变量法（I V 法 Instrument Variable ）辅助变量法是在模型误差为相关噪声的情况下，通过引进辅助变量矩阵，对线性最小二乘估计的一种改进。
一、参数的辅助变量估计 考虑模型式（3- 1- 1）其中：当进行了 k = 1-n ,2-n ,..,0,1,2,…,N 共计（N+n ）次采样，得到N 个方程： 用矩阵表示成y N = ΦN θ + e N 式（3 -1- 2） 其中 e N = [e(1),….,e(N)]T最小二乘估计为：θ LS =（Φ N T Φ N ）-1 Φ N T y N)](),...,1(),(),...,1([],...,,,,....,,[2121n k u k u n k y k y b b b a a a T kn n Tk------==ϕθ)()(k e k y T k+=θϕ设（Φ N T Φ N ）满秩，将过程模型式（2-3-2）带入上式，得出：θ LS =（Φ N T Φ N ）-1 Φ N T （ΦN θ + e N ）式（3-1- 3）有： 和令： ψϕϕ= E [ ϕk ϕk T ]2n ⨯2n 式（3 -1- 4） 和 ψϕe = E [ ϕk e(k) ]2n ⨯1 式（3 -1- 5） 可以证明：当N → ∞ 时式（3-1- 6）式（3-1- 7）依据 Frechek 定理： 若随机序列 x K −→ ξ ，eNk pKNk pT kk k e NN ϕϕϕψϕψϕϕ∑∑==−→−−→−11)(11⎥⎦⎤⎢⎣⎡⎥⎦⎤⎢⎣⎡+=-NT N NT N LSe N N φφφθθ111)(111k e Ne NNk kN T N∑==ϕφ[]∑==⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=nk T kk T NT TNN TNN NN121,2,11....11ϕϕϕϕϕϕϕϕφφ则 f (x K ) −→f ( ξ )故有：θ LS −→ θ + [ ψϕϕ ]-1[ ψϕe ] 式（3 -1- 8） 如果：ψϕϕ 满秩，且ψϕe = 0 ，则 θ LS −→ θ 为一致性无偏估计，如ψϕe ≠ 0 ，则 θ LS −→ θ +∆ θ 为有偏估计。
应用计量之一——工具变量（IV）
应用计量之一——工具变量（IV）本期推文来自首都经贸大学朱超的博客，关于上海对外经贸大学左翔老师暑期课上工具变量的介绍。
今年上海对外经贸大学李辉文老师和YES团队继续办暑期班（/thread-3742527-1-1.html），一个很好的福利，国内青年经济学者愿意分享的精神值得推广。
一个好的工具变量可以直接MIT博士毕业，可见找工具变量是一件有挑战性的事情。
在我看来，找工具变量是一项有趣的智力活动，除了需要一个人有经济学的素养和逻辑，还需要这个人知识面广，自然、地理、人文、世俗智慧和经验等，通常，这跟一个人熟悉的领域，由长期观察和思考产生的洞见有关。
当然还需要一点运气，学术不是苦思冥想，也许做一个梦，喝一杯下午茶，灵感就闪现了。
工具变量的原理最早出现在菲利普·莱特( Philip G．Wright) 1928年写的书《The Tariff on Animal and Vegetable Oils》里。
为了进一步解释这个原理，首先给出一个典型的线性回归模型:y = β0 + β1x1 + βX + ε (1)这里y为被解释变量，x1为自变量，或者解释变量，也即“因”。
大写的 X 为外生控制项向量( 也即一组假定为外生的其他控制变量，例如年龄、性别等等) ，ε则为误差项。
如果ε与x1不相关，那么我们可以利用OLS 模型对方程进行无偏估计。
然而，如果一个重要变量x2被模型(1) 遗漏了，且x1和x2也相关，那么对β1的OLS 估计值就必然是有偏的。
此时，x1被称作“内生”的解释变量，这就是“内生性”问题。
遇到“内生性”问题肿木办？有一个方法就是找工具变量Z。
工具变量（IV）可以用来解决1 ）遗漏变量偏差2）经典的测量误差问题3）联立性（逆向因果）工具变量的条件·变量z可以作为变量x的有效工具变量，当满足：·工具变量必须外生·即, Cov(z,u) = 0·工具变量必须与内生变量x相关·即, Cov(z,x) ≠0 Cov(z,u) = 0无法验证，Cov(z,x) ≠0可以验证对工具变量的两个要求之间有一个非常重要的差别。
运用正弦扫频实现电动振动台模型的频域辨识
运用正弦扫频实现电动振动台模型的频域辨识严侠;李晓琳;胡勇【摘要】Objective To study the frequency domain identification technology for vibration test equipment, using the electric dynamic shaker as a typical device. Methods Firstly, the mathematics model of the electrodynamic shaker was analyzed, secondly, the sine-sweep test was used for whole-frequency sine sweep of the empty vibration table, and the sine-sweep signal data acquired was subjected to frequency spectrum analysis. So the frequency data of the electrodynamic shaker system was acquired. Finally, the least squares complex-curve fitting algorithm was used to accomplish the identification of the transfer function for the vibration table model. Results Through test with an empty electrodynamic shaker, a group of measured data was identified, and the electrodynamic shaker simulation mode identified was consistent with the real simulation. Conclusion Using this method, in combination with matching the structure of the shaker model, the model of the vibration test equipment could be well identified.%目的：研究以电动振动台为典型设备的相关振动试验装置的频域辨识技术。
基于Matlab系统辨识工具箱的参数辨识
第 20 卷第 4 期 2008 年 8 月
^
L →∞
式中 : z ( k ) 为系统输出量的第 k 次观测值 ; z ( k - 1 ) 为系统输出量的第 ( k - 1 ) 次观测值 , 依次类推 ; u ( k ) 为系统的第 k 次输入值 ; u ( k - 1 ) 为系统的第 ( k
- 1 ) 次输入值 , 依次类推 ; e ( k ) 是均值为零的随机
211 最小二乘法辨识
[3 - 4]
H L = [ h ( 1 ) , h ( 2 ) , …, h (L ) ]
将式 ( 6 ) 代入式 ( 3 ) 可得
zL = H Lθ + eL , ( 7)
。
对于 SISO 离散随机系统 ,其描述方程为
z ( k ) + a1 z ( k - 1 ) + … + an a z ( k - na ) = b1 u ( k - 1 ) + b2 u ( k - 2 ) + … + bn b u ( k - nb ) + e ( k ) , ( 1)
取准则函数
∞ ∞
θ) = J(
k =1
∑
[ e ( k) ]
2
=
k =1
∑[ z ( k )
- h ( k )θ] , ( 5 )
^
T
2
使 J (θ) 为最小值时 θ估计值记作 θ L S , 称作参数 θ 的最小二乘估计值 。 式 ( 5 ) 表明 , 未知模型参数 θ最可能的值是在 实际观测值与计算值之累次误差的平方和达到最小 值处 , 所得到的这种模型输出能最接近实际系统的 输出 。