厦门大学机器学习考试题

合集下载

机器学习模拟题与参考答案

机器学习模拟题与参考答案一、单选题（共114题，每题1分，共114分）1.机器学习这个术语是由( )定义的？A、Arthur SamuelB、Guido van RossumC、James GoslingD、以上都不是正确答案：A2.在一个线性回归问题中，我们使用 R 平方（R-Squared）来判断拟合度。

此时，如果增加一个特征，模型不变，则下面说法正确的是？A、如果 R-Squared 增加，则这个特征有意义B、如果R-Squared 减小，则这个特征没有意义C、仅看 R-Squared 单一变量，无法确定这个特征是否有意义。

D、以上说法都不对正确答案：C3.在SVM中, margin的含义是()A、损失误差B、间隔C、幅度D、差额正确答案：B4.下列哪种方法可以用来缓解过拟合的产生：( )。

A、正则化B、增加更多的特征C、以上都是D、增加模型的复杂度正确答案：A5.当数据分布不平衡时，我们可采取的措施不包括( )。

A、对数据分布较少的类别过采样B、对数据分布较多的类别欠采样C、对数据分布较少的类别赋予更大的权重D、对数据分布较多的类别赋予更大的权重正确答案：D6.同质集成中的个体学习器亦称（）A、异质学习器B、同质学习器C、基学习器D、组件学习器正确答案：C7.以下哪些是无序属性（）A、｛小，中，大｝B、闵可夫斯基距离C、｛飞机，火车、轮船｝D、｛1，2，3｝正确答案：C8.下列关于过拟合的说法错误的是A、过拟合是指模型在训练集上表现很好，但是在交叉验证集和测试集上表现一般B、解决过拟合可以采用Dropout方法C、解决过拟合可以采用参数正则化方法D、数据集扩增不能用来解决过拟合问题正确答案：D9.神经网络算法有时会出现过拟合的情况，那么采取以下哪些方法解决过拟合更为可行（）。

A、减少训练数据集中数据的数量B、增大学习的步长C、为参数选取多组初始值，分别训练，再选取一组作为最优值D、设置一个正则项减小模型的复杂度正确答案：D10.下列是机器学习中降维任务的准确描述的为A、依据某个准则对项目进行排序B、将其映射到低维空间来简化输入C、预测每个项目的实际值D、对数据对象进行分组正确答案：B11.对于在原空间中线性不可分问题，支持向量机（）。

机器学习设计知识测试选择题 53题

1. 在机器学习中，监督学习的主要目标是：A) 从无标签数据中学习B) 从有标签数据中学习C) 优化模型的复杂度D) 减少计算资源的使用2. 下列哪种算法属于无监督学习？A) 线性回归B) 决策树C) 聚类分析D) 支持向量机3. 在机器学习模型评估中，交叉验证的主要目的是：A) 增加模型复杂度B) 减少数据集大小C) 评估模型的泛化能力D) 提高训练速度4. 下列哪项不是特征选择的方法？A) 主成分分析（PCA）B) 递归特征消除（RFE）C) 网格搜索（Grid Search）D) 方差阈值（Variance Threshold）5. 在深度学习中，卷积神经网络（CNN）主要用于：A) 文本分析B) 图像识别C) 声音处理D) 推荐系统6. 下列哪种激活函数在神经网络中最为常用？A) 线性激活函数B) 阶跃激活函数C) ReLUD) 双曲正切函数7. 在机器学习中，过拟合通常是由于以下哪种情况引起的？A) 模型过于简单B) 数据量过大C) 模型过于复杂D) 数据预处理不当8. 下列哪项技术用于处理类别不平衡问题？A) 数据增强B) 重采样C) 特征选择D) 模型集成9. 在自然语言处理（NLP）中，词嵌入的主要目的是：A) 提高计算效率B) 减少词汇量C) 捕捉词之间的语义关系D) 增加文本长度10. 下列哪种算法不属于集成学习方法？A) 随机森林B) AdaBoostC) 梯度提升机（GBM）D) 逻辑回归11. 在机器学习中，ROC曲线用于评估：A) 模型的准确性B) 模型的复杂度C) 模型的泛化能力D) 分类模型的性能12. 下列哪项不是数据预处理的步骤？A) 缺失值处理B) 特征缩放C) 模型训练D) 数据标准化13. 在机器学习中，L1正则化主要用于：A) 减少模型复杂度B) 增加特征数量C) 特征选择D) 提高模型精度14. 下列哪种方法可以用于处理时间序列数据？A) 主成分分析（PCA）B) 线性回归C) ARIMA模型D) 决策树15. 在机器学习中，Bagging和Boosting的主要区别在于：A) 数据处理方式B) 模型复杂度C) 样本使用方式D) 特征选择方法16. 下列哪种算法适用于推荐系统？A) K-均值聚类B) 协同过滤C) 逻辑回归D) 随机森林17. 在机器学习中，A/B测试主要用于：A) 模型选择B) 特征工程C) 模型评估D) 用户体验优化18. 下列哪种方法可以用于处理缺失数据？A) 删除含有缺失值的样本B) 使用均值填充C) 使用中位数填充D) 以上都是19. 在机器学习中，偏差-方差权衡主要关注：A) 模型的复杂度B) 数据集的大小C) 模型的泛化能力D) 特征的数量20. 下列哪种算法属于强化学习？A) Q-学习B) 线性回归C) 决策树D) 支持向量机21. 在机器学习中，特征工程的主要目的是：A) 减少数据量B) 增加模型复杂度C) 提高模型性能D) 简化数据处理22. 下列哪种方法可以用于处理多分类问题？A) 一对多（One-vs-All）B) 一对一（One-vs-One）C) 层次聚类D) 以上都是23. 在机器学习中，交叉熵损失函数主要用于：A) 回归问题B) 分类问题C) 聚类问题D) 强化学习24. 下列哪种算法不属于深度学习？A) 卷积神经网络（CNN）B) 循环神经网络（RNN）C) 随机森林D) 长短期记忆网络（LSTM）25. 在机器学习中，梯度下降算法的主要目的是：A) 减少特征数量B) 优化模型参数C) 增加数据量D) 提高计算速度26. 下列哪种方法可以用于处理文本数据？A) 词袋模型（Bag of Words）B) TF-IDFC) 词嵌入D) 以上都是27. 在机器学习中，正则化的主要目的是：A) 减少特征数量B) 防止过拟合C) 增加数据量D) 提高计算速度28. 下列哪种算法适用于异常检测？A) 线性回归B) 决策树C) 支持向量机D) 孤立森林（Isolation Forest）29. 在机器学习中，集成学习的主要目的是：A) 提高单个模型的性能B) 结合多个模型的优势C) 减少数据量D) 增加模型复杂度30. 下列哪种方法可以用于处理高维数据？A) 主成分分析（PCA）B) 特征选择C) 特征提取D) 以上都是31. 在机器学习中，K-均值聚类的主要目的是：A) 分类B) 回归C) 聚类D) 预测32. 下列哪种算法适用于时间序列预测？A) 线性回归B) ARIMA模型C) 决策树D) 支持向量机33. 在机器学习中，网格搜索（Grid Search）主要用于：A) 特征选择B) 模型选择C) 数据预处理D) 模型评估34. 下列哪种方法可以用于处理类别特征？A) 独热编码（One-Hot Encoding）B) 标签编码（Label Encoding）C) 特征哈希（Feature Hashing）D) 以上都是35. 在机器学习中，AUC-ROC曲线的主要用途是：A) 评估分类模型的性能B) 评估回归模型的性能C) 评估聚类模型的性能D) 评估强化学习模型的性能36. 下列哪种算法不属于监督学习？A) 线性回归B) 决策树C) 聚类分析D) 支持向量机37. 在机器学习中，特征缩放的主要目的是：A) 减少特征数量B) 提高模型性能C) 增加数据量D) 简化数据处理38. 下列哪种方法可以用于处理文本分类问题？A) 词袋模型（Bag of Words）B) TF-IDFC) 词嵌入D) 以上都是39. 在机器学习中，决策树的主要优点是：A) 易于理解和解释B) 计算效率高C) 对缺失值不敏感D) 以上都是40. 下列哪种算法适用于图像分割？A) 卷积神经网络（CNN）B) 循环神经网络（RNN）C) 随机森林D) 支持向量机41. 在机器学习中，L2正则化主要用于：A) 减少模型复杂度B) 增加特征数量C) 特征选择D) 提高模型精度42. 下列哪种方法可以用于处理时间序列数据的季节性？A) 移动平均B) 季节分解C) 差分D) 以上都是43. 在机器学习中，Bagging的主要目的是：A) 减少模型的方差B) 减少模型的偏差C) 增加数据量D) 提高计算速度44. 下列哪种算法适用于序列数据处理？A) 卷积神经网络（CNN）B) 循环神经网络（RNN）C) 随机森林D) 支持向量机45. 在机器学习中，AdaBoost的主要目的是：A) 减少模型的方差B) 减少模型的偏差C) 增加数据量D) 提高计算速度46. 下列哪种方法可以用于处理文本数据的情感分析？A) 词袋模型（Bag of Words）B) TF-IDFC) 词嵌入D) 以上都是47. 在机器学习中，支持向量机（SVM）的主要优点是：A) 适用于高维数据B) 计算效率高C) 对缺失值不敏感D) 以上都是48. 下列哪种算法适用于推荐系统中的用户行为分析？A) 协同过滤B) 内容过滤C) 混合过滤D) 以上都是49. 在机器学习中，交叉验证的主要类型包括：A) K-折交叉验证B) 留一法交叉验证C) 随机划分交叉验证D) 以上都是50. 下列哪种方法可以用于处理图像数据？A) 卷积神经网络（CNN）B) 循环神经网络（RNN）C) 随机森林D) 支持向量机51. 在机器学习中，梯度提升机（GBM）的主要优点是：A) 适用于高维数据B) 计算效率高C) 对缺失值不敏感D) 以上都是52. 下列哪种算法适用于异常检测中的离群点检测？A) 线性回归B) 决策树C) 支持向量机D) 孤立森林（Isolation Forest）53. 在机器学习中，特征提取的主要目的是：A) 减少特征数量B) 提高模型性能C) 增加数据量D) 简化数据处理答案：1. B2. C3. C4. C5. B6. C7. C8. B9. C10. D11. D12. C13. C14. C15. C16. B17. D18. D19. C20. A21. C22. D23. B24. C25. B26. D27. B28. D29. B30. D31. C32. B33. B34. D35. A36. C37. B38. D39. D40. A41. A42. D43. A44. B45. B46. D47. A48. D49. D50. A51. D52. D53. B。

机器学习基础期末考试试题

机器学习基础期末考试试题一、选择题（每题2分，共20分）1. 在机器学习中，下列哪个算法属于监督学习算法？A. 决策树B. K-meansC. 遗传算法D. 随机森林2. 以下哪个是线性回归的假设条件？A. 特征之间相互独立B. 特征与目标变量之间存在非线性关系C. 目标变量的误差项服从正态分布D. 所有特征都是类别型变量3. 支持向量机（SVM）的主要目标是什么？A. 找到数据点之间的最大间隔B. 减少模型的复杂度C. 增加模型的泛化能力D. 所有选项都正确4. 在深度学习中，卷积神经网络（CNN）通常用于处理哪种类型的数据？A. 音频数据B. 图像数据C. 文本数据D. 时间序列数据5. 交叉验证的主要目的是：A. 减少模型的过拟合B. 增加模型的复杂度C. 减少训练集的大小D. 增加模型的运行时间二、简答题（每题10分，共30分）6. 解释什么是过拟合，并给出一个避免过拟合的策略。

7. 描述随机森林算法的基本原理，并简述其相对于决策树的优势。

8. 解释梯度下降算法的工作原理，并说明为什么它在优化问题中如此重要。

三、计算题（每题25分，共50分）9. 假设你有一个线性回归模型，其目标函数为 \( J(\theta) =\frac{1}{2m} \sum_{i=1}^{m} (h_\theta(x^{(i)}) - y^{(i)})^2 \)，其中 \( h_\theta(x) = \theta_0 + \theta_1 x_1 + \theta_2x_2 \)。

给定以下数据点：\[\begin{align*}x_1 & : [1, 2, 3] \\x_2 & : [1, 3, 4] \\y & : [2, 4, 5]\end{align*}\]请计算该模型的损失函数 \( J(\theta) \)。

10. 给定一个二分类问题的数据集，使用逻辑回归模型进行分类。

如果模型的决策边界是 \( w_1 x_1 + w_2 x_2 - \theta = 0 \)，其中\( w_1 = 0.5 \)，\( w_2 = -1 \)，\( \theta = 0.5 \)。

机器学习考试题目及答案

机器学习考试题目答案1.简描述机器学习概念？TomMitCheI1："对于某类任务T和性能度量P,如果一个计算机程序在T上以P衡量的性能随着经验E而自我完善，那么我们称这个计算机程序在从经验E学习J 我们遇到的大部分事情一般包括分类问题与回归问题。

如房价的预测，股价的预测等属于分类问题。

一般的处理过程是：首先，1）获取数据；2）提取最能体现数据的特征；3）利用算法建模；4）将建立的模型用于预测。

如人脸识别系统，首先我们获取到一堆人脸照片，首先，对数据进行预处理，然后提取人脸特征，最后用算法如SVM或者NN等。

这样，我们就建立了一个人脸识别系统，当输入一张人脸，我们就知道这张面孔是否在系统中。

这就是机器学习的整个流程，其次还包括寻找最优参数等。

机器学习主要分为：监督学习：数据集是有标签的，大部分机器学习模型都属于这一类别，包括线性分类器、支持向量机等等；无监督学习：跟监督学习相反，数据集是完全没有标签的，主要的依据是相似的样本在数据空间中一般距离是相近的，这样就能通过距离的计算把样本分类,这样就完全不需要IabeI,比如著名的kmeans算法就是无监督学习应用最广泛的算法；半监督学习：半监督学习一般针对的问题是数据量超级大但是有标签数据很少或者说标签数据的获取很难很贵的情况，训练的时候有一部分是有标签的而有一部分是没有的；强化学习：一直激励学习的方式，通过激励函数来让模型不断根据遇到的情况做出调整；2.循环神经网络的基本原理？RNNS的目的是用来处理序列数据。

在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。

但是这种普通的神经网络对于很多问题却无能无力。

例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。

RNNS之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。

具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

2022机器学习专项测试试题及答案

2022机器学习专项测试试题及答案1.机器学习的流程包括:分析案例、数据获取、________和模型验证这四个过程。

（）A.数据清洗A、数据清洗B.数据分析C.模型训练(正确答案)D.模型搭建2.机器翻译属于下列哪个领域的应用?（） *A.自然语言系统(正确答案)A. 自然语言系统(正确答案)B.机器学习C.专家系统D.人类感官模拟3.为了解决如何模拟人类的感性思维, 例如视觉理解、直觉思维、悟性等, 研究者找到一个重要的信息处理的机制是（）。

*A.专家系统B.人工神经网络(正确答案)C.模式识别D.智能代理4.要想让机器具有智能, 必须让机器具有知识。

因此, 在人工智能中有一个研究领域, 主要研究计算机如何自动获取知识和技能, 实现自我完善, 这门研究分支学科叫（）。

*A. 专家系统A．专家系统B. 机器学习(正确答案)C. 神经网络D. 模式识别5.如下属于机器学习应用的包括（）。

*A．自动计算, 通过编程计算 456*457*458*459 的值(正确答案)A. 自动计算，通过编程计算 456*457*458*459 的值(正确答案)A．自动计算，通过编程计算 456*457*458*459 的值(正确答案)B．文字识别, 如通过 OCR 快速获得的图像中出汉字, 保存为文本C．语音输入, 通过话筒将讲话内容转成文本D．麦克风阵列, 如利用灵云该技术实现远场语音交互的电视6.对于神经网络模型, 当样本足够多时, 少量输入样本中带有较大的误差甚至个别错误对模型的输入-输出映射关系影响很小, 这属于（）。

*A. 泛化能力A．泛化能力B. 容错能力(正确答案)C. 搜索能力D. 非线性映射能力7.下列选项不属于机器学习研究内容的是（） *A. 学习机理A．学习机理B. 自动控制(正确答案)C. 学习方法D. 计算机存储系统8.机器学习的经典定义是: （） *A.利用技术进步改善系统自身性能A. 利用技术进步改善系统自身性能B.利用技术进步改善人的能力C.利用经验改善系统自身的性能(正确答案)D.利用经验改善人的能力9.研究某超市销售记录数据后发现, 买啤酒的人很大概率也会购买尿布, 这种属于数据挖掘的那类问题（）。

(含答案)机器学习第一阶段测试题

机器学习第一阶段测试题一、选择题1.以下带佩亚诺余项的泰勒展开式错误的一项是（D）A.)x (o x !x !x e x 33231211++++= B.)x (o x *x x arcsin 33321++=C.)x (o x !x !x x sin 5535131++-= D.)x (o x !x !x cos 44241211+-+=分析：)x (o x !x !x cos 44241211++-=2.以下关于凸优化的说法错误的一项是（C ）A.集合C 任意两点间线段均在集合C 内，则C 为凸集B.集合C 的凸包是能够包含C 的最小凸集C.多面体不一定是凸集D.线性变换能保持原集合的凸性分析：多面体是指有限半空间和超平面的交集，多面体一定是凸集3.以下说法错误的一项是（C ）A.当目标函数是凸函数时，梯度下降法的解是全局最优解B.进行PCA 降维时需要计算协方差矩阵C.沿负梯度下降的方向一定是最优的方向D.利用拉格朗日函数能解带约束的优化问题分析：沿负梯度方向是函数值下降最快的方向但不一定是最优方向4.K-means 无法聚以下哪种形状样本？（）A.圆形分布B.螺旋分布C.带状分布D.凸多边形分布分析：基于距离的聚类算法不能聚非凸形状的样本，因此选B5.若X 1,X 2,...X n 独立同分布于(2σ,μ)，以下说法错误的是（C ）A.若前n 个随机变量的均值，对于任意整数ε，有：B.随机变量的收敛到标准正态分布C.随机变量收敛到正态分布D.样本方差其中样本均值分析：A：大数定理概念；B、C：中心极限定理概念；C 错，应该收敛到正态分布D：样本的统计量公式二、公式推理题1.请写出标准正态分布的概率密度函数、期望、以及方差分析：概率密度函数：2221x e π)x (f -=；期望：0=)x (E ；方差：1=)x (D 2.请根据表中的分类结果混淆矩阵给出查准率（准确率）P 和查全率（召回率）R 的计算公式真实情况预测结果正例反例正例TP（真正例）FN（假反例）反例FP（假正例）TN（真反例）分析：FP TP TP P +=，NF TP TP R +=三、简答题1.求函数y ln x )y ,x (f 32+=的梯度向量分析：)y)y ,x (f ,x )y ,x (f ()y ,x (f ∂∂∂∂=∇，所以答案为（2x,3/y）∑==n i i n X n Y 111=<-∞→}ε|μY {|P lim n n σn μn X Y n i i n -=∑=1∑==n i i n X Y 1)σ,μ(N 2∑=--=n i i )X X (n S 1211)σn ,μn (N 2∑==n i i X n X 112.列举你知道的无约束最优化方法（至少三个），并选一种方法进行详细介绍分析：梯度下降法，牛顿法，拟牛顿法，共轭梯度法...（介绍略）3.请简要叙述正则化项中的L1和L2方法分析：1正则化和L2正则化可以看做是损失函数的惩罚项。

机器学习基础知识试题

机器学习基础知识试题一、选择题1. 机器学习的主要目标是什么？A. 让机器能够像人一样思考B. 让机器能够自动学习C. 提高计算机的运算速度D. 使机器具备无限的记忆能力2. 哪个是监督学习的主要特点？A. 需要标记好的训练数据B. 无需人工干预C. 机器能独立学习D. 只能处理分类问题3. 以下哪个属于非监督学习？A. 图像分类B. 垃圾邮件过滤C. 聚类分析D. 情感分析4. 在机器学习中，过拟合指的是什么？A. 模型无法适应新的数据B. 模型在训练集上表现较好，在测试集上表现较差C. 模型无法收敛D. 模型的准确率低5. 以下哪个是机器学习中常用的性能评估指标？A. 准确率B. 召回率C. F1值D. 所有选项都正确二、填空题1. 机器学习是一门研究怎样使计算机能够__________的科学。

2. 监督学习中，训练数据包括__________和__________。

3. __________是一种无监督学习算法，用于将数据分成相似的组或簇。

4. 过拟合是指模型在训练集上过度学习，导致在测试集上_____________。

5. 准确率是用来评估__________模型性能的指标。

三、简答题1. 请简要解释机器学习中的模型训练过程。

2. 什么是特征工程？为什么它在机器学习中很重要？3. 请解释交叉验证的概念及其作用。

4. 解释机器学习中的偏差和方差之间的关系。

5. 什么是集成学习？如何应用于机器学习中？四、应用题假设你是一个房地产公司的数据科学家，公司希望使用机器学习模型来预测未来一年的房屋价格。

你被要求开发一个模型，基于房屋的相关特征，帮助公司预测房屋的售价。

1. 请列举至少五个可能有用的特征，用于训练模型。

2. 你认为是分类问题还是回归问题？为什么？3. 你将如何评估你开发的模型的性能？4. 请描述你将如何使用交叉验证来提高模型的泛化能力。

5. 除了单一的机器学习模型，你可以考虑使用哪些集成学习方法来提高预测性能？答案：一、选择题1. B2. A3. C4. B5. D二、填空题1. 自动学习2. 特征、标签3. 聚类分析4. 表现较差5. 分类器三、简答题1. 模型训练过程包括选择合适的算法和模型结构、准备训练数据、使用训练数据对模型进行训练、评估模型性能以及根据评估结果调整模型参数。

2023年6月机器学习考试题及答案

2023年6月机器学习考试题及答案考试题目1. 什么是机器研究？2. 请简要说明监督研究和无监督研究的区别。

3. 什么是过拟合？如何避免过拟合？4. 请解释什么是决策树，并列举一些常用的决策树算法。

5. 什么是集成研究？列举两种常见的集成研究方法。

6. 请解释支持向量机（SVM）的工作原理。

7. 什么是深度研究？列举两个常用的深度研究模型。

8. 请简要介绍一下主成分分析（PCA）的原理和应用领域。

9. 什么是聚类分析？请列举一个常用的聚类算法。

10. 请说明机器研究中的特征选择方法。

答案1. 机器研究是一种人工智能的分支，旨在通过使用算法和统计模型，使计算机能够从数据中研究和改进，而无需明确编程。

它涉及让计算机从经验中自动研究，并利用研究到的知识来进行决策和预测。

3. 过拟合指模型在训练集上表现很好，但在新数据上表现较差的现象。

为了避免过拟合，可以采用以下方法：- 使用正则化技术，如L1正则化和L2正则化，限制模型的复杂度。

- 进行特征选择，排除一些对模型泛化能力影响较大的特征。

4. 决策树是一种基于树结构的分类和回归模型，它代表了对数据进行决策的过程。

常见的决策树算法包括ID3、C4.5和CART。

5. 集成研究是一种使用多个研究器进行组合预测的方法。

常见的集成研究方法包括随机森林和梯度提升树。

6. 支持向量机（SVM）是一种二分类模型，其工作原理是将数据映射到高维空间，在高维空间中找到一个最优超平面来分割不同类别的数据点。

7. 深度研究是一种基于神经网络的机器研究方法，它通过多层次的非线性变换来研究和表示数据。

常见的深度研究模型包括卷积神经网络（CNN）和循环神经网络（RNN）。

8. 主成分分析（PCA）是一种常用的降维技术，它通过线性变换将原始数据映射到低维空间，保留数据集中的主要特征。

主成分分析在数据预处理、图像处理和模式识别等领域有广泛的应用。

9. 聚类分析是一种将数据点划分为不同组别或类别的无监督研究方法。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

厦门大学机器学习考试题 Lele was written in 2021
第一题判断题（10分，每小题1 分）
[1] 逻辑斯蒂回归模型可以用来做分类，但是SVM 不能用来做回归。

（）
[2] 训练数据较少时更容易发生过拟合。

（）
[3] 如果回归函数A 比B 简单，则A 一定会比B 在测试集上表现更好。

（）
[4] 在核回归中，最影响回归的过拟合性和欠拟合之间平衡的参数为核函
数的宽度。

（）
[5] 在AdaBoost 算法中，所有被错分的样本的权重更新比例相同。

（） [6] Boosting 的一个优点是不会过拟合。

（）
[7] 梯度下降有时会陷于局部极小值，但EM 算法不会。

（） [8] SVM 对噪声（如来自其他分布的噪声样本）鲁棒。

（） [9] 经验风险最小化在一定条件下与极大似然估计是等价的。

（） [10] 在回归分析中，最佳子集选择可以做特征选择；Lasso 模型也可以
实现特征选择。

（）
第二题统计学习方法的三要素（10分）
1. (5分)H 是一个函数空间，(,)p x y 是X Y ⨯上一个概率测度，1
{,n i i i D x y ==是X Y ⨯的一个子集（采样），()(,,(,)X Y f L x y f x y dp ε⨯=⎰，
1
1()(,,(,))n
i i i i i f L x y f x y n ε==
∑， {}{}arg min (),arg min (),H z f H
f H
f f f f εε∈∈==请问：
[1] (2分)()()z H f f εε-随着N 增大而增大吗为什么
[2]
[3] (3分)()()z H f f εε-随着H 增大而增大吗为什么
[4]
2. (5分) 比较感知机、逻辑斯蒂回归模型、AdaBoost 和SVM 的损失函
数。

第三题产生式模型和判别式模型（10分）
[1] （5分）解释产生式模型和判别式模型，并分析二者的不同点； [2] 列出三种判别式模型（3分）和两种产生式模型（2分）
第四题 EM and Naive Bayes （15分）
[1] （5分）概述EM 算法的用途及其主要思想；
[2] （10分）EM 算法可以用到朴素贝叶斯法的非监督学习，写出其算
法。

第五题 HMM （10分）
考虑盒子和球模型λ=(A ,B ,π)，状态集合Q ={1,2,3}，观测集合V ={红,白}，
0.50.20.30.30.50.20.20.30.5A ⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦，0.50.50.40.60.70.3B ⎡⎤
⎢⎥=⎢⎥
⎢⎥⎣⎦
，π=(0.2,0.4,0.4)T
设T=3，O=(红、白、红)，试用前向算法计算P (O |λ). 第六题 SVM （15分）
考虑利用线性支持向量机对如下两类可分数据进行分类： +1：(1,1), (2,2), (2,0) -1：(0,0), (1,0), (0,1)
[1] （4分）在图中做出这6个训练点，构造具有最优超平面和最优间隔的
权重向量；
[2] （3分）哪些是支撑向量？
[3]
[4] （8分）通过寻找拉格朗日乘子i α来构造在对偶空间的解，并将它与
[1]中的结果比较。

第七题 Logistic 回归模型（15分）
如图1(a)所示，数据采用简化的线性logistic 回归模型进行两类分类，即，
为了简化，不采用偏差w 0,训练数据可以被完全分开（训练误差为0，如图1(b)所示的L 1）。

[1] （8分）考虑一个正则化的方法，即最大化()2
1221log ,,2
N
i i i C
P y x w w w =-∑,注意
只有T 2被惩罚。

则当C 很大时，如图1(b)所示的4 个决策边界中，
哪条线可能是由该正则方法得到的？L 2、L 3 和L 4 可以通过正则T 2得到吗？简要说明理由。

[2] （7分）如果我们将正则项给出L 1 范式，即最大化
()()12121
log ,,2
N
i i i C
P y x w w w w =-
+∑,则随着 C 增大，下面哪种情形可能出现
（单选）注：简要说明理由
[3]
(A) T 1将变成0，然后T 2 也将变成0。

(B)T 2将变成0，然后
T 1也将变成0。

(D)两个权重都不会变成0，只是随着C 的增大而减小为0。

第八题 AdaBoost （15分）
考虑如下图2所示的训练样本，其中’X’和’O’分别表示正样本和负样本。

采用AdaBoost 算法对上述样本进行分类。

在Boosting 的每次迭代中，选择加权错误率最小的弱分类器。

假设采用的弱分类器为平行两个坐标轴的线性分类器。

[1] （4分）在图2中标出第一次迭代选择的弱分类器（L 1），并给出决
策面的‘+’和‘-’面。

[2] （4分）在图2中用圆圈标出在第一次迭代后权重最大的样本，其权
重是多少？
[3] （4分）第一次迭代后权重最大的样本在经过第二次迭代后权重变为
多少？
[4] （3分）强分类器为弱分类器的加权组合。

则在这些点中，存在被经
过第二次迭代后的强分类器错分的样本吗？给出简短理由。

[5]。