王珏.机器学习的难题与分析

整体模型：在几何上就是获得一个光滑的超曲面(回归问题)或光滑分界面(分类问题)，可以有效逼近数据描述的问题。

局部模型：在几何上就是获得局部线性的多个超平面(回归问题)或分界面(分类问题)，可以有效逼近数据描述的问题。

边缘计算使得算法设计不必局限在代数方法上，直观的几何方法可以成为其基础。

另外，核映射方法可以部分纠正领域知识使用的随意性。

这些就是最重要的进步。

■。

■。

■
Hebb关于神经集群表象客体的学说是各种机器学习理论与技术的神经科学基础。

集群之间学习率的研究至今还是神经科学的热门话题。

我们企望获得更多神经科学的启示。

…x 1x 2
x k
{Σ, θ}y 1
y
m
{Σ, θ}
………x 1x 2
x k
{Σ, θ}y 1
y
m
{Σ, θ}
………x 1x 2
x k
{Σ, θ}y
1
y m
{Σ, θ}
……假设1
假设2
假设3
特征选择：从中选择一个子集，使得其满足需求。

暗示数据集合具有多个有意义的解答，其中一个或几个解答是我们关注的，其他解答不需要。

特征抽取：变换原空间为一个维数更小的空间(属性集合)，并将数据集合映射到这个空间。

暗示数据集合中具有多个有意义的解答，只是，不同解答对应了不同的空间。

各种方法的区别仅仅在于，局部假设空间的选择与集群为整体的方法上。

Madaline (Widrow, 1960)
样条理论(Schoenberg, 1946)
符号机器学习(Samuel, 1967)
集群机器学习(Schapire, 1990)
流形机器学习(Silva, 2003)
由于“维数灾难”的限制，发展一般的机器学习方法只是一种理想。

在不同领域发展不同的理论、方法与范式，是必须考虑的问题。

这些挑战性的问题给机器学习研究者提供了重要的机会，这些机会已将我们带进了激动人心的时代。

机器学习研究者危机同时出现，指望通过写程序或改进已有结果的方式获得成功，已十分困难。

不同领域的研究者正在悄然侵入我们的领地，以接替我们。

应用者正在关注着这种新陈代谢，他们已经等待太久了，急不可耐了。