神经网络极速学习方法研究

２ ８ ０
计 算 机 学 报
年 ２ ０ １ ０
引 言 １
的 统 一 模 型 ２ 犛 犔 犉 犖
（ （ ， ） ， ［ ， 单 隐 藏 层 前 馈 神 经 网 络 于 个 不 同 样 本 其 中 Ｓ ｉ ｎ ｌ ｅ ｈ ｉ ｄ ｄ ｅ ｎ Ｌ ａ ｅ ｒ 对 犖 狓 狋 狓 ＝ 狓 ｇ ｙ 犻 犻 犻 犻 １ Ｔ 狀 Ｔ 犿 ， ） ， … ， ］ ， ［ ， ， … ， ］ ， 之 所 以 能 够 狓 一 个 Ｆ ｅ ｅ ｄ ｆ ｏ ｒ ｗ ａ ｒ ｄ Ｎ ｅ ｕ ｒ ａ ｌ Ｎ ｅ ｔ ｗ ｏ ｒ ｋ Ｓ Ｌ Ｆ Ｎ 狓 犚 狋 ＝ 狋 狋 狋 犚 ∈ ∈ 犻 ２ 犻 狀 犻 犻 １ 犻 ２ 犻 犿 珦 、 （ ） 藏 层 结 点 数 目 为 激 励 函 数 为 的 的 ， ：隐 在 很 多 领 域 得 到 广 泛 应 用 是 因 为 它 有 很 多 优 点 犖 狓 Ｓ Ｌ Ｆ Ｎ 犵 一 模 型 为 （ ） ， 具 有 很 强 的 学 习 能 力 能 够 逼 近 复 杂 非 线 性 函 统 １ 珦 珦 犖 犖 ； （ ） 能 够 解 决 传 统 参 数 方 法 无 法 解 决 的 问 题 但 犻 数 ２ ． （ ） （ · ） ， ， ， … ， 狓 ＝ 犪 狓 ＋ 犫 ＝ 狋 ＝ １ ２ 犖 犵 犵 犼 犻 犻 犻 犻 犼 犼 犼 β β ∑ ∑ ， 另 一 方 面 缺 乏 快 速 学 习 方 法 也 使 其 很 多 时 候 无 法 犻 １ １ 犻 ＝ ＝ （ ） 满 足 实 际 需 要 １ ． Ｔ ［ ， ， … ， ］ 中 是 连 接 第 个 隐 藏 层 结 ， 对 于 的 学 习 能 力 很 多 文 献 分 别 从 紧 集 其 犪 ＝ 犪 犪 犪 犻 犻 犻 １ 犻 ２ 犻 狀 Ｓ Ｌ Ｆ Ｎ ； （ ） ； 是 个 隐 藏 层 结 点 的 偏 差 的 输 入 权 值 （ ） （ ）点 和 有 限 集 犫 犻 ｂ ｉ ａ ｓ 犻 ｃ ｏ ｍ ａ ｃ ｔ ｉ ｎ ｕ ｔ ｓ ｅ ｔ ｓ ｉ ｎ ｆ ｉ ｎ ｉ ｔ ｅ ｉ ｎ ｕ ｔ ｓ ｅ ｔ ｓ ｐ ｐ ｐ Ｔ ［ ， ， … ， ］ 是 连 接 个 隐 藏 层 结 点 的 输 出 ：β 两 种 输 入 情 况 进 行 了 深 入 讨 论 研 究 表 明 ＝ 犻 犻 犻 １ 犻 ２ 犻 犿 ． Ｈ ｏ ｒ ｎ ｉ ｋ β β β ； · （ ） 表 示 和 的 内 积 激 励 函 数 可 以 值 、 ， 如 果 激 励 函 数 连 续 有 界 且 不 是 常 量 函 数 那 么 权 犪 狓 犪 狓 ． 狓 犵 犻 犻 犼 犼 ［ ］ １ “ ” 、 “ ” “ ” 或 等 能 够 在 紧 集 情 况 下 逼 近 任 何 连 续 函 数； 是 Ｓ ｉ ｍ ｏ ｉ ｄ Ｓ ｉ ｎ ｅ Ｒ Ｂ Ｆ ． ｇ Ｓ Ｌ Ｆ Ｎ 上 述 个 方 程 的 矩 阵 形 式 可 写 为 犖 ： 在 基 础 上 的 进 一 步 研 究 表 明 使 用 Ｌ ｅ ｓ ｈ ｎ ｏ Ｈ ｏ ｒ ｎ ｉ ｋ ， 犎 ＝ 犜 非 多 项 式 激 励 函 数 的 能 够 逼 近 任 何 连 续 函 β Ｓ Ｌ Ｆ Ｎ ［ ］ ２ 其 中 ， 在 实 际 应 用 中 神 经 网 络 的 输 入 往 往 是 有 限 数． （ ， … ， ， ， … ， ， ， … ， ） 珦 珦 犎 犪 犪 犫 犫 狓 狓 ＝ １ １ １ 犖 犖 犖 ， ， 集 对 于 有 限 集 情 况 下 的 学 习 能 力 Ｓ Ｌ Ｆ Ｎ Ｈ ｕ ａ ｎ ｇ （ · ）… （ · ） 珦狓 珦 犪 ＋ 犫 犪 ＋ 犫 犵 犵 １狓 １ １ １ 熿 燄 犖 犖 ， ： 和 等 进 行 了 研 究 结 果 表 明 对 于 含 有 个 Ｂ ａ ｂ ｒ ｉ 犖 … ， ， 一 个 具 有 非 线 性 激 励 函 数 的 不 同 实 例 的 有 限 集 （ · ）… （ · ） 珦狓 珦燅 犪 ＋ 犫 犪 ＋ 犫 珦 犵 犵 １狓 １ 犖 犖 犖 犖 ， 最 多 只 需 个 隐 藏 层 结 点 就 可 以 无 误 差 地 犖 × 犖 燀 Ｓ Ｌ Ｆ Ｎ 犖 Ｔ ［ ］ Ｔ ３ ４ ， 个 实 例 这 就 是 说 一 个 具 有 个 隐 逼 近 这 犖 ． 犖 狋 １ β 熿 燄 熿 燄 １ ， ， 即 使 输 入 权 值 随 机 取 值 它 也 能 藏 层 结 点 的 ， Ｓ Ｌ Ｆ Ｎ ＝ 犜 ＝ ． β Ｔ Ｔ 个 不 同 的 实 例 更 明 确 地 讲 就 是 ， ： 够 准 确 拟 合 犖 狋 珦 珦 燀 燅 燀 燅 β 犖 犖 犖 × 犿 犖 × 犿 ， 的 学 习 能 力 只 和 隐 藏 层 结 点 的 数 目 有 关 而 Ｓ Ｌ Ｆ Ｎ （ ） ， 表 示 期 望 值 和 实 际 值 之 间 的 误 差 平 方 和 犈 犠 和 输 入 层 的 权 值 无 关 虽 然 这 一 点 对 于 提 出 一 种 新 ． （ ， ， ） 问 题 求 解 就 是 寻 找 最 优 的 权 值 使 代 价 犠 ＝ 犪 犫 β ， ， 的 学 习 算 法 很 有 启 发 但 并 未 引 起 研 究 者 的 注 意 迭 函 （ ） ， 最 小 其 数 学 模 型 可 表 示 为 数 犈 犠 ２ ， 代 调 整 的 思 想 一 直 坚 持 到 现 在 很 多 算 法 都 只 是 围 （ ） ， ａ ｒ ｍ ｉ ｎ 犈 犠 ＝ ａ ｒ ｍ ｉ ｎ ‖ ε ‖ ｇ ｇ （ ， ， ） （ ， ， ） 犠 ＝ 犪 犫 犠 ＝ 犪 犫 β β 绕 这 一 思 想 进 行 技 巧 性 的 改 进 不 同 于 传 统 的 学 习 珦 ． 犖 （ · ） ， ， ， … ， ｓ ． ｔ ． 犪 狓 ＋ 犫 － 狋 ＝ ＝ １ ２ 犖 ε 犵 犼 犻 犻 犻 犼 犼 犼 β ， 方 法 基 于 以 上 研 究 结 论 为 提 出 了 一 Ｈ ｕ ａ ｎ Ｓ Ｌ Ｆ Ｎ ｇ ∑ 犻 １ ＝ （ ， 种 称 为 极 速 学 习 机 Ｅ ｘ ｔ ｒ ｅ ｍ ｅ Ｌ ｅ ａ ｒ ｎ ｉ ｎ Ｍ ａ ｃ ｈ ｉ ｎ ｅ ｇ （ ） ２ ［ ］ ５ 的 学 习 方 法 设 置 合 适 的 隐 藏 层 结 点 数 为 其 ） ： ， Ｅ Ｌ Ｍ ［ ， ， … ， ］ 中 是 第 个 样 本 的 误 差 ＝ ． ε ε ε 犼 １ ２ ε 犿 犼 犼 犼 犼 然 后 输 出 层 权 ， 输 入 权 和 隐 藏 层 偏 差 进 行 随 机 赋 值 ， （ ） 为 了 方 便 讨 论 在 后 文 中 将 以 一 维 输 出 犿 ＝ １ ， 值 通 过 最 小 二 乘 法 得 到 整 个 过 程 一 次 完 成 无 需 迭 为 ． ， 例 进 行 研 究 但 所 得 结 论 仍 适 用 于 多 维 情 况 ． ， （ ） 与 相 比 速 度 显 著 提 高 通 常 倍 以 上 代 Ｂ Ｐ １ ０ ． ， 但 是 是 基 于 经 验 风 险 最 小 化 原 理 这 可３ Ｅ Ｌ Ｍ 犅 犘 ［ ］ ６ 此 外 因 为 不 考 虑 能 会 导 致 过 度 拟 合 问 题． Ｅ Ｌ Ｍ 误 差 的 权 重 当 数 据 集 中 存 在 离 群 点 时 它 的 性 能 将 ， ， 由 和 提 出 的 神 经 网 Ｒ ｕ ｍ ｅ ｌ ｈ ａ ｒ ｔ Ｍ ｃ Ｃ ｌ ｅ ｌ ｌ ａ ｎ ｄ Ｂ Ｐ ［ ］ ７ ［ ］ ８ 会 受 到 严 重 影 响． 为 了 克 服 这 些 缺 点 我 们 结 合 结 络 ， 模 型 是 目 前 应 用 最 广 泛 的 模 型 之 一， 训 练 方 Ｂ Ｐ 构 风 险 最 小 化 理 论 以 及 加 权 最 小 二 乘 法 对 算 法 是 通 过 反 向 误 差 传 播 原 理 不 断 调 整 网 络 权 值 使 得 Ｅ Ｌ Ｍ ， “ ” 法 进 行 改 进 使 得 在 保 持 快 速 这 一 优 势 的 实 际 输 出 与 期 望 输 出 之 间 的 误 差 平 方 和 达 到 最 小 或 Ｅ Ｌ Ｍ 前 提 下 泛 化 性 能 得 到 进 一 步 的 提 高 当 未 知 时 通 常 采 用 梯 度 下 降 法 ， ， 小 于 某 个 阈 值 ． ． 犎
第 卷 第 期 ３ ３ ２ 年 月 ２ ０ １ ０ ２
计 算 机 学 报 Ｃ Ｈ Ｉ Ｎ Ｅ Ｓ Ｅ Ｊ Ｏ Ｕ Ｒ Ｎ Ａ Ｌ Ｏ Ｆ Ｃ Ｏ Ｍ Ｐ Ｕ Ｔ Ｅ Ｒ Ｓ
Ｖ ｏ ｌ ． ３ ３ Ｎ ｏ ． ２ Ｆ ｅ ｂ ． ２ ０ １ ０
神 经 网 络 极 速 学 习 方 法 研 究
犚 犲 狊 犲 犪 狉 犮 犺 狅 狀 犈 狓 狋 狉 犲 犿 犲 犔 犲 犪 狉 狀 犻 狀 狅 犳 犖 犲 狌 狉 犪 犾 犖 犲 狋 狑 狅 狉 犽 狊 犵
） ） ） ） １ １ ２ １ Ｄ Ｅ Ｎ Ｇ Ｗ ａ ｎ Ｙ ｕ Ｚ Ｈ Ｅ Ｎ Ｇ Ｑ ｉ ｎ Ｈ ｕ ａ Ｃ Ｈ Ｅ Ｎ Ｌ ｉ ｎ Ｘ Ｕ Ｘ ｕ ｅ Ｂ ｉ ｎ藏 层 前 馈 神 经 网 络 已 经 在 模 式 识 别 自 动 Ｓ ｉ ｎ ｌ ｅ ｈ ｉ ｄ ｄ ｅ ｎ Ｌ ａ ｅ ｒ Ｆ ｅ ｅ ｄ ｆ ｏ ｒ ｗ ａ ｒ ｄ Ｎ ｅ ｕ ｒ ａ ｌ Ｎ ｅ ｔ ｗ ｏ ｒ ｋ Ｓ Ｌ Ｆ Ｎ ｇ ｙ 控 制 及 数 据 挖 掘 等 领 域 取 得 了 广 泛 的 应 用 但 传 统 学 习 方 法 的 速 度 远 远 不 能 满 足 实 际 的 需 要 成 为 制 约 其 发 展 的 ， ， ： （ ） （ ， ） 主 要 瓶 颈 产 生 这 种 情 况 的 两 个 主 要 原 因 是 传 统 的 误 差 反 向 传 播 方 法 主 要 基 于 梯 度 下 ． １ Ｂ ａ ｃ ｋ Ｐ ｒ ｏ ａ ａ ｔ ｉ ｏ ｎ Ｂ Ｐ ｐ ｇ 降 的 思 想 需 要 多 次 迭 代 网 络 的 所 有 参 数 都 需 要 在 训 练 过 程 中 迭 代 确 定 因 此 算 法 的 计 算 量 和 搜 索 空 间 很 大 ， ； （ ） ２ ． ． ， （ ） ， 针 对 以 上 问 题 借 鉴 的 一 次 学 习 思 想 并 基 于 结 构 风 险 最 小 化 理 论 提 出 一 种 快 速 学 习 方 法 避 免 了 多 Ｅ Ｌ Ｍ Ｒ Ｅ Ｌ Ｍ ， 、 、 具 有 良 好 的 泛 化 性 鲁 棒 性 与 可 控 性 实 验 表 明 综 合 性 能 优 于 和 次 迭 代 和 局 部 最 小 值 ． Ｒ Ｅ Ｌ Ｍ Ｅ Ｌ Ｍ Ｂ Ｐ Ｓ Ｖ Ｍ ． 关 键 词 ； ； ； ； ； 极 速 学 习 机 正 则 极 速 学 习 机 支 持 向 量 机 结 构 风 险 神 经 网 络 最 小 二 乘 中 图 法 分 类 号Ｔ 号 ： ／ Ｐ １ ８ 犇 犗 犐 １ ０ ． ３ ７ ２ ４ Ｓ Ｐ ． Ｊ ． １ ０ １ ６ ． ２ ０ １ ０ ． ０ ０ ２ ７ ９