基于遗传算法的BP网络及其非线性逼近能力研究

ｔ ｅｃｏｓ ｒｂ ｂｌｙ ｔｅＧ ｓ ｏｏｔ ｉｅｔｅｗ ｉ ｔＮ ｘ， ｔ ｅｅ ｄｏ ｖｌｔ ｎ ａｓｌｔ ｎｎａ ｅｇｏａ ｏｔ ｍ ｉ ｅｆｕ ｄ Ｔ ｅ ， ｅ ｄｐｉ ｒｓ ｐｏａ ｉｔ， Ａ ｉ ｔ ｐｉ ｚ ｅｇ ． ｅｔａ ｎ ｆ ｏｕｉ ， ｕｉ ｅｒ ｂ ｐｉ ｖ ｉ ｈ ｍ ｈ ｈ ｈ ｔ ｅ ｏ ｏ ｏ ｈ ｔ ｌ ｌ ｍｕ ｗｌ ｂ ｎ ． ｈｎ ｔ ｌ ｏ ｈ
【 ｙｗｏｄ ］ ｅ ｅｉ ａｇｒｈ Ｂ ｅｗ ｒ ； ｏ ｌ ｅｒＦ ｎｔ ｎａｐｏｃ Ｋｅ ｒｓ Ｇ ｎｔ ｌ ｉ ｍ；Ｐｎ ｔｏｋ Ｎ ｎｉ ａ；ｕ ｃｉ ｐ ｒａｈ ｃ ｏｔ ｎ ｏ
Ｏ 引 言
Ｋｏ ｇｒｖ定 理 业 已证 明 ， 有 合 适 结 构 ． 且 经 过 充 分 学 习 训 ｌ ａａ ｍｏ 具 并
ｇ ｏ ａ ｐ ｉ ｍ ｎ ｔ ｅ ｌｃ ｌ ａ ｅ ａ ｅ ｆ ｕ ｄ ｂ ｄ ｐ ｉ ｇ ｇ ａ ｉｎｔｄ ｓ ｅ ｔ ａｇ ｒｔ ｍ．Ｃｏ ａ ｅ ｔ ｈ ｒ ｄ ｅ ｔｄ ｓ ｅ ｔａ ｇ ｒｔ ｍ，ｔ ｅ ｓｍｕ ａｉ ｎ ｌｂ ｌｏ ｔｍｕ ｉ ｈ ｏ ａ ｒ ａ ｃ ｎ ｂ ｏ ｎ ｙ ａ ｏ ｔｎ ｒ ｄ ｅ ｅ ｃ ｎ ｌ ｏ ｈ ｉ ｍｐ ｄ ｗｉｈ ｔ ｅ ｇ ａ ｉ ｎ ｅ ｃ ｎ ｌｏ ｈ ｒ ｉ ｈ ｉ ｌｔ ｏ ｓ ｏ ｈ ｘ ｄ ａｇ ｒｔ ｍ ｓｆ ａ ｉ ｌ ｎ ｆ ｃｉ ｅ ｈ ｗｓ ｔ ｅ ｍｉｅ ｏ ｈ ｉ ｅ ｓ ｂ ｅ ａ ｄ ｅｆ ｔｖ ． ｌ ｉ ｅ
练后的 Ｂ Ｐ网络 能够 以任 意 精 度 逼 近 有 界 区域 非 线 性 函数 。针 对 Ｂ Ｐ 在 过 去 的 几 十 年里 ， 们 提 出了 诸 多 神 经 网络 模 型 。这 些 模 型 在 网络 ，对 于 闭 区 间 的 一个 连 续 函数 都 可 以用 一 个 隐 含 层 的 Ｂ 人 Ｐ网 络 逼 图形 图 像 处 理 、 自动 控 制 、 据 挖 掘 、 式 识 别 等 领 域 不 断 得 到 了应 数 模 近 ， 成 任 意 的 ｎ维 到 ｍ 维 的 映 射 。本 文神 经 网络 优 化 模 型 采 用 三 层 完 用， 自身 也 不断 改 进 和 发 展 。 其 中 ， 向传 播 模 型 （ ａｋＰｏ ａａｉ ， 这 反 Ｂ ｃ ｒｐｇｔ ｎ ｏ Ｂ 网络 ， 拓 扑 结 构 如 图 ２所示 。 其 中 ｎ为 输 入 单 元 数 ，， 网 络 中 Ｐ 其 ｘ为 Ｂ ）是 最 常 见 的也 是 应 用 最 广 泛 的 多 层 前 馈 网 络 模 型 。 这 得 益 于 Ｂ Ｐ Ｐ 第 （） 样 本 的输 入 ，， 网 络 中第 （） 样 本 的 实 际 输 出 ， 为 网 络 第 ｉ个 Ｙ为 ｉ个 网络 较 强 的逼 近能 力 和 分 类 能 力 ＿ ｌ Ｊ 。 ｉ个 是 ｗ Ｂ Ｐ网 络 的学 习算 法 是 Ｂ Ｐ算 法 。针对 Ｂ Ｐ网 络采 用 的算 法 多 是 梯 （） 样 本 期 望输 出 。ｗ 输 入 层 与 隐含 层 的 连接 权 值 ， 是 隐 含 层 与输 出层 的连 接 权 值 ， 隐 单 元 的 阚 值 ， 输 出单 元 的 阈值 。 Ｂ是 Ｂ是 度 下 降法 。梯 度 下 降 法 的 优 点 是 进行 局部 寻 优 时 速 度 很 快 ， 是 梯 度 但 输 入层 隐 含屡 输 出层 下 降 法容 易 陷入 局 部 极 小 ， 致 其 全局 搜 索 能力 弱 、 优 性 能 不 高 ． 导 寻 收 敛 速 度 慢 甚 至 不 收 敛 、 易 陷 入 局 部 极 小 值 ， 约 了其 一 定 程 度 的应 容 制 Ｗ１ Ｂ１ Ｗ２ Ｂ２ 用 。 遗 传 算 法 （ ｅｅｉ Ａｌ ｒｈ 以 下 简 称 Ｇ 是一 种 非 导 数 优 化 的 Ｘ １ Ｇ ｎ ｔ ｇｉ ｍ， ｃ ｏｔ Ａ） （ 期望 输 出 ） 随 机优 化 搜 索 算 法 ． 有 很 强 的 全 局搜 索 能 力 和 鲁 棒 性 。 但 是 它 在 寻 具 优 时搜 索 方 向不 停 的 发 生 变 化 ， 搜 索 到 全 局 最 优 解 的 代 价 较 大 。研 其 Ｘ２ （ 期塑 输 出 ） 究 表 明 ， 传 算 法 能 够 以 较 快 的速 度 收 敛 到 全 局 最 优 解 的 ９ ％ ． 这 遗 Ｏ 在 以后 其 收敛 速 度 明 显 减 慢 。 时 ， 传算 法局 部 搜 索 能 力 不 足 ， 算 过 同 遗 运 程有 时会 出 现 早 熟 现 象 ， 初 始 种 群 的选 择 有 依 赖 性 ， 且 并 行 机 制 对 而 的潜 在 能 力 不 容 易 得 到 充分 利 用 。 果 用 ＧＡ结 合 Ｂ 网络 构 建 模 型 ． 如 Ｐ （ 望输出 ） 期 用来 训 练 神 经 网络 ， 化 神 经 网 络 的权 值 阈值 ， 可 以克 服 Ｂ 优 既 Ｐ算 法 容 （ 闽值 ） 易选 人 局 部 极 小 值 的缺 陷 ，同 时 又 能 克 服 遗 传 算 法 局 部 搜 索 能 力 不 强、 容易 早 熟 的 不 足 ， 互取 长 补短 ， 遗 传 算 法 优化 后 的 神 经 网 络 具 相 使 图 ２ 本 文 ＢＰ网 络 拓 扑 结构 有 自进 化 、 自适 应 能 力 。本 文采 用 一 种 基 于 自适 应 遗 传 算法 的 神 经 网 对于 Ｂ Ｐ网 络 的 这 种 前 向 神 经 网 络 训 练采 用 的算 法 是 “ 差 逆 传 误 络学 习算 法 ， 用 自适应 遗 传 算 法 在 整 个 权 值 （ 先 阈值 ） 间进 行 粗 略 搜 空 ， Ｐ算 法 。 准 Ｂ 标 Ｐ算 法 和 Ｗｉｒｗ Ｈ ｆ学 习规 则 一 样 是 一 ｄｏ — ｏｆ 索 ， 后 再 采 用 梯 度 下 降 法 进 行 局 部 的 寻 优 ， 终 得 到 问 题 的全 局 最 播 算 法 ” 即 Ｂ 然 最
科技信息
０科教前沿 ０
ＳＩ Ｃ ＣＥＮ Ｅ＆Ｔ Ｃ Ｎ ＯＧ Ｆ Ｒ Ｔ Ｏ Ｅ Ｈ ＯＬ ＹＩ Ｏ ＭＡ Ｉ Ｎ Ｎ
２１ ０ ０年
第 ７期
基于遗传算法的 Ｂ Ｐ网络及其 非线性逼近 能力研 究
李宏伟 ’ 李 丽 （ ． 岛大学 自动 化工 程学 院 山东 青 岛 ２ ６ ７ ； ． 岛市城 投集 团 山东 青 岛 ２ ６ ７ ） １青 ６ ０ １ ２青 ６ ０ １
效 果 好 ， 而所 给 出的 算 法 可 行 有 效 。 因
【 键 词 】 传 算 法 ；Ｐ 网络 ； 线 性 ； 关 遗 Ｂ 非 函数 逼 近 ；
Ｒｅ ｅ ｒ ｈ ｏ ｓ ａ ｃ ｆ ＧＡ－ｂ ｓ ｄ ＢＰ ｔ ｒ ｎｄ ｉ ｉｉ ｏ ｎ ｉ ａ ｐｒ ａ ｈ ａｅ Ｎｅ ｗｏ ｋ ａ ｔ Ａｂ ｌｔ ｆ ｒ Ｎｏ ｌｎｅ ｒ Ａｐ ｏ ｃ ｓ ｙ
ＬＩＨｏ － ｉ ｎｇ ｗｅ ＬＩＬｉ
（．ｃ ｏｌ ｆ ｔｍａｉｎｅ ｇｎｅｉｇＱｉｇ ａ ｎｖｒｉ ， ｎ ｄ ｏ２ ６ ７ ， ｉａ２Ｑｉｇ ｎ ｔ ｎ ｅｔ ｎ ｏ ｐＱｉｇ ａ ６０ １Ｃ ｉａ １Ｓｈ ｏ ｏ ｏ ｔ ｎ ｉｅｒｎ ， ｎ ｄ ｏＵ ｊｅｓｙＱｉｇ ａ ６ ０ １ ｎ ；． ｎ ｄ ｏＣｉ ｉｖｓｍｅｔＧｒｕ ， ｎ ｄ ｏ２ ６ ７ ，ｈｎ ） Ａｕ ｏ ｔ Ｃｈ ｙ 【 ｂ ｔａｔＷｉ ｅｍｅ ｔ ｏ ｅｇｎ ｔ ｌ ｒｈ ｎ ｈ ｉｐｅＢ ｌｏ ｔｍ， Ｐ ｎｔｏｋｍｏ ｅ ｂ ｓｄ ｏ Ａ ｉ ｐｅｅ ｔ ． ｄ ｐｉｇｔｅ Ａ ｓ ｃ］ ｔ ｔ ｒｓ ｆｔ ｅ ｅｃａｇｉ ｍ ａ ｄｔｅｓ ｌ Ｐａｇｒｈ ａＢ ｅ ｒ ｄｌ ａｅ ｎＧ ｓ ｒｓｎｅ Ａ ｏｔ ｒ ｈｈ ｉ ｈ ｉ ｏｔ ｍ ｉ ｗ ｄ ｎｈ
【 摘 要 】 出 了一 种 基 于 遗传 算 法（ Ａ） Ｂ 提 Ｇ 的 Ｐ神 经 网络 模 型优 化 方 案 ， 出 了遗 传 算 法 和 标 准 ＢＰ算 法各 自的优 缺 点 。 先 采 用 自适 应 交 指 首 叉 概 率 的遗 传 算 法 优 化 网络 的 权值 ， 进 化 结 束 时 ， 在 能够 寻 到 全 局 最 优 点 附近 的 点 。 在 遗 传 算 法搜 索 结 果 的基 础 上 ， 用局 部 寻优 能 力较 强 的 利 梯 度 下 降 法 ， 此 点 出发 ， 行 局 部 搜 索 ， 而 达 到 网 络 的训 练 目标 。仿 真 表 明 与 单 一 的 梯 度 下 降 法 比 较 ， 合优 化 算 法 的 收敛 速 度 快 ， 近 的 从 进 进 混 逼