独立成分分析方法综述

分 析 方 法 综 述
DCW
和 奇异值分解!"#$%&’(是基 于 信 号 二 阶 统 计 特 性 的 分 析 方 法)其 目 的 用 于 去 除 图 像 各 分 量 之 间的相关性)因 而它 们主 要应用于 图 像数 据 的 压缩*而 +,- 则 是基于 信 号 高 阶 统 计 特 性 的分析方法)经 +,- 分解出的各信号分量之间是相互独立的.正是因为这一特点)使 +,- 在 信 号 处 理领域受 到了广 泛的关注.随 着 近年 来 在 +,- 方面 研究兴 趣的 增 加)使 它 在 许 多 领 域也有了非常有趣的应用.
/ 独立成分分析法
0.1 234定义
+,-&56 是 78( 近几年才发展起来的一种新的统计方法.该方法的目的是)将观察到的数据
进 行 某 种 线 性 分 解)使 其 分 解 成 统 计 独 立 的 成 分.最 早 提 出 +,- 概 念 的 是 9:;;<=和 ><?@
A:B;&5()当时他们对 +,- 给出了一种相当简单的描述)认为 +,- 是从线性混合信号里恢复出
成 分)像M鸡尾酒会Q问题上的说话者*MRBK=SQ指我们对混合阵几乎未知)对原始信号进行很
少的假设.给定 T 个混合信号)+,- 能同时估计出 T 个成分 或 &77( UVT 个成分&7/()+,- 有
可能是 L""中用得最广泛的一种方法.在许多实际应用中)模型中都含有噪声.但为了简单
起见)在模型中我们将忽略噪声的影响)有噪声的 +,- 见文献&7W)7’(.
6789:*;( ,’&37-0<6L8D0K7I-.ID83/D=6FA70DK8C1f0-D8HB331DKF.0I-L6.67C-C8D0K
: 引言
假想一下3在一个房间里的不同位置 放着 两 个 麦克 风3同时 有两个 人说话9两 个麦克 风 能 同 时 记 录 下 两 个 时 间 信 号 3如 果 仅 用 这 两 个 记 录 的 信 号 来 估 计 出 原 来 的 两 个 语 音 信 号 3那 将 是 一 件 非 常 有 意 义 的 事 情 3这 也 就 是 所 谓 的 O鸡 尾 酒 会 Q问 题 9
S 789 估计原理
当 前估 计 789 模型的主 要方法 有 非高 斯 的 最大 化1互 信 息 的 最 小 化1最 大 似 然 函 数 估
Q期
杨 竹 青 等 \独 立 成 分 分 析 方 法 综 述
一般来说*所有非高斯测量及相应的 789 算法都可称作投影法的算法*特别是*投影法 允 许 独 立 成 分 比 原 来 的 变 量 少 -假 设 独 立 成 分 所 张 成 的 空 间 没 有 充 满 高 斯 噪 声 *计 算 非 高 斯 投影的方向*实际上是估计的独立成分.当所有 的非 高 斯方 向都被 找到时*所有 的独立 成分 实际上也已经被估计完了*这种程序可称为投影法和 789 的混合-然而我们应看到*投影法 并 没 有 关于独立 成分的 数据模型 和 假设-如 果 789 模 型 成立*789 非高 斯 测 量 的 优 化 将 产 生 独 立 成 分 .如 果 模 型 不 成 立 *那 么 所 得 到 的 为 投 影 法 的 方 向 -
独立成分分析方法综述:;
杨竹青 李 勇 胡德文
<国防科技大学机电工程与自动化学院 长沙 =:$$>?; <@ABCD1EFGHIJ KIF896FI9LK;
摘 要 对 ,’& 方 法 的 原 理 和 应 用 进 行 了 综 述9首 先3概 要 叙 述 ,’& 的 产 生 背 景 和 发 展 前 景3 简要介绍和评述了 ,’& 的定义M分类以及算法9然后3对 ,’& 在 语 音 信 号 分 离M生 物 医 学 信 号 处 理 M金 融 数 据 分 析 M图 像 噪 声 消 除 以 及 人 脸 识 别 等 方 面 的 实 际 应 用 进 行 了 讨 论 9
789 和投影法 是 分 离 混 合 物 为 单 个 独 立 成 分 的 两 个 相 关 的 方 法-投 影 法 :;<=>?@AB=C ;D<EDBAF"/GH 也 I)% 是统计学里发展 起 来 的 一 种 方 法*它 的 目 的 是 为 多 维 数 据 找 到 有 意 义 的 投 影-这种方 法 可 用 来 对 数 据 进 行 最 优 化*例 如 密 度 估 计-在 最 基 本 的 /JK投 影 法 里*尽 量 找 到这样的方向使数据在该方向上的投影具有有意义的分布-
则 并 不 意 味 着 它 们 是 独 立 的 -因 为 独 立 即 意 味 着 不 相 关 *因 此 总 是 给 定 独 立 成 分 的 不 相 关 估 计 -这 样 不 仅 减 少 了 参 数 数 目 *而 且 简 化 了 问 题 -由 此 可 得 出 *这 两 种 对 独 立 的 定 义 方 法 是 相 通 的 -只 不 过 文 献 "/0%依 赖 于 对 相 关 性 的 定 义 *它 是 理 解 独 立 这 个 概 念 更 直 观 1更 简 便 的 一 种方法2-3 456和投影法
也被假设为未知的.所有能观察到的仅仅只是随机向量 E)必须估计出 G和 H)而且必须在尽 量少的假设条件下完成它.
+,- 的出发点非常简单)它假设成分是统计独立的)而且还必须假设独立成分是非高斯
分 布 的 .统 计 独 立 的 概 念 将 在 下 面 给 出 定 义 )为 了 简 单 起 见 )还 得 假 设 未 知 的 混 合 阵 为 方 阵 .
由于统计独立是 +,- 方法的前提)在开始讲 述 +,- 模型 估计 的方 法前)首 先将给 出独
立的确切定义.
0.0 独立性定义
学术上)独立性的定义由概率密度 来 &75( 定义.如果定义两个随机变量 X7和 X/是独立的) 当且仅当联合概率密度可按下式分解JY!X7)X/%FY7!X7%Y/!X/%该定义可扩展到 Z个随机变 量)这种情况下联合密度是 Z个随机变量的乘积.该定义对独立的随机变量可衍生一个重要
近年来 NOP7成像技术日趋成熟*789 是一个从其他生理和非自然成分中*决定与任务 相关的激活区的方法-它的每个成分由一个固定的 三 维空 间分 布的 脑体 素和一 个相 关的激 活 时间序列组成*789 的两种互为 补充 方 法:E789 和 A789F可 以将一个图 像序 列分解 成一 系列图像和相应的一系列时变的图像幅度-
一些基本的源信号的方法.
为了给 +,- 下一个严格的定义&C)D()这里需要使用一个隐藏的统计变量模型
EF GH
!7%
式!7%中的统计模型称为独立成分分析)或者 +,- 模型)它表示被观察到的数据是如何由独 立成分混合而产生的.独立成分是隐藏的变量)意 味 着 它 不能直 接被 观察到)而 且混合 矩阵
<@ABCD1EFGHIJ KIF896FI9LK;
[’()*+,) (H67-DKLD716CKF C771DLC8D0K.0/8H6,KF676KF6K8’0B70K6K8&KC10.D. <,’&;C-6.I-1606F92D-.81038H63CL4f-0IKFCKF8H6F616107B6K87-0.76L8.0/,’& C-6F6.L-D36FCKF8H6F6/DKD8D0K3L1C..D/DLC8D0KCKFC1f0-D8HB.0/,’& C-63-D6/10DK8-0A FIL6FCKF61C1IC86F9(H6K3D8D.FD.LI..6F8H6,’&5.C771DLC8D0K..ILHC.DK.766LH .DfKC1.67C-C8D0K33D0B6FDLC1.DfKC17-0L6..DKf3/DKCKLDC1FC8CCKC10.D.3DBCf6F6K0D.A DKf3/CL6-6L0fKD8D0KCKF.00K9
独立成分分析 法 <,’&;最 初 是 用 来 解 决 O鸡 尾 酒 会 Q问 题9由 于 主 成 分 分 析 <N’&;?:@?A
:;国家基础研究重大项目前期研究专项基金M国家O"P?Q计划基金M中国科学院模式识别国家重点实验室基 金M中 国 科学院青年科学家创新小组基金资助 收稿日期 !$$:A$=A!" 收修改稿日期 !$$:A:$A$"
A789"//%产 生 了 一 系 列 独 立 的 时 间 序 列 和 相 应 的 一 系 列 不 受 限 制 的 图 像 -独 立 时 间 序 列 被 抽取*是将图 像:相对每 个时 间点F放 在 +的 列 中*Q 个 像 素 中 的 每 一 个 作 为 独 立 的 麦 克 风或混合信号*每个混合信号由 R个时间点组成-
E789"I/%产 生 了 一 系 列 相 互 独 立 的 图 像 和 相 应 的 一 系 列 不 受 限 制 的 时 间 序 列 -代 替 将 图 像放在 +的列中*E789 将每幅图像放在 +的行中-在这种情况下*每幅图像的像素值相对其 它的图像来说是独立的-
严格的来讲*无论是 E789 还是 A789*都是在牺牲物理上不可能实现的形式来满足对成 分 独 立 的 限 制 条 件 -EA789"II%则 将 独 立 成 分 和 它 们 相 应 的 信 号 放 在 同 等 重 要 的 位 置 上 *它 同 时最大化空间和时间上的独立度*即 EA789 在相互独立的图像 和相互独立 的时 间序列 上采 取了一种折衷的方法-
如果能计算出 G的逆 I)这样独立成分可由下式得到
HF IE
!/%
式 !7%中的 +,- 模型存在如下的两个不确定性因素J!K%不能确定独立成分的方差*!KK%不 能 确定独立成分的顺序.