多模态张量数据挖掘算法及应用_杨琬琪

合集下载

申请博士硕士专业学位授权点简况表-广东工业大学研究生院

近五年
成果名称
获奖类别及等级，发表刊物、页码及
代表性（获奖、论文、专著、专利、引用次数，出版单位及总印数，专利
时间
5
署名情况
成果（限
咨询报告等名称）
3 项）
Decomposition of a multiobjective
optimizationproblem into a number
of simple multiobjectivesubproblems
3
目标优化问题研究工业统计和质量控制问题。把生态位构建特征引入到生态与工业控制交叉学科邻域。本方向有教授 4 人，副教授 7 人，15 人获得博士学位，行业教师 5 人，其中高工 4 人。
注：专业学位领域（方向）按照各专业学位类别申请基本条件的要求填写。
Ⅱ师资队伍
II-1 专任教师基本情况
专业技术职务
全国现有 103 个应用统计硕士专业学位点，其中北京 15 个，上海 6 个，江苏 10 个。广东省仅 2 个，难以支撑广东省制造业的转型升级和满足当前大数据行业对专业人才的需求。本学科聚集了一批学缘结构合理，老中青结合，学术水平较高的科研队伍，但缺乏专业硕士学位点的支撑，严重制约了学科发展。
3、与行业或职业发展的衔接学院已经与 10 家行业单位合作建立了实践教学基地，从合作办学单位外聘了 10 名行业教师，其中高工 7 名，在各自行业从业皆超过 8 年，完成了 10 余项专业实践活动与成果，合作完成实践教学专著 1 项。与单一的课堂教学形式相比，在实践教学基地接受具有行业指导的实践教学，有更强的吸引力，取得了较好的教学效果，更重要的是实现了与行业的对接，有利于学生未来职业的发展。 4、人才培养及思想政治教育在近 5 年中，共招收了 1299 名本科生，培养了 1396 名本科毕业生，平均就业率 95%以上，共招收了 116 名硕士研究生，获得硕士学位的毕业生有 112 名，就业率 100%。组织学生参加美国大学生数学建模竞赛、全国大学生数学建模竞赛和全国大学生数学竞赛等活动，共获得省级以上奖励 102 项，其中国际级奖励 31 项，国家级 15 项。大学生创新创业训练项目国家级 6 项，省级 16 项。学生毕业创业成功并成立公司 1 项。学生参与申请专利 4 项，发表核心期刊以上论文 50 余篇，其中 SCI 收录 7 篇。获广东省优秀硕士毕业论文 1 篇。

多模态情感识别与理解发展现状及趋势

多模态情感识别与理解发展现状及趋势目录一、内容简述 (2)1.1 研究背景 (2)1.2 研究意义 (3)1.3 文献综述 (4)二、多模态情感识别技术发展现状 (6)2.1 基于文本的情感识别 (7)2.1.1 基于词典的方法 (8)2.1.2 基于机器学习的方法 (8)2.1.3 深度学习在文本情感识别中的应用 (10)2.2 基于图像的情感识别 (11)2.2.1 静态图像情感识别 (13)2.2.2 视频情感识别 (14)2.3 基于语音的情感识别 (15)2.4 多模态情感识别系统 (15)2.4.1 系统架构 (16)2.4.2 数据融合策略 (17)三、多模态情感理解发展现状 (19)3.1 情感分类 (20)3.2 情感倾向分析 (21)3.3 情感强度预测 (22)3.4 情感角色识别 (24)四、发展趋势与挑战 (26)4.1 技术发展趋势 (27)4.2 应用发展趋势 (28)4.3 存在的挑战 (30)4.3.1 数据隐私与伦理问题 (31)4.3.2 模态间的交互与协同 (33)4.3.3 跨语言与跨文化情感识别 (34)五、未来展望 (35)5.1 新型算法与技术 (36)5.2 个性化与定制化服务 (37)5.3 与其他领域的融合与应用 (38)六、结论 (40)6.1 主要研究成果总结 (41)6.2 对未来研究的建议 (42)一、内容简述随着人工智能技术的飞速发展，多模态情感识别与理解已经成为了计算机科学和人机交互领域的研究热点。

多模态情感识别与理解是指通过整合多种模态的信息(如文本、语音、图像等)来识别和理解人类的情感状态。

这种技术在很多应用场景中具有广泛的应用前景，如智能客服、社交媒体分析、心理健康评估等。

本文将对多模态情感识别与理解的发展现状及趋势进行详细阐述，包括相关技术的研究成果、应用案例以及未来的发展方向。

通过对这些内容的梳理，旨在为读者提供一个全面了解多模态情感识别与理解的视角，并为其在实际应用中提供有益的参考。

《2024年多模态话语分析视角下冬奥会宣传片的翻译研究》范文

《多模态话语分析视角下冬奥会宣传片的翻译研究》篇一一、引言随着全球化的不断深入，冬奥会作为国际体育盛事，其宣传片的翻译质量对于推广和传播相关赛事信息具有重要作用。

本研究以多模态话语分析为视角，深入探讨冬奥会宣传片的翻译策略和效果。

首先介绍了多模态话语分析的背景及理论依据，接着阐述了冬奥会宣传片翻译的重要性和研究意义。

二、多模态话语分析理论概述多模态话语分析是一种综合运用语言学、符号学、认知科学等多学科理论，研究多种符号资源（如语言、图像、声音等）在特定语境中共同构建意义的过程。

在冬奥会宣传片的翻译中，多模态话语分析可以帮助我们更好地理解原宣传片的意义，并采用恰当的翻译策略将之传达给目标观众。

三、冬奥会宣传片的特点及翻译要求冬奥会宣传片具有文化内涵丰富、视觉冲击力强、情感表达直接等特点。

在翻译过程中，需注意以下几点要求：1. 准确传达原宣传片的文化内涵和情感表达；2. 充分考虑目标观众的认知特点和语言习惯；3. 注重视觉元素的翻译，保持原宣传片的视觉效果；4. 保持多模态元素的协调一致，实现跨文化传播。

四、多模态话语分析视角下的冬奥会宣传片翻译策略基于多模态话语分析理论，我们提出以下翻译策略：1. 语言翻译：注重语言的选词、句式和语气的翻译，使目标语言与原宣传片保持一致；2. 图像翻译：通过图像的重新构图、色彩调整等方式，使目标观众更好地理解原宣传片的视觉信息；3. 声音翻译：关注配音、音乐等声音元素的翻译，使目标观众在听觉上获得良好的体验；4. 跨文化传播策略：结合目标观众的文化背景和认知特点，采用适当的跨文化传播策略，增强宣传片的吸引力。

五、实证研究及案例分析以某届冬奥会宣传片为例，我们采用多模态话语分析方法，对原宣传片及其翻译版本进行对比分析。

通过收集观众反馈和数据统计，我们发现：1. 恰当的翻译策略能够准确传达原宣传片的文化内涵和情感表达；2. 充分考虑目标观众的认知特点和语言习惯，有助于提高观众的接受度和满意度；3. 注重视觉和声音元素的翻译，可以保持原宣传片的视觉效果和听觉体验；4. 跨文化传播策略的应用，有助于实现跨文化传播，增强宣传片的国际影响力。

北京大学学报(自然科学版)2021年第57卷总目次

北京大学学报( 自然科学版 )2021年第57卷总目次基于语义对齐的生成式文本摘要研究 ·········································································· 吴世鑫黄德根李玖一 (1)一种基于多任务学习的多模态情感识别方法 ···························································· 林子杰龙云飞杜嘉晨等 (7)中文机器阅读理解的鲁棒性研究 ············································································· 李烨秋唐竑轩钱锦等 (16)基于细粒度可解释矩阵的摘要生成模型 ···································································· 王浩男高扬冯俊兰等 (23)基于Masked-Pointer的多轮对话重写模型 ·································································· 杨双涛符博于晨晨等 (31)开放域对话系统的抗噪回复生成模型 ···················································································· 朱钦佩缪庆亮 (38)具有选择性局部注意力和前序信息解码器的代码生成模型 ············································ 梁婉莹朱佳吴志杰等 (45)基于分层序列标注的实体关系联合抽取方法 ··························································· 田佳来吕学强游新冬等 (53)基于Transformer局部信息及语法增强架构的中文拼写纠错方法 ············································· 段建勇袁阳王昊 (61) . All Rights Reserved.复述平行语料构建及其应用方法研究 ···································································· 王雅松刘明童张玉洁等 (68)融合物体空间关系机制的图像摘要生成方法 ······························································ 万璋张玉洁刘明童等 (75)无监督的句法可控复述模型用于对抗样本生成 ························································ 杨二光刘明童张玉洁等 (83)基于深度学习的实体链接研究综述 ······································································· 李天然刘明童张玉洁等 (91)海域天然气水合物开采的4C-OBC时移地震动态监测模拟 ················································ 朱贺何涛梁前勇等 (99)微观剩余油赋存状态的矿物学机制探讨——以鄂尔多斯盆地中部中‒低渗砂岩储层为例 ·················································· 王哲麟师永民潘懋等 (111) 不同分辨率下青藏高原对大西洋经向翻转流影响的耦合模式研究·····································邵星杨海军李洋等 (121)深圳河湾流域溢流污染规律及其对海湾水质的影响 ······················································ 程鹏李明远楼凯等 (132)中国东部水稻土壤丁酸互营降解微生物的地理分布格局 ·················································· 费媛媛焦硕陆雅海 (143)1982—2014 年华北及周边地区生长季NDVI变化及其与气候的关系 ······························· 张新悦冯禹昊曾辉等 (153)模型结构与参数化差异对蒸散发估算的影响 ························································· 赵文利熊育久邱国玉等 (162)基于需求的京津冀地区生态系统服务价值时空变化研究 ············································· 唐秀美刘玉任艳敏等 (173)2007—2016年中国省域碳排放效率评价及影响因素分析——基于超效率SBM-Tobit模型的两阶段分析 ························································ 宁论辰郑雯曾良恩 (181)I北京大学学报(自然科学版) 第 57 卷第 6 期 2021 年 11 月II 环境规制对工业绿色全要素生产率的影响——短期偿债能力的中介效应 ·········································································· 刘锦慧邹振东邱国玉 (189) 胰岛炎症导致的2型糖尿病发病过程的动力学模型及治疗策略······································ 林智立雷蕾李长润等 (199) 内部充放电监测器仿真及地面实验研究 ································································ 宋思宇于向前陈鸿飞等 (209) 保定‒雄安地区近地面大气流动与轨迹输送特征 ························································· 栗涵舸蔡旭晖康凌等 (215) 巢湖地区早三叠世晚斯密斯亚期含鱼化石碳酸盐岩结核的地球化学特征及其地质意义 ········ 于鑫孙作玉孟庆强等 (225) 结合序贯平差方法监测地表形变的 InSAR 时序分析技术·················································王辉曾琪明焦健等 (241) 北方农牧交错带草地土壤微生物量碳空间格局及驱动因素 ········································ 陈新月姚晓东曾文静等 (250) 基于 GIS 的全球农业开发潜力和人口承载力分析 ······················································· 梁书民刘岚崔奇峰等 (261) 短程硝化–厌氧氨氧化在实际垃圾渗滤液处理工程中的启动运行研究 ······························ 初永宝赵少奇刘生等 (275) 唐河地下水有机氯农药(OCPs)的分布特征及风险评估 ······················································ 张敏王婷杨超等 (283) 城市市政基础设施投资与经济发展的空间交互影响 ···················································· 储君刘一鸣林雄斌等 (291) 碳纳米管对天然有机质氯化消毒副产物生成的影响 ················································· 李慧敏陈学姣尤明涛等 (299) 利用简化空气质量模型快速构建臭氧生成等浓度曲线及其应用······································ 杜云松黄冉王馨陆等 (311) 基于深度神经网络的城市典型乔木日内蒸腾特征模拟研究 ········································ 赵文利邱国玉熊育久等 (322) 黄河上游重金属元素分布特征及生态风险评价 ·····························································张倩刘湘伟税勇等 (333) 化工企业污染物影子价格的估计——基于参数化的方向性距离函数 ··················································································· 陈醒徐晋涛 (341) 汉江流域河网分级特征研究 ··················································································· 黄子叶王易初倪晋仁 (351) 植物残体输入改变对樟子松人工林土壤呼吸及其温度敏感性的影响····························· 何可宜沈亚文冯继广等 (361) 那仁郭勒河流域地表水与地下水储量变化响应研究 ························································ 王玥王易初倪晋仁 (371) 生境维持服务供给量与需求量研究——以京津冀地区为例 ······················································································ 王雅琳牛明爽宋波 (381) 寒武纪化石胚胎 Markuelia 的肌肉组织 ··································································· 刘腾段佰川刘建波等 (390) 果子狸多态性微卫星位点的筛选及特性分析 ······························································· 王迪张丹熊梦吟等 (395) 惠斯通电桥式磁阻传感器的零位温度漂移研究 ························································· 于向前刘斯肖池阶等 (401) 碳离子注入辅助在 6H-SiC 表面制备石墨烯··························································· 陈钰焓赵子强赵云彪等 (407) 石家庄市秋冬季大气环流型下的气象和PM 2.5污染特征 ·················································· 肖腾林廷坤严宇等 (414) 基于大数据量的初至层析成像算法优化 ·································································· 吕雪梅张献兵康平等 (425) 天然气水合物相关的 Slipstream 海底滑坡体速度结构模型反演············································ 蓝坤朱贺何涛等 (435) . All Rights Reserved.第 57 卷(2021年)总目次III 矽卡岩中石榴子石的稀土配分特征及其成因指示 ···································································· 王一川段登飞 (446) 鄂尔多斯盆地长 7 段页岩油优质储层特征分析 ·························································· 王晓雯关平梁晓伟等 (459) 下刚果盆地中段挤压带盐底辟构造形成演化分析——基于物理及离散元模拟 ················································································ 程鹏李江海刘志强 (470) 滇池溶解氧浓度变化的氮磷循环响应模拟研究 ························································· 胡梦辰朱滔蒋青松等 (481) 长江中下游武安段生态航道评价 ················································································ 刘念李天宏匡舒雅 (489) 冬奥会申办成功对北京旅游目的地感知形象的影响 ························································ 丛丽徐琳琳方小雨 (496) 沸石载体恢复受饥饿影响厌氧氨氧化菌的性能研究 ················································ 余道道孙敬起霍唐燃等 (507)1.5ºC 和 2ºC 目标下中国交通部门2050年的节能减排协同效益 ······································· 陆潘涛韩亚龙戴瀚程 (517) 嗜热蓝细菌 PKUAC-E542 藻蓝蛋白耐热性以及不同光照条件对其含量影响研究 ············ 李俐珩梁园梅李玫锦等 (529) 我国海岸带城市化系统耦合协调时空动态特征——以东海海岸带城市为例 ················································································ 徐煖银李枝坚曾辉 (536) 丙酸盐对厌氧氨氧化除氮性能及群落结构的影响 ··························································· 张立羽乔雪姣余珂 (545) 农户生计资本特征及对生活满意度的影响——基于中国 13 省 25 县抽样调查数据的分析······················································· 卢志强曹广忠李贵才 (556) 城市化对哺乳动物丰富度影响的研究——以长三角城市群为例 ··········································································································· 林萍 (565) 黄河下游花园口至艾山河段滩区洪水漫滩风险度评估研究 ·········································· 孙煜航程舒鹏张祺等 (575) 磁性 CoFe 2O 4/g-C 3N 4 复合纳米材料对环丙沙星的光催化降解研究 ······························ 陶虎春邓丽平张丽娟等 (587) 格密码关键运算模块的硬件实现优化与评估 ································································· 陈朝晖马原荆继武 (595) 基于时空建模的动态图卷积神经网络 ················································································ 李荆刘钰邹磊 (605) 核磁共振波谱法结合化学计量学判别油菜蜜的成熟蜜、非成熟蜜和加工蜜························· 陈辉张佳琳鞠晶等 (614) 黄铁矿型 FeS 2 纳米微球的制备及其超级电容性能研究 ····························································· 李搛倬传秀云 (623) 全球变暖背景下内蒙古地区沙尘暴频次变化的预估 ································································· 杨诗妤闻新宇 (632) 利用人工智能神经网络预测广州市 PM 2.5日浓度 ········································································ 李泽群韦骏 (645) 基于多方向识别的三维断层增强方法 ·································································· 安圣培陈彦阳罗红梅等 (653) 尖峰岭次生林和原始林林下灌木叶氨基酸对氮添加的响应 ······································· 李修平安丽华倪晓凤等 (660) 城市电动自行车违规充电隐患的空间分布及其影响因素 ··················································· 廖聪邬伦蔡恒等 (671) 深圳近海环境重金属空间分布特征与风险评价 ······················································ 张海军史本宁焦学尧等 (679) 生态系统文化服务供需关系量化方法研究——以平陆大天鹅景区为例 ············································································· 杨丽雯王大勇李双成 (691). All Rights Reserved.。

2016年江西省教学改革立项课题

课题名称优化科研平台资源管理促进学生科研能力培养天文学的Ⅱ类通识课教学探索与实践基于虚拟仿真实验教学平台的综合性创新实验教学研究—以《电子技术课程设计》为例《无处不在——传染病》慕课课程建设与实践基于新媒体的翻转课堂在大学生计算思维培养中的研究与实践项目驱动式教学法在高校艺术类专业中的应用研究——以《新媒体艺术》为例项目驱动模式在《针织服装设计》教学中的研究与实践 “碎片式学习”辅助《生物化学》教学的研究与实践 “光电信息科学与工程”专业实验课程建设研究翻转课堂在《档案文献编纂学》教学中的应用研究土建类专业建筑法规课程参与式全程案例教学方法改革初探基于OBE教育理念的“误差理论”课程改革与实践基于网络平台的循证医学线上/线下相结合教学模式及其考核方法的研究高等院校设计伦理教育浸润式教学研究以互动式网络研究型教学模式跟踪和评估《疾病与免疫学》教学质量翻转课堂的应用研究——文化和学习习惯的视角基于移动端的混合教学模式改革研究—以《教育心理学》课程为例案例情景下的SP教学模式在康复治疗专业的创新研究及探索 “翻转课堂”在《公共关系学》教学中的应用研究研究性教学法在“数字信号处理”课程中的探索和实践电子商务创新创业人才培养模式改革研究科研融入教学在《先进材料制备技术与加工工艺》课程的研究与实践协同创新体系下环境专业创新型人才培养研究理论释惑与现实解惑：思想政治理论课问题互助知识共享价值共建教学模式研究中外高校机械类课程理论教学、实践教学与科研引导相结合的对比研究 “翻转教学”在人力资源管理专业教学中的应用综合性院校人文类通识课程体系建设研究 “对分课堂”教学模式在《教育法学》教学中的应用研究校园长跑“4+2学期”模式的探索与应用基于新媒体技术的“课程学习共同体”教学模式探索——以《当代中国政治制度》为例基于“三个一”理念的大学体育游戏教材创新研究《建筑设计基础》课程中“建构实验”教学改革研究

大语言模型在数学推理中的研究进展

大语言模型在数学推理中的研究进展目录一、内容描述 (2)1.1 研究背景 (2)1.2 研究意义 (3)1.3 文献综述 (4)二、大语言模型的基础知识 (5)2.1 语言模型的定义与发展历程 (7)2.2 大语言模型的主要技术 (7)2.3 大语言模型的应用领域 (8)三、数学推理概述 (9)3.1 数学推理的定义与重要性 (9)3.2 数学推理的基本类型 (11)3.3 数学推理的应用场景 (12)四、大语言模型在数学推理中的应用研究 (13)4.1 基于规则的方法 (14)4.1.1 命题逻辑推理 (15)4.1.2 谓词逻辑推理 (16)4.2 基于统计的方法 (16)4.2.1 逻辑回归 (17)4.2.2 深度学习在数学推理中的应用 (18)4.3 基于知识图谱的方法 (19)4.3.1 知识图谱构建与推理 (21)4.3.2 知识图谱与语言模型的结合 (21)五、大语言模型在数学推理中的挑战与未来展望 (22)5.1 当前面临的挑战 (23)5.1.1 计算资源限制 (24)5.1.2 推理准确性与可解释性的平衡 (25)5.2 未来发展方向 (25)5.2.1 提高推理准确性 (27)5.2.2 增强模型的可解释性 (27)5.2.3 结合多种推理方法 (28)六、结论 (29)6.1 研究成果总结 (29)6.2 对未来研究的建议 (30)一、内容描述在实际应用中，大语言模型在数学推理领域展现出了广泛的应用前景。

在在线教育平台上，大语言模型可以辅助教师出题和批改作业，提高教学效果；在智能客服系统中，模型能够快速回答用户关于数学问题的咨询，提升用户体验；在科研领域，大语言模型可以帮助研究人员处理复杂的数学公式和理论，加速科学研究的进程。

大语言模型在数学推理方面仍面临一些挑战，模型对于复杂数学问题的理解仍然有限，难以处理一些需要深度逻辑推理的问题。

由于语言和数学之间的差异，模型在生成数学表达式时可能会出现语义错误或不符合数学规则的情况。

基于对比学习的视觉增强多模态命名实体识别

基于对比学习的视觉增强多模态命名实体识别于碧辉;谭淑月;魏靖烜;孙林壮;卜立平;赵艺曼【期刊名称】《计算机科学》【年(卷),期】2024(51)6【摘要】多模态命名实体识别(MNER)的目的是在给定的图像-文本对中检测实体范围并将其分类为相应的实体类型。

尽管现存的MNER方法取得了成功,但它们都集中在使用图像编码器提取视觉特征后,不做增强或过滤处理,直接送入跨模态交互机制。

此外,由于文本和图像的表示来自不同的编码器,很难弥合两种模态之间的语义鸿沟,因此,提出了一个基于对比学习的视觉增强多模态命名实体识别模型(MCLAug)。

首先,使用ResNet收集图像特征,在此基础上提出金字塔双向融合策略,将低层次高分辨率和高层次强语义的图像信息结合起来,以增强视觉特征。

其次,利用CLIP模型中的多模态对比学习思想,计算并最小化对比损失,使两种模态的表示更加一致。

最后,利用跨模态注意力机制和门控融合机制获得融合后的图像和文本表示,并通过CRF解码器来执行MNER任务。

在两个公开数据集上进行了对比实验并进行消融研究和案例研究,结果证明了所提模型的有效性。

【总页数】8页(P198-205)【作者】于碧辉;谭淑月;魏靖烜;孙林壮;卜立平;赵艺曼【作者单位】中国科学院大学;中国科学院沈阳计算技术研究所【正文语种】中文【中图分类】TP391【相关文献】1.基于深度迁移学习的地方志多模态命名实体识别研究2.基于多任务学习的多模态命名实体识别方法3.基于去偏对比学习的多模态命名实体识别4.基于对比学习的中文命名实体识别方法5.基于语言-视觉对比学习的多模态视频行为识别方法因版权原因，仅展示原文概要，查看原文内容请购买。

人工智能领域多模态智能和应用方面88个课题名称

人工智能领域多模态智能和应用方面88个课题名称1. 多模态情感分析2. 多模态人脸识别3. 多模态语音识别4. 多模态目标检测5. 多模态问答系统6. 多模态图像生成7. 多模态医学影像分析8. 多模态手势识别9. 多模态行为识别10. 多模态用户建模11. 多模态图像处理12. 多模态人机交互13. 多模态自然语言处理14. 多模态智能家居15. 多模态推荐系统16. 多模态广告推送17. 多模态媒体检索18. 多模态车辆识别19. 多模态视频分析20. 多模态声音合成21. 多模态情感计算22. 多模态虚拟现实23. 多模态增强现实24. 多模态机器翻译25. 多模态姿势估计26. 多模态语义分割27. 多模态音乐生成28. 多模态产品推荐29. 多模态舆情分析30. 多模态场景理解31. 多模态医疗辅助诊断32. 多模态智能交通系统33. 多模态农业智能化34. 多模态金融风险评估35. 多模态电商推荐36. 多模态智慧城市37. 多模态个性化推送38. 多模态学习评估39. 多模态智能安防系统40. 多模态智能音箱41. 多模态电视节目推荐42. 多模态在线教育43. 多模态社交媒体分析44. 多模态婴儿监测45. 多模态智能旅游46. 多模态身份认证47. 多模态电影推荐48. 多模态精神疾病诊断49. 多模态交通流预测50. 多模态物流智能化51. 多模态娱乐体验52. 多模态虚拟助手53. 多模态人才招聘54. 多模态智能广告投放55. 多模态工业自动化56. 多模态心理健康分析57. 多模态智能维修58. 多模态机器人导航59. 多模态物联网应用60. 多模态远程医疗61. 多模态智能决策62. 多模态游戏交互63. 多模态违规监控64. 多模态机器人协作65. 多模态楼宇管理66. 多模态电子商务67. 多模态人员定位68. 多模态智能门锁69. 多模态个人健康管理70. 多模态智能能源管理71. 多模态网络安全72. 多模态环境监测73. 多模态智能车辆平台74. 多模态食品安全检测75. 多模态智能厨房76. 多模态电力供应优化77. 多模态智能投资78. 多模态刑侦系统79. 多模态智能家电80. 多模态水质监测81. 多模态电网调度82. 多模态健康监测83. 多模态感知系统84. 多模态智能物流85. 多模态辅助教育86. 多模态自动驾驶87. 多模态智能体育88. 多模态军事应用。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

）到稿日期：资助。２０１１０２２３２０１１０５１９ＢＥ２０１０６３８－－返修日期：－－本文受江苏省社会发展项目（，：杨琬琪（女，硕士生，主要研究方向为多模态数据挖掘与社会网络分析，１９８８－）Ｅ－ｍａｉｌｎｕ．ａｎｗａｎｉｍａｉｌ．ｃｏｍ。＠ｇｊｙｇｑ
摘要近年来，多模态数据挖掘技术备受关注，如何高效地挖掘大量多模态数据成为一个研究热点。其中，基于张量表示的多模态据挖掘，即多模态张量数据挖掘，是一个重要的研究问题。综述了多模态张量数据挖掘算法进展及任务和核心技术的不同，对这些方法进行分类，并给出了相应其在计算机视觉中的应用。首先根据算法的样本标记、的介绍和分析。其次，讨论了一些多模态张量数据挖掘算法在计算机视觉问题中的典型应用。最后，就多模态张量挖掘在计算机视觉领域的研究现状与研究前景进行了简要的分析。关键词多模态张量，数据挖掘，张量表示，计算机视觉中图法分类号ＴＰ３９１．４１文献标识码Ａ
１引言
多模态数据（视频、音频、图像等）的挖掘是机器视觉、模人工智能等领域的重要技术之一。其中，多模态数据式识别、的表示是多模态数据挖掘的核心问题。目前，多模态数据表示分为向量表示与张量表示两类。不同于成熟的基于向量表示的多模态数据挖掘方法表示的特点有：）张量结构直观上易于表示多模态数据，一阶表示一个１模态，不同的模态维度不同，而向量表示往往忽视这一点；）在提取特征（尤其是图像特征）时，张量可以有效保存２原始样本的结构特征；）在数据变换时，张量可以充分考虑不同模态之间的相３关性与互补性，向量表示很难挖掘上述关系；
第３９卷第１期２０１２年１月
计算机科学ＣｏｍｕｔｅｒｃｉｅｎｃｅＳｐ
Ｖｏｌ．３９Ｎｏ．１Ｊａｎ２０１２
多模态张量数据挖掘算法及应用
２１，２３１，２１，２杨琬琪１，高阳周新民杨育彬商琳１２（））南京大学软件新技术国家重点实验室南京２南京大学江阴信息技术研究院无锡２１００９３１４４３３（３（）江苏省公安厅物证鉴定中心南京２１００２４
Ａｂｓｔｒａｃｔｕｌｔｉｏｄａｌｄａｔａｍｉｎｉｎｔｅｃｈｎｏｌｏｉｅｓｈａｖｅａｔｔｒａｃｔｅｄｍａｎｒｅｓｅａｒｃｈｉｎｔｅｒｅｓｔｓｉｎｒｅｃｅｎｔｌａｒｅａｅａｒｓ．ＭｉｎｉｎＭ－ｍ－ｇｇｙｇｙｇ，ｍｏｕｎｔｏｆｍｕｌｔｉｏｄａｌｄａｔａｅｆｆｉｃｉｅｎｔｌｂｅｃｏｍｅｓａｈｏｔｓｏｔｔｈｅｓｅｍｕｌｔｉｏｄａｌｍｉｎｉｎｔｅｃｈｎｏｌｏｉｅｓｍｕｌｔｉｒｏｂｌｅｍ．Ａｍｏｎ－ｍ－ｍ－ｙｐｇｇｐｇ，，ｍｏｄａｌｄａｔａｍｉｎｉｎｆｏｒｔｅｎｓｏｒｒｅｒｅｓｅｎｔａｔｉｏｎｗｈｉｃｈｉｓａｌｓｏｃａｌｌｅｄａｓｍｕｌｔｉｏｄａｌｔｅｎｓｏｒｄａｔａｍｉｎｉｎｉｓｏｎｅｏｆｔｈｅｍｏｓｔ－ｍｇｐｇｒｅｓｅａｒｃｈｉｓｓｕｅｓ．Ｗｅｒｅｖｉｅｗｅｄｔｈｅｓｔａｔｅｏｆｔｈｅａｒｔａｌｏｒｉｔｈｍｓｏｆｔｈｅｍｕｌｔｉｏｄａｌｔｅｎｓｏｒｄａｔａｍｉｎｉｎａｎｄｔｈｅｉｒｓｉｎｉｆｉｃａｎｔ－－－－ｍｇｇｇ，ａｌｉｃａｔｉｏｎｓｉｎｃｏｍｕｔｅｒｖｉｓｉｏｎ．Ｆｉｒｓｔｌｕｌｔｉｏｄａｌｔｅｎｓｏｒｄａｔａｍｉｎｉｎａｌｏｒｉｔｈｍｓｗｅｒｅｃａｔｅｏｒｉｚｅｄｉｎｔｏｄｉｆｆｅｒｅｎｔｃｌａｓ－ｍ－ｐｐｐｙｍｇｇｇ，，ｓｅｓａｃｃｏｒｄｉｎｔｏｔｈｅｄｉｆｆｅｒｅｎｔｌａｂｅｌｉｎｆｏｒｍａｔｉｏｎｔａｓｋａｎｄｃｏｒｅｔｅｃｈｎｏｌｏ．Ｉｎａｄｄｉｔｉｏｎｓｏｍｅａｎａｌｓｅｓａｂｏｕｔｔｈｅｓｅａｌｏ－ｇｇｙｙｇ，ｒｉｔｈｍｓｗｅｒｅｓｏｍｅｔｉｃａｌｍｕｌｔｉｏｄａｌｔｅｎｓｏｒｍｉｎｉｎａｌｏｒｉｔｈｍｓｉｎｃｏｍｕｔｅｒｖｉｓｉｏｎａｌｉｃａｔｉｏｎｗｅｒｅｉｌｉｖｅｎ．Ｓｅｃｏｎｄｌ－ｍ－ｙｐｇｇｐｐｐｇｙ，，ｒｅｓｅｎｔｅｄｌｕｓｔｒａｔｅｄ．Ｆｉｎａｌｌｗｅｏｕｒｏｗｎａｎａｌｓｅｓｏｎｒｅｓｅａｒｃｈｓｔａｔｕｓｏｆｍｕｌｔｉｏｄａｌｔｅｎｓｏｒｍｉｎｉｎａｌｏｒｉｔｈｍｓａｎｄｅｘ－ｍ－ｐｙｙｇｇｌｏｒｅｄｓｏｍｅｏｔｅｎｔｉａｌｆｕｔｕｒｅｉｓｓｕｅｓｏｆｍｕｌｔｉｏｄａｌｔｅｎｓｏｒｍｉｎｉｎｉｎｃｏｍｕｔｅｒｖｉｓｉｏｎａｌｉｃａｔｉｏｎ．－ｍｐｐｇｐｐｐ，，，ＫｅｗｏｒｄｓＭｕｌｔｉｏｄａｌｔｅｎｓｏｒＤａｔａｍｉｎｉｎＴｅｎｓｏｒｒｅｒｅｓｅｎｔａｔｉｏｎＣｏｍｕｔｅｒｖｉｓｉｏｎ－ｍｇｐｐｙ）张量表示可以有效解决向量表示的疑难问题，如维度４灾难、矩阵奇异等。本文综述了当前基于张量表示的多模态数据挖掘方法。首先介绍张量代数的基础知识，其次对基于张量表示的多模态数据挖掘方法进行分类和描述，最后讨论基于张量表示的多模态数据挖掘算法在计算机视觉上的应用。
Ｉ１是矢量ａ∈Ｒｎ阶的维度大小是Ｉ ∈Ｒ是０阶张量，ｎ。标量ａＩ１× Ｉ２是２阶张量。基于张量表示，矩阵Ａ∈Ｒ可以１阶张量，
）、进一步定义张量矩阵展开、模乘（张量积ｒｏｄｕｃｔＭｏｄｅｐ（）和张量分解。Ｔｅｎｓｏｒｒｏｄｕｃｔｐ）张量矩阵展开１
［１］
，近年来基于张量表示的多模态
数据挖掘方法得到了长足的发展。与向量表示相比较，张量
２张量代数
张量是多向阵列，可看作向量、矩阵的高阶扩展。一个Ｎ
… ＩＩＩＮ（１× ２× × ，阶张量Ａ∈Ｒ第ＩＩＩ１× ２× … × Ｎ为笛卡尔乘积）
·９·
张量矩阵展开（是将张量中的元素重新排列构成Ｎ＞２）矩阵的过程。对张量Ａ∈Ｒ
Ｉ × Ｉ ×…× Ｉ１２Ｎ
量表示的多模态数据挖掘算法按表１进行分类。下面针对每一类的具体算法作详细介绍。
表１多模态数据挖掘算法分类
样本性质任务核心技术具体算法
进行第ｎ阶矩阵展开
Ｉ × Ｉ形成二阶张量展开矩阵Ａ（其中Ｉ后，ｎ）∈Ｒｎｎ，ｎ是其他阶维
度大小的乘积，即ＩＩＩＩＩｎ＝１… ｎ－１ｎ＋１ … Ｎ。以３阶张量Ａ∈
ＩＩＩ１× ２× ３为例，其张量矩阵展开过程如图１所示。Ｒ
训练样本有标记
预测，支持张ＳＴＭ，ＴＳＴＭ，ＭＳＴＭｓ分类量机ＲＭＳＴＭｓ生成式ＴＭＰＭ，ＢＴＡ分析ＰＣＡ系列２ＤＰＣＡ，ＧＰＣＡ，ＭＰＣＡ，ＲＭＰＣＡ，ＮＭＰＣＡ，ＵＭＰＣＡＭＩＣＡ，ＤＩＣＡ
ＭｕｌｔｉｏｄａｌＴｅｎｓｏｒＤａｔａＭｉｎｉｎＡｌｏｒｉｔｈｍｓａｎｄＡｌｉｃａｔｉｏｎｓ－ｍｇｇｐｐ
１２１２３１２１２ＹＡＮＧＷａｎＹａｎＨＯＵＸｉｎｉｎＹｕｂｉｎＨＡＮＧＬｉｎｉ－ＧＡＯ－ｍＹＡＮＧ－ＳｇＺｑ１（，，）ＳｔａｔｅＫｅＬａｂｏｒａｔｏｒｆｏｒＮｏｖｅｌＳｏｆｔｗａｒｅａｎｄＴｅｃｈｎｏｌｏＮａｎｉｎＵｎｉｖｅｒｓｉｔＮａｎｉｎ２１００９３，Ｃｈｉｎａｙｙｇｙｊｇｙｊｇ２（，，）ＪｉａｎｉｎＩｎｓｔｉｔｕｔｅｏｆＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏＮａｎｉｎＵｎｉｖｅｒｓｉｔＷｕｘｉ２１４４３３，Ｃｈｉｎａｇｙｇｙｊｇｙ３（，）ＪｉａｎｓｕＰｒｏｖｉｎｃｅＰｕｂｌｉｃＳｅｃｕｒｉｔＤｅａｒｔｍｅｎｔＮａｎｉｎ２１００２４，Ｃｈｉｎａｇｙｐｊｇ，，，，