穿戴式动作捕捉在虚拟直播中的应用研究

合集下载

基于人工智能的动作捕捉与运动分析研究

基于人工智能的动作捕捉与运动分析研究

基于人工智能的动作捕捉与运动分析研究人工智能技术的快速发展与广泛应用,给许多领域都带来了巨大的机遇和挑战。

其中,基于人工智能的动作捕捉与运动分析研究在体育训练、医疗康复、虚拟现实等领域具有重要的应用价值。

本文将重点介绍基于人工智能的动作捕捉技术及其在运动分析中的研究进展和应用。

动作捕捉是指通过各种传感器和设备采集人体关节的位置、姿态和运动信息,并将其转化为计算机可处理的数据。

传统的动作捕捉技术主要依赖于电磁感应、光学标记和惯性测量等方式,但这些方法存在设备昂贵、操作复杂、局限性强等问题。

基于人工智能的动作捕捉技术应运而生,不仅能够克服传统技术的种种限制,还具备更高的精度、实时性和稳定性。

在基于人工智能的动作捕捉中,深度学习是常用的方法之一。

通过深度学习框架,如卷积神经网络(CNN)和循环神经网络(RNN),可以对输入的图像数据或时间序列数据进行学习和训练,从而实现对人体动作的自动识别、关节点提取和重建等重要任务。

例如,可以通过训练一个CNN模型,将输入的图像数据与已标注的动作关键点进行匹配,就能够实现对人体动作的实时追踪和捕捉。

除了深度学习,基于传感器的动作捕捉技术也得到了广泛的研究与应用。

利用惯性传感器、压力传感器、电极传感器等设备,可以实时获取人体关节点的位置、速度、加速度等动作信息。

通过将传感器数据与机器学习算法相结合,可以实现对人体动作的准确识别和分析。

例如,在体育训练中,运动员可以佩戴传感器设备进行训练,系统可以实时分析运动员的动作质量、力量输出等指标,为训练提供科学依据。

基于人工智能的动作捕捉技术在运动分析中具有广泛的应用前景。

首先,它可以为体育训练提供科学的指导和反馈。

通过对运动员的动作进行实时分析,可以发现动作中存在的问题和不足,并给予相关的改进建议。

其次,它可以为医疗康复提供便利和支持。

通过对患者的动作进行监测和分析,医生可以制定更加个性化和有效的康复方案。

同时,基于人工智能的动作捕捉技术还可以在虚拟现实、游戏开发、影视特效等领域发挥重要的作用。

面向虚拟现实的体感交互技术研究与设计

面向虚拟现实的体感交互技术研究与设计

面向虚拟现实的体感交互技术研究与设计虚拟现实(Virtual Reality,VR)技术是一种通过计算机生成的仿真环境,使用户能够沉浸在一个与现实世界完全不同的虚拟世界中。

体感交互技术是指用户可以通过身体的动作和感知进行与虚拟环境的互动。

本文将围绕面向虚拟现实的体感交互技术进行研究和设计,介绍相关技术原理、应用领域以及未来发展趋势。

一、技术原理1. 传感器技术:体感交互技术离不开传感器技术的支持。

加速度计、陀螺仪、磁力计等传感器可以感知用户的动作和姿势,将其转化为计算机可以理解的数据。

这些传感器通常集成在虚拟现实设备中的控制器中,从而实现用户与虚拟环境的交互。

2. 动作捕捉技术:动作捕捉技术可以将用户的身体动作实时捕捉并传输到虚拟环境中,使用户在虚拟世界中能够进行真实的身体运动。

常见的动作捕捉技术包括光学跟踪、惯性传感器和机械式轨迹球等。

3. 虚拟现实头显技术:虚拟现实头显是用户与虚拟环境交互的窗口,其中包含显示屏、传感器和音频设备。

头显可以实时响应用户的头部动作,改变虚拟环境的视角,增强沉浸感。

通过合理设计头显的重量、舒适度和可调性,可以提升用户的体验和长时间佩戴的舒适度。

二、应用领域1. 游戏和娱乐:虚拟现实的体感交互技术在游戏和娱乐领域有广泛的应用。

用户可以通过体感交互与虚拟现实世界进行互动,使游戏体验更加真实和沉浸。

例如,体感游戏可以通过用户的身体动作控制角色操作、射击或跳跃等,增加游戏的趣味性和挑战性。

2. 教育和培训:虚拟现实的体感交互技术为教育和培训提供了全新的方式。

学生或培训者可以通过身体动作和感知参与到虚拟环境中,进行模拟实验、虚拟演示或培训。

例如,医学学生可以通过虚拟环境进行手术模拟,提高操作技能和决策能力。

3. 健康care:体感交互技术可以帮助人们保持身体健康和心理平衡。

通过虚拟环境和体感交互技术,用户可以参与身体锻炼、冥想、瑜伽等活动,达到放松身心、增强体质的效果。

同时,虚拟现实还为老年人或残障人士提供了康复训练和心理疏导的平台。

虚拟现实技术的动作捕捉算法使用技巧

虚拟现实技术的动作捕捉算法使用技巧

虚拟现实技术的动作捕捉算法使用技巧虚拟现实(VR)技术作为一种新型的交互式媒体技术,已经在诸多领域取得了重大突破。

动作捕捉是VR技术中至关重要的一环,它能够让用户的身体动作在虚拟世界中得以准确还原。

本文将介绍虚拟现实技术的动作捕捉算法使用的技巧,以帮助开发者更好地应用这一技术。

首先,了解常见的动作捕捉算法是十分必要的。

常见的动作捕捉算法包括惯性导航、机械式和光学式动作捕捉、电磁式动作捕捉等。

对于不同的应用场景和需求,选择合适的捕捉算法是至关重要的。

例如,光学式动作捕捉适用于关节活动范围较大且准确度要求较高的场景,而惯性导航则适用于需要大范围移动的场景。

其次,合理设置动作捕捉设备和传感器的参数。

动作捕捉设备通常由传感器、处理器和软件组成。

在使用动作捕捉设备之前,需要根据应用需求,合理设置传感器的采样率、灵敏度和过滤器等参数。

采样率决定了设备对动作的响应速度,灵敏度决定了设备对细微动作的感知能力,过滤器则用于降低噪声对捕捉结果的干扰。

在使用动作捕捉设备的过程中,还需要注意使用环境。

虚拟现实技术往往需要用户在特定的环境中进行操作,因此需要保证环境的光线、温度和湿度等指标符合设备要求。

此外,还需要排除环境中可能引起干扰的因素,例如金属物体和电磁干扰源。

在捕捉动作的过程中,要确保用户的动作准确还原。

在使用动作捕捉设备之前,用户需要正确穿戴设备并进行校准。

校准过程通常包括校准动作和校准传感器。

校准动作是通过执行一系列标准动作,使设备能够准确地感知用户的动作。

而校准传感器则是通过校准设备本身的传感器参数,提高数据采集和处理的准确性。

此外,在使用动作捕捉设备时,还需要注意用户的安全。

虚拟现实技术通常需要用户进行跃迁、躲闪等高强度运动,因此需要确保用户在使用过程中不会发生意外。

在进行高强度运动之前,用户应该做好适当的准备活动,并保持周围环境的安全。

同时,也需要设备本身具备安全功能,例如设置报警装置和限制用户运动范围的功能。

AI助力多媒体行业虚拟主播技术创新

AI助力多媒体行业虚拟主播技术创新

AI助力多媒体行业虚拟主播技术创新随着科技的不断发展和智能化的应用,人工智能(AI)正逐渐渗入各个行业,并为其带来了革命性的变化。

多媒体行业也不例外,AI助力虚拟主播技术的创新正引发了行业内外的广泛关注。

一、虚拟主播的定义和形式虚拟主播是指通过计算机生成的虚拟人物,具备声音与动作表演能力,并且能够通过直播、录播等形式与观众进行互动。

虚拟主播的形象可以是动漫角色、人形机器人或虚拟现实中的人物,通过AI技术实现与观众的沟通和交互。

二、AI在虚拟主播技术中的应用1. 语音合成技术语音合成技术是虚拟主播的重要组成部分。

通过AI技术,可以将文字转化为自然流畅的语音,并赋予虚拟主播独特的声音和语调。

利用深度学习模型,虚拟主播可以模仿真人的语音特点,达到辨识度极高的程度。

2. 人脸识别技术虚拟主播需要通过摄像头和观众进行互动,而人脸识别技术使得虚拟主播能够实时感知观众的情绪和反馈。

通过AI算法和深度学习网络,虚拟主播可以解读观众的表情、姿态和眼神,更好地与观众进行情感交流。

3. 动作捕捉技术虚拟主播需要通过动作与观众产生互动,动作捕捉技术则可实现虚拟主播动作的精准还原。

通过穿戴传感器和摄像头对虚拟主播进行动作捕捉,再通过AI算法进行分析和还原,虚拟主播可以实现高度逼真的动作表演。

三、虚拟主播技术的创新与应用前景1. 丰富多样的内容生产虚拟主播技术可以为多媒体行业带来无限的创作可能。

通过AI技术,虚拟主播可以扮演不同角色,通过变换外貌、语调和动作,呈现各类内容,从游戏直播到新闻报道,从综艺节目到电影配音,为观众提供更加丰富多样的内容。

2. 提高创作效率与成本降低虚拟主播技术的引入将大大提高创作效率与降低成本。

相比真人主播,虚拟主播不需要进行化妆、摄制和后期剪辑等步骤,创作者可以更加便捷地完成内容制作。

此外,虚拟主播也不会受到时间和空间的限制,能够实现24小时全天候直播,提高观众的服务体验。

3. 打破地域限制与多语言服务虚拟主播技术的应用也有助于打破地域限制与提供多语言服务。

虚拟现实技术在体育赛事直播中的应用研究

虚拟现实技术在体育赛事直播中的应用研究

虚拟现实技术在体育赛事直播中的应用研究随着科技的不断发展,虚拟现实技术(Virtual Reality, VR)在各个领域都得到了广泛应用。

体育赛事作为人们喜爱的娱乐活动之一,也开始探索并应用虚拟现实技术来提升观赛体验。

本文将探讨虚拟现实技术在体育赛事直播中的应用研究。

虚拟现实技术是一种模拟现实场景的技术,通过电脑生成一种类似于真实环境的感觉,以增强用户的沉浸感。

体育赛事直播是近年来非常火热的市场,借助虚拟现实技术,观众可以更加身临其境地感受到比赛的激烈和紧张。

虚拟现实技术在体育赛事直播中的应用研究,旨在通过创新的技术手段来提升观众的参与感和娱乐体验。

一、虚拟现实技术在体育赛事直播中的视角体验虚拟现实技术在体育赛事直播中的最直观应用就是为观众提供全新的视角体验。

传统的电视直播只能提供固定的镜头角度,观众无法自由选择感兴趣的视角。

而借助虚拟现实技术,观众可以通过VR头显来自由选择观看比赛的角度,仿佛自己置身于比赛现场,享受到身临其境的感觉。

通过虚拟现实技术,观众可以选择不同的视角,如选手视角、教练视角、裁判视角等,从不同的角度感受比赛的紧张和激烈。

观众可以自由选择某个选手视角,感受到选手在比赛中的动作、呼吸和心跳,大大增强观众对比赛的代入感。

此外,虚拟现实技术还可以模拟比赛现场的环境,比如喧闹的观众声、音效等,让观众完全融入比赛氛围。

通过虚拟现实技术,在家中观看比赛的观众可以获得与现场观众相似的体验,极大地提升观赛的乐趣。

二、虚拟现实技术在体育赛事直播中的实时数据呈现虚拟现实技术在体育赛事直播中的另一个应用研究方向是实时数据呈现。

在传统的体育赛事直播中,观众只能通过解说员的解说和屏幕上的数据展示来了解比赛情况。

然而,这种方式无法真正将观众带入比赛场面。

虚拟现实技术可以将实时的比赛数据以更加直观和有趣的方式展现给观众。

通过VR头显,在观众的视野中呈现出各种数据统计图、实时指标、比分变化等,让观众更加清晰地了解比赛的进程和情况。

动作捕捉技术在虚拟现实影视制作中的使用方法

动作捕捉技术在虚拟现实影视制作中的使用方法

动作捕捉技术在虚拟现实影视制作中的使用方法随着科技的发展和创新,虚拟现实(Virtual Reality,简称VR)影视制作已经成为了影视行业中的新趋势。

在这一趋势中,动作捕捉技术扮演着至关重要的角色。

动作捕捉技术是一种将真实世界中的物体、人物动作转化为数字表现的技术。

它能够将演员的动作精准地记录下来,并应用于动画、游戏和影视制作中,使得虚拟现实世界中的角色能够以逼真的方式展现出来。

在虚拟现实影视制作中使用动作捕捉技术,需要进行以下几个步骤:第一步是选取适当的动作捕捉设备。

动作捕捉设备通常由传感器、摄像头及软件组成,传感器贴在演员的身上并记录他们的动作,摄像头将演员的表情和肢体动作拍摄下来,软件则负责解读和处理这些数据。

常见的动作捕捉设备包括光电式传感器和惯性传感器。

光电式传感器采用红外线摄影机记录演员的动作,而惯性传感器则通过陀螺仪、加速度计和磁力计等技术来感知演员的动作。

根据制作需求和预算,制片方可以选择合适的设备。

第二步是设置适当的捕捉场景。

捕捉场景应根据影片剧情和故事背景进行设置,以保证虚拟角色的动作与剧情相符。

例如,如果虚拟现实影片中的角色需要进行战斗动作,那么捕捉场景应该设置成类似于战斗场地的环境,以便捕捉到更真实的战斗动作。

此外,捕捉场景还应考虑光线、摄像机设置等因素,以确保捕捉到的数据质量和准确性。

第三步是进行动作捕捉。

在动作捕捉过程中,演员需要穿戴动作捕捉设备,并按照导演或者摄影师的指导进行表演。

摄像头会记录他们的行动和表情,传感器会记录他们的肢体动作。

此外,还可以通过添加特殊效果、道具或者设置特殊场景来提高捕捉效果。

整个捕捉过程需要严格控制演员的动作幅度和力度,以免损坏设备或者受伤。

第四步是解读和处理捕捉到的数据。

捕捉到的数据将被导入到专门的动作捕捉软件中进行分析和处理。

这些软件可根据录制的数据来生成虚拟角色的动作,并加入适当的细节,例如皮肤和面部表情等。

在处理过程中,摄像头拍摄到的图像和传感器记录到的数据需要进行对齐和同步,以确保虚拟角色的动作和表情与演员保持一致。

动作捕捉技术在虚拟现实与游戏中的应用研究

动作捕捉技术在虚拟现实与游戏中的应用研究

动作捕捉技术在虚拟现实与游戏中的应用研究现如今,随着科技的不断进步和发展,动作捕捉技术在虚拟现实与游戏领域得到了广泛的应用和研究。

动作捕捉技术是指通过对人体动作的追踪和记录来实现对虚拟人物或游戏角色的准确表达和控制的技术。

本文将从动作捕捉技术的原理、在虚拟现实与游戏中的应用以及未来的发展前景等方面进行探讨。

首先,我们来了解一下动作捕捉技术的原理。

动作捕捉技术通过利用传感器和摄像头等设备对人体姿态和动作进行采集和记录,然后将这些数据应用到虚拟人物或游戏角色上,使其能够准确地模仿人体动作和姿态。

目前,动作捕捉技术主要有两种方式:惯性动作捕捉和视觉动作捕捉。

惯性动作捕捉通过在人体关节处安装传感器来测量人体的动作,而视觉动作捕捉则是通过摄像头来对人体动作进行追踪和记录。

在虚拟现实领域,动作捕捉技术的应用可以带来更加真实和沉浸式的体验。

通过动作捕捉技术,用户可以通过自己的身体动作来操控虚拟人物在虚拟环境中进行操作,让用户感受到更加真实的交互体验。

例如,在虚拟现实游戏中,通过动作捕捉技术,玩家可以使用自己的手臂来挥动剑、发出拳击等动作,与游戏中的敌人进行实时的互动。

这种交互方式不仅提升了游戏的乐趣和真实感,还有助于增强玩家的沉浸感和参与度。

此外,在游戏开发中,动作捕捉技术也起到了至关重要的作用。

通过对真实动作的捕捉和模拟,游戏中的角色动作更加生动和自然,提升了游戏的可玩性和逼真程度。

例如,在体育游戏中,动作捕捉技术可以捕捉到运动员实际比赛的动作,并将其应用到游戏角色上,使得玩家可以通过真实的动作来完成游戏操作,增加了游戏的可信度。

此外,动作捕捉技术还可应用于角色动画的制作,通过对真实动作的捕捉和模拟,使得游戏中的角色动作更加流畅和精准,增强了游戏的视觉效果和表现力。

未来,动作捕捉技术有着广阔的发展前景。

随着人工智能和计算机视觉等领域技术的飞速发展,动作捕捉技术将会更加准确和高效。

例如,通过深度学习和神经网络等技术,可以实现对更加复杂和细致的人体动作的捕捉和模拟。

虚拟现实系统中的动作捕捉与姿态识别研究

虚拟现实系统中的动作捕捉与姿态识别研究

虚拟现实系统中的动作捕捉与姿态识别研究随着科技的不断进步,虚拟现实(Virtual Reality,简称VR)技术的应用越来越广泛。

虚拟现实系统通过模拟人类的感知和交互方式,呈现出一种虚拟的环境,使用户能够身临其境地体验各种场景。

而在虚拟现实系统中,动作捕捉与姿态识别技术的应用至关重要。

动作捕捉与姿态识别研究的目标是准确地捕捉用户的动作和姿态,实现真实感十足的交互体验。

动作捕捉是指将用户的动作和姿态转化为虚拟环境中的相应动作。

传统的动作捕捉系统使用传感器或标记来跟踪用户的动作,并将其在虚拟环境中实时渲染出来。

然而,这些传统技术通常需要用户穿戴特殊的设备或标记物,限制了用户的自由度和舒适度。

为了解决这个问题,研究人员提出了基于计算机视觉的非接触式动作捕捉技术。

这种技术可以通过摄像头捕捉用户的动作和姿态,不需要用户穿戴任何设备,提高了用户的舒适度和自然感。

虚拟现实系统中的动作捕捉与姿态识别研究主要涉及以下方面:首先,需要研究如何准确地捕捉用户的动作和姿态。

这需要借助计算机视觉和机器学习技术。

计算机视觉技术可以通过分析用户的运动轨迹和形态来判断其动作和姿态。

例如,通过检测人体关节点的位置和运动轨迹,可以推断出用户正在执行的手势、动作或姿态。

而机器学习技术可以通过训练模型来识别用户的特定动作和姿态,提高系统的准确度和稳定性。

其次,需要研究如何提高动作捕捉和姿态识别的实时性。

虚拟现实系统要求用户的动作和姿态能够实时地反映在虚拟环境中,以确保用户的交互体验。

因此,研究人员需要优化算法和提高系统性能,以实现实时和流畅的动作捕捉和姿态识别。

此外,还需要研究如何解决动作捕捉和姿态识别中的问题和挑战。

例如,光照条件的变化、背景干扰、遮挡等都会对动作捕捉和姿态识别的准确性产生影响。

研究人员需要提出相应的方法和算法来解决这些问题,以提高系统的鲁棒性和适应性。

最后,还需要研究如何将动作捕捉和姿态识别技术应用于不同领域。

虚拟现实技术不仅在娱乐领域有着广泛的应用,还可以应用于教育、医疗、训练等众多领域。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

穿戴式动作捕捉在虚拟直播中的应用研究*文/陈曦 黄昌正 卢子健0 引言“直播”在传统语境中普遍被认为是电视直播,从时间和空间维度来理解,它具备实时性和在场感。

如今,传统的电视直播或虚拟动画已无法满足人与人之间实时互动的欲望。

为适应时代潮流和市场趋势,直播的媒介不断发生变化,在互联网时代衍生的虚拟直播是强化传统直播和传统虚拟动画的外延及内涵。

传统虚拟动画录制需要大量中后期制作时间,极为消耗人力和物力,要想实现直播,如何压缩中间制作环节,达到数据实时同步要求一直是业内的难题。

对于直播内容生产者而言,塑造惟妙惟肖、生动活泼的人物形象,直播中的手部动作是关键要素,对于动作捕捉要求较高,同时实现完整沉浸式体验以及实时交互需要多方面高精尖技术融合使用。

技术的革新和突破绝非一蹴而就,需要适应市场,满足大众需求,逐步提升、逐渐成长而来。

穿戴式动作捕捉技术与虚拟现实技术相结合,让虚拟直播中的主持人将声音、交互动作的“真实”与正逐渐被大众认可的虚拟展示形象进行实时融合,虚拟形象得到大范围的认可,让直播内容生产者拥有更多的发挥空间,虚拟主播正是由此而生的。

1 直播市场持续升温,新的波澜已经激起2018年8月20日,由中国互联网络信息中心发布的第42次《中国互联网络发展状况统计报告》显示,截至2018年6月,我国网民规模达8.02亿人,互联网普及率为57.7%,我国网络直播用户规模达到4.25亿人。

2018年网络娱乐市场需求强烈,网络原创作品得到政府出台政策鼓励,直播类型的多样化趋势明显,平台进入精细化运营阶段。

从观众所关注的直播类型而言,音乐、游戏、影视等娱乐类的用户尤为突出,这与用户的年龄层有着紧密关系。

在互联网中成长起来的85后、90后年轻用户,他们性格张扬且喜欢新奇事物,会主动和直播主播发生社交、产生互动关系,并以主播为核心产生集群效应,逐步建立专属社交圈。

在产业爆发式增长的同时,直播用户年轻化,新的热潮正在产生。

“二次元”是以二维图像构成的动画、游戏作品的类型统称,该词广泛应用在ACGN(Animation、Comic、Game、Novel)形成的文化圈。

中国的二次元文化发展由20世纪80-90年代引进海外动漫开始,随着国家大力推动文化产业发展,培育出一代深受二次元文化影响的群体。

如今的网络直播用户构成中,早期受二次元文化影响的年轻一代已在总用户群体中占据典型地位。

近年来,敏锐的资本市场同样对此有所观察并作出行动,许多巨头企业纷纷在直播行业尝试添加二次元元素。

如图1所示是有关研究院在2013年—2018年二次元用户规模的研究报告情况。

*项目来源:东莞市引进创新创业领军人才计划项目“面向虚拟现实的自然交互技术与融合产品研发和产业化”专版研究园地2 虚拟主播悄然诞生,影响力不可小觑早在2007年,虚拟偶像已经横空出世,“初音未来”在全球范围内引起巨大轰动。

随后,这位官方设定年仅16岁的虚拟偶像出任知名品牌代言人,举办世界级巡回演唱会。

到现在,初音未来已经拥有全球的6亿多位粉丝,身价更是过百亿日元。

而后,我国国内相继出现有不同的虚拟偶像,如耳熟能详的虚拟歌手“洛天依”“言和”“乐正绫”等,也在上海举办了万人演唱会,虚拟偶像概念一度火热。

据网媒不完全统计,2016年至2017年间,国内各大内容平台通过二次元人物角色衍生或者UGC (User Generated Content )、PGC (Professional Generated Content )内容孵化等方式推出的虚拟偶像达到26名。

2018年11月18日,英国旅游局在上海VSPN 电竞中心举办任命仪式中,宣布对出自腾讯游戏《QQ 飞车》的虚拟人物形象“小橘子”授予为“英国旅游局友好大使”称号。

腾讯计划以《小橘子玩转英伦范》的Vlog (视频博客),将虚拟角色融入伦敦的实拍场景,是虚拟形象步入现实生活的又一大代表性事件。

同样作为旅游形象大使的还有被日本政府授予的虚拟主播Kizuna AI 。

它首度亮相是2016年11月29日在海外知名视频网站(YouTube )上发布视频,随后其粉丝激增,一发不可收拾,深受网民的欢迎。

根据日本最大的流媒体平台早前公布的信息,如图2数据所示,日本国内的Vtuber (Virtual YouTuber ,虚拟主播)市场规模在2017年达到219亿日元,相较于2016年增长2.2倍。

在角色数量方面,截止到2018年12月,Vtuber 的角色数量已超过6000名。

在虚拟主播高速增长的背后,是互联网给直播行业带来的深刻影响,让人民的娱乐观念从传统媒介跳脱到虚拟直播窗口前,为虚拟直播平台创造出新的发展机遇。

3 技术的成熟发展是行业创新的源动力“会唱歌的机器”最早可数1961年贝尔实验室研制的IBM 704,它用交杂着电流声的旋律唱出了一曲《Daisy Bell 》。

而国内的“洛天依”和国外的“初音未来”当时能以虚拟偶像身份成功举办演唱图1 2013—2018年二次元用户规模图2 2015-20122年日本国内YouTuber 市场规模注:来源于CyberAgent注:来源于速途研究院市场规模/亿日元用户规模/亿人增长率/%会,并唱出与众不同的声音,其背后是歌声合成器技术VOCALOID2的技术应用。

技术要在适当的时候恰好与合适的应用相结合才能发挥出最大的价值。

对于虚拟主播,要给虚拟人物赋予灵性,就需要让虚拟人物展现出自然协调的动作而不是僵硬的动画效果,这使得人体动作捕捉技术具有用武之地。

生动活泼的虚拟形象之所以能流畅地呈现人体行为动作,如前文提到的虚拟偶像,其核心是运用了人体动作捕捉技术。

实现动作捕捉的方法有多种,从性价比、抗干扰能力、动作捕捉精度等多方面考虑,基于惯性传感器的穿戴式全身动作捕捉产品具有无可比拟的优势。

如图3所示是近年我国研究动作捕捉技术的厂家在虚拟主播上的直播应用。

图3 可穿戴式动作捕捉设备及虚拟形象展示基于惯性传感器的动作捕捉方法是利用微机电的技术原理,通过穿戴的方式把传感器设置在身体主要的躯干部位,例如手臂、头部、肩部、腿部等,运用其本身具备的加速度计、陀螺仪、磁力计传感器进行测算捕捉动作,便于穿着携带,不会受到光照影响,精度相对有把握。

过去因为售价较高造成市场受限,而伴随微机电技术的不断发展逐渐走向成熟,传感器的集成度已经非常高,使得其体积也十分小,如惯性传感器厂家博世(BOSCH )推出了仅有2.5 x 3.0 x 0.95 mm³大小的惯性传感器。

我国的穿戴式动作捕捉技术已有突破性进展,如图4所示,广州幻境科技有限公司研发生产的可穿戴式手部动作捕捉产品已经拥有国内自主知识产权,为动作捕捉技术往穿戴式方向发展提供了有力的硬件支撑。

4 虚拟直播实时互动,手势交互不可或缺直播主播经常需要与观众发生互动,以拉近与屏幕前观众之间的距离。

虚拟主播由于是虚拟形象,主播可不用担心观众因为在意其外貌所造成困扰;观众需要更多元的互动方式,虚拟主播自然也要在感染力和形象的亲和度当中做得更好,而手势是人们在日常交流互动中最常用的辅助动作。

在虚拟主播外形设计上,因为是拟人的虚拟形象,直播内容创作者要注意尽可能避免陷入“恐怖谷”。

“恐怖谷”指的是在非人对象相似度逐步接近人类的时候,人对它的好感度会突然下降的这段范围。

根据日本机器人科学家森昌弘在1970年提出的“恐怖谷”理论(如图5),随着非人对象的形象拟人程度逐步增加,人类对它的好感度亦随之发生改变。

就所产生的“恐怖谷效应”而言,可活动的拟人形象比静止的拟人形象所产生的变动幅度更大,有不少人会对此出现厌恶、恐惧、心慌等感受。

手势是实时互动过程中常用的减少“恐怖谷效应”的有效方法,其手段能有力增加与观众之间的亲和度。

正所谓人在黑夜环境下会先伸出双手,让眼睛视线尽可能地发现自己能活动的手指,其重要作用是帮助大脑建立自身在陌生环境下的存在感。

而在信息传达方面,我们经常发现,演讲者总喜欢利用手势配合姿态语言,从而增强自身的信息传达能力。

如图6、图7所示,虚拟主播“杨敬华”在直播过程中多次使用手势辅助表达,从而促使观众对虚拟主播的好感度持续保持在较高位置,成功避免其陷入“恐怖谷效应”所带来的损失。

注:来源于广州幻境科技有限公司专版研究园地图4 可穿戴式动作捕捉手部交互产品注:来源于Masahiro Mori. Energy. “The Uncanny Valley ”图5 森昌弘提出的“恐怖谷”理论注:来源于广州幻境科技有限公司图6 手势互动下“杨敬华”形象在“恐怖谷效应”的曲线位置注:来源于广州幻境科技有限公司注: 来源于KilaKila 二次元直播平台图7 虚拟主播杨敬华和端木熙形象在直播平台上的表演灵活自然的手势是虚拟主播所需要的。

国产动漫产品《灵契》的两位主人公端木熙和杨敬华在二次元直播平台以虚拟主播身份与粉丝观众线上线下同台见面,不但和粉丝实时互动聊天对话,而且蹦跳自如,手势动作灵性十足,这正是采用拥有国内自主知识产权研发生产的可穿戴式动作捕捉手势交互设备所完成的。

作为国内首场虚拟主播实时互动见面会,举办方除了线上直播外,还在广州、南京两城与粉丝进行现场连线,如图8所示,可见现场观众十分火爆热情,与虚拟主播的实时互动效果极佳。

距官方数据统计,当天同时在线人数已经超过19万人,直播后24小时内便有近100万人观看回播,实属可穿戴式动作捕捉技术在虚拟直播中的典型应用案例。

5 结论动作捕捉技术作为虚拟主播应用的关键技术,目前已在虚拟直播平台有所应用。

传统的虚拟动画录制所采用的光学动作捕捉技术因为整体投入费用十分高昂,许多直播内容创作者望而生畏。

随着惯性传感器技术发展,穿戴式全身动作捕捉设备具有高性价比、高精度、抗干扰性好、无遮挡等优势,为虚拟主播动作捕捉及交互提供了良好的硬件基础。

直播当中实时互动是观众的核心需要,为了提升虚拟主播的感染力和亲和度,手势交互成为虚拟主播不可缺少的一部分。

【作者简介】陈曦(1977—),男,硕士,高级工程师,任职于东莞市易联交互信息科技有限责任公司,研究方向为人机交互、动作捕捉及手势识别技术;黄昌正(1975—),男,本科,助理工程师,任职于东莞市易联交互信息科技有限责任公司,研究方向为动作捕捉手势交互及虚拟现实技术;卢子健(1996—),男,本科,任职于广州幻境科技有限公司,研究方向为虚拟现实技术。

注:来源于腾讯网图8 虚拟主播端木熙、杨敬华实时互动见面会广州线下活动现场。

相关文档
最新文档