太平洋科技影像

首页 > 影像 > 2023影像首页> 正文

仅售2499的便携动作捕捉设备mocopi会是元宇宙的钥匙吗？

Beep 编辑：肖航发布于：2024-10-06 02:42 PConline原创

2023年9月22日，索尼(中国)有限公司正式发布便携动作捕捉产品mocopi，这是一套由六个小巧轻便的传感器和专用APP“mocopi”组成的“请你跟我一起这样做”。它通过多枚传感器直接固定在四肢、腰间、头后来获取动捕数据，然后经过蓝牙发送给手机APP，经软件分析，AI计算后，映射到虚拟人物上同步完成动作捕捉（延迟非常低）。

一扣变身，入场元宇宙

近年来，随着科技的进步与虚拟应用场景的不断扩展，元宇宙概念的兴起代表新一轮虚实交互变革到来，越来越多的创意人士渴望通过新技术、新场景实现更自由和多元化的自我表达，大众同样期待着一款能够让普通用户轻松踏入虚拟世界、降低虚拟内容制作门槛的产品，mocopi的发布，将为元宇宙虚实交互的沉浸式体验注入新活力。

Mocopi是什么？

六枚“纽扣式”传感器

它是一种便捷高效的入门级动态捕捉设备，相较于只能在专业动捕棚内完成的传统动捕方案，mocopi由六枚重量仅约8g，尺寸直径约3.2cm的“纽扣式”传感器组成，用户仅需通过蓝牙将传感器与兼容“mocopi”应用程序的智能手机进行配对，穿戴四肢、头部和腰部的传感器，即可轻松实现动作捕捉。此外，传感器满电状态下支持长达约10小时续航，在户外也能自由使用。

Mocopi怎么玩？

通过搭载 “mocopi”应用程序的智能手机，数据处理也更为简单便捷。“mocopi”应用程序可以轻松接收传感器获得的数据，进而自由驱动自己的3D虚拟形象。在“mocopi”应用程序中，用户还可以实时录制视频或导出动作数据，这一切都可以在智能手机上完成，省去了传统动捕方案复杂的操作流程。

超长续航时间

“拟影平台”支持下载VRM模型

此外，除了默认的官方Raynos酱形象，mocopi还为用户提供了自定义3D虚拟人物形象的可能。国内数字虚拟人链主企业、元宇宙内容基建商环球数码创意控股集团支持开发了崭新的3D虚拟人“拟影平台”，该平台不但拥有丰富的可下载虚拟形象，还提供个性化定制服务，满足创意需求。同时，mocopi也支持VRM模型导入，上传即可使用自制虚拟形象。丰富的虚拟形象选择，同时可打造专属虚拟化身，助力发挥创意想象。

Mocopi 官方玩法适合二次元带货

一扣变身，轻松破次元

轻松实现3D虚拟形象直播

面对虚拟主播的日常直播需求, mocopi具备强大的适配性和长续航能力，为用户提供了低门槛、轻松化、日常化的虚拟直播体验。用户可自定义拍摄背景并进行隐藏UI设置，以适配各大主流直播平台，实现虚拟互动或带货直播。通过将2D平面形象升级成3D立体形象，虚拟主播能展现更丰富的内容创意，观众也能感受到更有表现力的直播互动。此后，虚拟主播不论是在家还是户外都能开播，降低了场地或设备的限制，约10小时的续航时长，也可满足虚拟主播日常长时间佩戴使用的需求。

一扣变身，创作新灵感

户外内容创作

伴随着自媒体行业的发展，内容创作者之间的竞争愈加激烈，对于创作的需求也越来越多，为求脱颖而出，内容创新迫在眉睫。此时，mocopi的AR背景模式支持实景和3D虚拟形象同框录制。为内容创作者提供了新的创作思路与模式。用户可以随身携带小巧的mocopi，走出家门，利用AR背景模式使虚拟形象置身于不同的现实场景和环境中，并实时录制保存拍摄的视频。同时，mocopi也自带绿幕背景模式，支持拍摄作品在其他终端的二次创作，打开创作内容的趣味性与想象力。

Mocopi元宇宙的钥匙！

帮助用户创造更具沉浸感的游戏体验

一扣变身，入场元宇宙

在元宇宙概念普及后，越来越多的行业及用户期待着虚拟和现实世界之间的融合，尤其在娱乐与游戏行业中，mocopi为玩家及科技爱好者的虚拟沉浸式体验带来了更多可能性。通过其高效的数据流模式，mocopi为主要的3D开发软件，如Unity、MotionBuilder?和UE虚幻引擎等，提供了更多的应用开发机会，共同打造元宇宙虚拟场景。此外，mocopi SDK也支持第三方企业开发人员在元宇宙等领域使用mocopi的数据拓展多种应用场景与玩法，玩家可以轻松畅游VRChat的世界，以更灵活的方式与其他虚拟玩家进行互动。索尼与bilibili“幻星派对”虚拟交互内容也将于未来上线，期待接下来在广大开发者和创意爱好者的带领下，mocopi能帮助用户创造出更具沉浸感和互动性的游戏体验与应用场景。此外，索尼基于mocopi与百度希壤元宇宙结成战略合作伙伴关系，未来也会合力给用户一起打造更多的元宇宙使用场景。

Mocopi线下体验会的一些思考，元宇宙的敲门砖？

此次mocopi线下体验会上，我们也和mocopi的开发人员进行了深入的使用探讨，便捷使用和一秒开播（动捕后的虚拟人物）的基础玩法能非常清楚的在索尼官网mocopi产品详情页下找到完整的使用指南。使用虚拟二次元人物形象进行交互直播比较单一的“固定皮套”能有更多的内容呈现，可以塑造更多画面表达。我们对mocopi后续迭代产品也充满了期待，早先依靠鼠标键盘控制的”我的世界”元宇宙已经被市场所抛弃，这里我们大胆设想“全向VR跑步机”+“VR头显”+“无线耳机麦克风”+“mocopi”就能实现虚拟世界的真人探索，如果索尼PS5市场部能追加后续“mocopi游戏”的开发制作，相信能实现“双赢局面”。VR chat等“社交游戏”也不再局限于单一的角色人物状态，使用mocopi可以随时随地将你的动作传递给远方的朋友。我们聊了很多mocopi的后续开发方向和用户核心需求点，对它的后续应用生态和“更多可能”提出了诸多问题。

以下是部分体验分享（开发者访谈）：

活动时间：10月13日上午 10：00-11：30 / 下午 14：00- 15：30

活动地点：上海Sony Store

QA环节参与人：活动参与嘉宾（公会负责人、媒体、KOL）、索尼动捕产品总监吴巍

媒体及KOL于活动现场体验产品后，与索尼就现场体验感想进行互动交流

上午场

B站VR游戏区KOL：刚才我们玩的游戏主要还是通过手机数据采集，以后有没有可能直接通过PS5采集然后和类似体感游戏打通呢？

索尼：目前没有考虑到PS5，但是我们有考虑跳过手机怎么跟PC联动的问题，这个相对优先级比较高，我们在考虑这方面未来的拓展。

KOL：因为是自家产品。PS5难道不会更方便吗？

索尼：是，但mocopi本身它的定位不是一个配件，还是自己的一个独立的产品，所以我们第一步是要考虑怎么让它作为一个独立的产品去发展，这可能是更主要的。并且从产品配合的角度，我们觉得下一步，相对于游戏机而言，更适合的是头显设备。因为它本身是3D，有强结合性，并且头显已经有一个头部设备和两个手柄，我们mocopi明年也计划要考虑出三个（传感器）的版本，去和头显配合。从更精准、专业的角度，我们未来也会考虑出12个传感器的版本，这样精度会更高。

KOL：PC版也会很快出吗？

索尼：我们也在加快速度，因为PC版是强刚需。但技术上有一个最大的问题，因为一台windows能够同时接收的蓝牙设备是固定的，我们希望有更简单的方式，比如通过一个小的USB接收器实现多设备的蓝牙连接，而且更稳定，如果mocopi和PC连，肯定也是需要类似的一个小的USB接收器连接到PC上，这个也是我们在考虑的事情。

子午映画技术负责人：后面会出和手套相关的吗？

索尼：手套有其它的公司出，我们主要的重点还是在于全身的驱动，手套是跟其它公司配合。

子午映画技术负责人：您能稍微描述一下和别的引擎对接，传输数据的方式吗？

索尼：别的引擎我们这次没有演示，我们在官网已经传了Unity的几个视频。简单来说，我们手机上面有两个模式，一个是视频录制模式，还有一个模式是数据传输模式，这个模式用到几个方面都是共通的。比如我们刚才现场体验的，传到VMC在PC直播，用的就是这个数据传输模式，Unity、UE也是一样的，都是用“数据传输”这个传输模式，但是在Unity和UE上我们索尼特别提供了一个插件，本身Unity和UE也是开放使用插件的，现在软件上可以安装“mocopi”插件。但这个也涉及到商业模式的问题，我们目前的政策是，个人的使用测试，用户可以在购买mocopi后上mocopi SDK网站，可以免费下载对应插件在Unity和UE上使用，但如果是需要在Unity上商用、游戏开发，这个可能需要和索尼聊一下。

更关键的是，我们未来计划要推出一个mobile SDK，这不仅仅是Unity、UE插件这么简单了，而是跳过mocopi APP。现在你不管用什么第三方软件，用户都得使用我索尼mocopi APP才能进行数据传输，还有一种可能性是app交由你来开发，这个也是可以的，索尼开放SDK，这个需要看下商业模式。

那未来mocopi APP就可以变成任何mobile device，它支持IOS、安卓，比如说头显，就可以考虑不用mocopi app了，跳过手机可以直接实现产品配对。举例我刚才说的头显和mocopi对接，如果还要通过手机连接头显，用户一定会觉得很麻烦，一旦有了mobile SDK，头显本身就是一个安卓device，就可以直接从mocopi传感器连接到头显实现配对，就不要手机了，这个从技术上索尼是已经准备好了的。

目前我们的SDK还没有正式发布，需要我们有更多的合作伙伴，在中国我们也是这样的方向，一直在做这方面的开拓，比如说像头显Pico，肯定是可以有场景运用的，甚至可以考虑健身镜，健身镜也是mobile device，健身镜里也有游戏可以健身，包括很多健身APP，可以直接通过SDK连接穿戴mocopi、实现更多的虚拟生产场景。

B站VR游戏区KOL：手腕的传感器可以放到手肘吗？因为我们如果戴了VR，手部本来就会有VR设备的配套传感器，如果把手腕传感器放在其他位置，相当于追加了传感点位。

索尼：可能再过1-2个月，我们会出一个更新。现在mocopi是六个点的使用，但在VRChat里，两个手部传感器是用不到的，未来我们可以把手部的两个传感器设定绑到大腿，这样腿就变成四个点了，更加强腿部的动作精度。

B站VR游戏区KOL：头部也可以不用了？

索尼：必须要戴着，如果不戴头部的传感器模型会垮掉。目前还是这样，但未来明年也许会出三个点的版本，可以和头显做更好的配合，目前六个传感器我们考虑的方案是头部还是要用，但两个手部的可以绑到大腿，腿的精度会高很多。

索尼mocopi的产品设计理念，很多人会关心传感器本身，我们索尼的最大优势是可以把这个东西量产，能够把动捕设备做到这么小巧、精致、还能量产，这是其它品牌很难做到的，也是唯一在硬件上的优势。但这个产品最大的优势是在于AI和机器学习，怎么通过算法和动作数据把虚拟人驱动起来，都集中在mocopi这个软件上，所以刚才提到的传感器位置变化，为什么能简单的实现，甚至不需要更改硬件就能实现的原因，也是因为AI和算法。现在买了mocopi，六个点是固定位置使用的，但未来我们只需要进行软件版本的升级，就可以把这两个手换到大腿上（去使用），不存在什么固件升级。

索尼：对于二次元虚拟主播有一个问题想问问大家。3D除了平台政策的鼓励外，不管是企业势也好，个人势也好，3D会比2D好在什么地方？

举个简单的例子，live2D很清楚也很稳定，但他也有局限。比如说2Dlive主播原本使用2D聊天或打游戏，但我设置一个20分钟的3D time，在20分钟里会通过3D整活跳舞或者互动，比如在b站幻星派对、甚至粉丝也可以买一套mocopi变身虚拟形象直接进来和主播互动，这是有意义的吗？

抖音公会负责人：3D的优势在可以转身、跳舞、整活，但真实来说平面直播上2D到3D的转变对内容提升价值并不是特别大。不同的是，现在主要是有了VR的场景，VR全景这个场景我们用2D是做不了的，无法用2D直播。

索尼：了解，所以这个非常关键，不是我们一开始想象中的原本是 2D，3D可以跳舞了会怎么样，提升其实没有那么大。但整个场景对于2D形式的制约，有了3D场景以后，主播在这里面live2D根本就没有办法用，这个就不一样了。

B站科技类KOL：现在的AR模式可以用手机前置摄像头吗？

索尼：我们是动作捕捉，没有用摄像头。用的是数据传输。

B站科技类KOL：如果我想要探店、吃东西，AR模式可以做到让虚拟人把东西拿出来吗？

索尼：虚拟人物做不到，这也是很重要的点，不光是探店，虚拟直播带货只有一个虚拟人是做不到的，这和是不是AR也没有关系。AR是一个简单的合成模式，比如说他做虚拟直播也需要有摄像头也需要有设备，但虚拟人物和实物的接触是很困难的，不能把这个衣服给展示出来，这个是做不到的。所以我们考虑的是虚拟形象可以作为助手的形式出现，和真人配合。我举个简单的例子，AR也好，探店本来是只有一个人，很枯燥，另外一个人是助理，没有UP主本人那么好玩，或者助力也不想出镜，这样的情况下，有IP的UP主本人在吃东西、对面座位上坐着一个虚拟人，这个虚拟人由他的助手在不出镜的情况下驱动，这个是可以实现的。手机摄像头对着UP主吃饭这个场景，UP主真人入镜，虚拟人通过数据传输也同框入镜，这就可以AR一键成片，用于做直播也可以。

B站科技类KOL：有没有可能让虚拟人完全覆盖真人，让两人重合，以达到虚拟人和实物接触的效果？

索尼：技术上是能够实现的，但可能会有一个景深深浅的识别。说白了是真人拿起实物，通过AR的模式也好，直接在电脑上再进行后期也好，实现把两个人重合。如果你要做到很完美，肯定难度是比较高的，但如果仅仅是实现，从做产品做技术的人的角度说是可以实现的。唯一的点就是在于要让他能够重合，动作是一样的，你真人拿了这个东西是这样，虚拟人也是这样，但你得要从视觉的观感上看出他不是真人在接触实物，而是让虚拟人来拿，拍摄和后期都需要优化。这个我特别希望比如说有人看到了商机，一家软件开发公司来做这个功能、来跟我们做配合，我们非常愿意。

下午场

B站公会负责人： mocopi从手机到电脑的连接过程，是怎样的？

索尼：SDK分两种，目前的方式是从传感器一定要到我们的手机，手机再到电脑。我们的主页上会有一个SDK开发者网站的链接，到开发者网站上可以下载Unity或UE的插件，使用插件进行数据的接收。所以他就是一个数据传输的过程，只要有我们的插件，不需要你干任何事情，正常用Unity、UE就可以收到数据了。另外一个SDK的方式，就是把我们的手机给忘了，不用我们的APP。比如说一个头显，也是mobile device，如果一个头显还得用传感器到手机再到头显用户就会觉得麻烦了，我们可以提供一个SDK，把我们mocopi APP跳过直接从mocopi传数据到头显，头显自己去开发游戏或者其他互动，头显设备可以从直接从我们的传感器接收数据。

B站VR游戏类KOL：一般像玩VR，用户需要在划定范围的区域内操作，mocopi有限制区域吗？

索尼：我们mocopi软件内有一个“固定摄像头“的设置，你可以想象成它有一个摄像头的概念。默认是没有固定摄像头的，摄像机位跟着人走，没有空间限制，可以一路跟着走；还有一个功能是固定摄像头，把摄像头固定了就意味着摄影的摄像头定死了，如果你人走了是会出画的，但是数据一直在。如果只需要动作数据，那和摄像头位置是没有关系的，都能够得到完整的数据。

B站科技KOL：mobile SDK的使用申请有没有开发者的限制？

索尼：我解释一下，刚才说的Unity、UE插件，我们目前提供免费下载，但有一个原则，不是用于商用的，如果是商用原则上需要找索尼聊，如果是个人拿来测试或者玩没有问题。

mobile SDK现在没有完全开放，这也涉及业务模式。我们这个产品也不是开源产品，从我们做业务的角度说，如果拿mobile SDK需要商用是需要跟索尼申请的，我们在开发者网站上也留了联系方式，也可以通过其它的方式联系告诉我们使用渠道和方式。比如说像上海有风起洛阳这样的VR场馆，戴VR眼镜就能够在虚拟空间里体验了，如果你配套穿mocopi能够动起来，场馆要多收门票，那就要和我们聊，可以通过什么业务模式我给你开放使用。

B站数码类KOL：我现在觉得有些延迟，关节数也不太够，听说后续可能会有专门的接收端是直接插电脑的、也会有12个关节后续会跟上，这个大概还需要等多久？

索尼：应该是会在明年，我们明年会考虑两件事情，第一个事情是我们会考虑三个传感器的模式，反而数量是减少的，这个逻辑是为了更好跟VR头显结合。VRChat有一个头显和两个手柄，是不需要六个点的，我们现在是做了一些优化，可以把两个手腕处的手环给解放、可以绑到大腿，这样虽然总共还是六个传感器，但腿部的会精准很多。还有一个方面我们会考虑增加传感器数量，做成12个，甚至可能是10个的，或者可以用户自定义放在哪个部位，这个是我们下一步要考量的。

B站数码类KOL：12个的话手机的蓝牙性能应该不够吧？到时候应该会有专门的接收器

索尼：对，PC现在六个点也是不够的。我们可能会考虑配套出一个蓝牙的USB接收器，所有的单个传感器都到这个接收器，由接收器跟电脑链接。

B站数码类KOL：感觉这样后期比较好应用于视频的工作流，还是比较期待的。

索尼：能够直接连接到PC，再提高精度。

B站数码类KOL：想做一点小的整活尝试，更细节的比如说手部动作，现在没有办法直接体现出来，可以做个类似手套的接收器？

索尼：是，手套有其它公司做的，所以我们目前也没有考虑。产品数据都可以和Unity或UE连接，都有数据，也可以手套用第三方的，全身动捕用我们的，通过后期数据合成。我们也有这方面的考量，但我们会考虑优先度是什么，目前优先度不是手套，是关节点位。

拓展新可能，迈步新未来

mocopi产品的创新也引发虚拟内容制作行业的关注。VirtuaReal作为国内最具影响力的原创虚拟艺人企划之一，其负责人表示：“专业的动捕设备由于价格原因，一直以来都是普通消费者涉足虚拟的主要障碍之一，mocopi的轻巧便携、简便操作拓宽了当前动捕技术的应用场景，为普通消费者跨次元体验提供了崭新的创意支持和功能实现的入口。”

作为虚拟现实领域的领军者，索尼始终致力于“用创意和科技的力量感动世界”。mocopi的诞生架起了一座虚拟与现实之间的桥梁，象征着索尼向着虚拟现实和元宇宙的未来又迈出了重要一步。对于大众而言，mocopi不仅是技术层面的创新，更是激发梦想和好奇心的驱动力，索尼期待与大众“带着梦想和好奇心去开拓未来”。

索尼 Mocopi 动态捕捉虚拟人物

Beep

原创栏目