正在火热进行的2020 CES 国际消费电子展上,三星首次对外展示了其“人工智人”产品 NEON,由三星旗下创新实验室 STAR Labs 独立开发。
STAR Labs官方介绍称,NEON是一种由人工智能(AI)所驱动的虚拟存在,拥有和真人一致的音容、笑貌和言谈举止,拥有表达情感和智慧的能力。
NEON的发明人,就是三星 STAR Labs 现任首席执行官普拉纳夫·米斯特里(Pranav Mistry,以“P博士”的称号著称人工智能学界)。
“NEON就像是一个全新的物种”,P博士在展台对全球介绍 NEON 时说,“地球上现存有几百万种生物,我们希望NEON可以成为其中新的一员”。
NEON“人工智人”在2020 CES现场的展示,钛媒体编辑曹天鹏拍摄
按照STAR Lab及其发明人的设想,NEON可以成为人类的朋友、合作者以及同伴,并且“会在与人类的互动中,不断地学习、发展、形成记忆。”
基于Core R3、SPECTRA两大引擎,“NEON”虚拟人在对人物原始面部、声音等数据进行捕捉并学习之后,可以自主创建未录入过的新表情、新动作、新对话,甚至能说其他语言。
其中,CORE R3引擎、被描述为“行为神经网络,进化生成智能和计算现实领域”的一项进步。R3代表三大特性——现实、实时、回应(Real, Realtime, Responsive)。具体而言,“它使得NEON能够生成栩栩如生的现实, 并实时地做出回应。甚至可以控制NEON眼睛睁开的大小。” P博士在现场介绍 Neon 时表示。
NEON的创始人普拉纳夫·米思特里(Pranav Mistry)在接受包括钛媒体在内的媒体采访时表示,“CORE R3从自然的规律性和复杂性中受到启发,对人类的外观、动作和互动的方式进行了大量的模拟和训练,从而能够生成肉眼无法辨别的、栩栩如生的真实。CORE R3系统的时延不足几毫秒,确保了 NEON能够实时地动作和回应。”
钛媒体获悉,目前CORE R3引擎平台还可以与其他的专业或增值服务的系统进行连接。
SPECTRA平台则负责提供情报,学习,情感和记忆,与CORE R3平台互补,给NEON 赋能,从而使NEON的体验达到“沉浸式”。
STAR Labs 战略负责人 Bob Lian 作为嘉宾,在钛媒体于 CES 2020现场举办的 Talk to China Stage上,向钛媒体独家分享了关于 NEON 的幕后故事,包括其技术亮点、未来的应用场景以及如何面对争议。
STAR Labs 战略负责人 Bob Lian 在钛媒体 CES Talk to China Stage 现场
Bob 在钛媒体CES Talk to China Stage 对话中表示,与其他科技公司的数字人产品不同,NEON虽然基于真实的人进行建模,但数字人所呈现在人们面前的行为都是完全原创的,能做到像人一样,去笑,去哭,去表达,是被创造出来的一个“数字人”。
此外,与之前的数字人技术不同,NEON的反应是实时的。Bob这样解释 NEON 发明的初衷:
“我们也不想照搬你的特征,在数字世界打造一个同样的‘你’。我们的目的不是去复制,而是创造一个新的‘人’。”
那么,“NEON”相关技术,是否会带来 Deepfake 一样的关于数据安全等隐患?
关于上述问题,Bob告诉钛媒体,“Deepfake是通过机器学习,将图片或视频合并叠加到源图片或视频上,而NEON是完全原创的,NEON没有对任何图像、视频进行处理,不会拼接合成虚假内容,这在应用、技术上都与Deepfake是属于完全不同的领域。”
在应用行业上,Bob认为,NEON将会在服务业与娱乐业大展拳脚。
在服务业上,NEON可以在保证给用户极致体验下为企业节约劳动力。而在娱乐业,NEON可以被用在电影、短片甚至MV中,创造新内容。“虚拟人可以一整天都在展台展示新产品而不会疲惫倦怠,我们希望能用这项技术和服务,提升客户体验。”
Bob 还透露,目前公司还处于初创阶段,仍在攻克尖端技术而未过多考虑商业化的问题,特别是为NEON提供情感、学习和记忆的SPECTRA引擎还在研发中心,Star labs希望能在年底的“NEON世界”活动上公布更多进展
2020,NEON将保持开放,欢迎更多合作伙伴来讨论 NEON 数字人的更多可能。
以下为Star labs战略负责人Bob Lian与钛媒体对话实录,略经编辑:
钛媒体:请先向观众介绍一下你自己。现在大约有5万名行业内的中国观众正在通过直播实时观看我们的钛媒体CES Talk to China Stage,跟大家打个招呼。
Bob:大家好。我是Bob Lian,STAR Labs的战略总监。STAR Labs其实是一家非常新的公司,我在这边也只有短短4个月的时间。在这之前,我曾在杜克商学院攻读MBA,之后加入三星,任职于创新部门,负责开发创新项目、产品和技术,供给未来的产品线。
钛媒体:欢迎您。关于三星发布的新产品 NEON,听说原计划是在本次CES上正式发布,但在此之前,就已经在YouTube上传开了。我也是在YouTube上最先了解到这个产品。市场对它反应非常热烈。
Bob: 是的,在社交网络和互联网上,大家都在谈论我们的产品。很多人对它感兴趣,迫不及待地想要一探究竟。在过去的几个月里,我们一直保持神秘,计划在本次CES2020上正式揭开面纱。但不幸的是,还是有人提前找到了我们的视频,并放到了网上。
钛媒体:那现在既然已经正式发布了,能否给我们详细介绍一下这个新产品,它有哪些功能, STAR Labs的研发工作又花了多久?
Bob:当然,我们叫它NEON,这是一家专注于“人造人”的公司,也就是数字虚拟人物,是通过计算产生的数字化人物。他们生活在虚拟世界里,既没有身体,也不是机器人。但他们看起来与你我无异,真实感非常强。NEON虚拟人的有趣之处在于他们的反应是实时的。
你可能会在电影里或者电子游戏里看到非常逼真的虚拟人物角色,但这些角色,其实需要多位数字艺术家多年的研发和努力,才能最终呈现在我们面前。而NEON却能实现实时创造,100%真实。这些NEON人物会表达,有情感,会像你我一样做出行为反应,所以当你跟他互动时,会不自觉地把他看作一个真实的人,而不是我们的幻想。
NEON虚拟人
NEON是被创造一个新的“人”,不是真人的复制品
钛媒体:为了使NEON真实拟人,必然需要大量数据,我很好奇,您是如何收集到这些信息的呢?
Bob: NEON实际上是模仿了真实人类,这些NEON人物都可以在现实生活中找到原型。就像AI助手,比如Siri,Alexa,是通过模仿真实的人的声音,通过声音采集和计算创造出来的。同样地,我们的NEON虚拟人也是以现实世界的人物为原型。但这些真实人类数据仅用于建模,在那之后你看到的每一帧、每一幅图像、每一个表达都是完全原创的。NEON的每一次微笑或大笑都是独一无二,在此之前从未出现过的。我们通过模拟人类创造出NEON,但它却又是一个新的角色、新的存在和新的现实。
钛媒体:所以可以理解为,NEON是基于现实世界的真实人类创造出来的?
Bob:没错,我们基于真实的人对它进行建模,但它所呈现在人们面前的行为都是完全原创的。不是说完美复刻了另一个人,只是通过借鉴一些特征,使NEON在外观和表现上看上去更像人,能做到像人一样,去笑,去哭,去表达。
NEON希望能创建新的“人”,而不止是复制真人
钛媒体: 坦白说,我仍然有一些顾虑。我可能比较“过时”,如果模拟我这样的普通人来说,这可能没什么;但如果模拟的是公众人物呢?比如说美国队长,我非常希望能和以他为原型的虚拟人进行交流,但是从他的角度,他是否愿意呢?所以我想了解,在创造新人物之前,您如何得到现实中这些原型的许可?
Bob:再次重申,我们并没有复刻任何人,我们也不想照搬你的特征,在数字世界打造一个同样的“你”。我们的目的不是去复制,而是创造一个新的“人”,一个新的存在。通过模仿真实人类,NEON得以实现绝对的真实性,但模仿绝不是这项科技的终点。
我们希望创造一个有自己的表情、行为、情感、甚至感觉和记忆的新生命,这个虚拟人与现实世界中的任何人都截然不同。即使得到许可,我们也永远不会去复制别人,以此来保护人们的隐私和身份。
与Deepfake完全不同
钛媒体:在我看来,这是一项颇具争议的新技术。那从NEON发布以来,您是否有听到市场上一些不同的声音呢?
Bob: 当前一个很大的争议点是围绕 Deepfake 而产生的。这其实跟您刚刚的问题类似。Deepfake 通过机器学习,将图片或视频合并叠加到源图片或视频上,这也是在未经用户许可的情况下进行的。我们与此完全不同,我们没有进行任何图像视频处理,更不要说拼接合成虚假内容了。事实上,就像我刚刚说的,每一个图像,每一个Neon或虚拟人,每一个场景都是完全原创的,可以说甚至它脸上的每一个细节都是独一无二,具有初创性的。我们与深度伪造属于不同的领域,即使在技术上,这也是全然不同的。
将应用在服务业、娱乐业
钛媒体:那您认为NEON的问世会对未来的世界产生什么影响呢?
Bob:我们认为NEON的影响力主要体现在两个方面。一个是服务业,这是企业与用户联系最密切的行业,用户体验至关重要。但有时公司实际没有足够的人力,提供完善的客户服务。比如说,我今天一整天都在我们展台上展示新产品,我非常疲惫,毕竟作为人,我们会因为有情绪而变得暴躁和不耐烦。但这在NEON身上就不会发生,它不会疲惫和倦怠,可以随时保持和蔼可亲。希望未来能利用这项技术和服务,真正提升客户体验。
钛媒体:服务业是其中一个方面,那另一方面体现在哪里呢?
Bob:另一个我认为是娱乐业。NEON可以被用在电影、短片甚至MV中,创造新内容。
举个例子,假如你是一个歌手,你有着天籁之音,但也许你并不想站在镁光灯下,或者不愿意跳舞,这时NEON将会是一个很好的选择。你可以和NEON配合,由他跳舞或表演,制作出类似YouTube MV的新内容,在网上发布。再比如说,如果你是一位美国的YouTube内容创造者,你想拍摄世界另一端的景象,比如印度,但是你又无法亲自去到那里,这时你也可以通过NEON的视角来创造内容,最终呈现给观众真实且震撼的效果。
商业化还在摸索中
钛媒体:这听起来很有趣。接下来让我们聊聊利润,相信这也是大家关心的问题。想请问贵公司未来的商业定位和走向是怎样的?您认为这项新技术能被大众广泛接受吗?
Bob:希望如此,关于您的第二个问题,我们当然希望Neon能被大众接受,同时我们也相信NEON能够最终存在于我们生活当中,并且帮助我们在许多方面改善生活。至于您关于商业模式的问题,老实说,我们还不确定。就像我说的,这是一家仅存在4个月的年轻公司,我们的团队主要由科学家和研究人员组成,所以到目前为止,我们的目标是开发并完善这项我们称之为Core R3的技术。
NEON基于两大引擎:Core R3和Spectra
希望在本次CES上,能向全世界展示这项技术能做到的都是什么,让人们真切地感受到未来的虚拟人能有多逼真,并对此充满期待。至于具体商业模式或我们如何盈利,暂时还没有考虑太多。
钛媒体:我明白了,所以现在还停留在攻克尖端技术的层面?
Bob: 正是如此,所以现在我们想先剧透一下,希望在今年,也就是2020年,能找到合作伙伴,并在各种应用场景中进行试验。
Neon的100%真实感,在市场上无可匹敌
钛媒体:我了解到有些媒体称NEON为“数字阿凡达”,那我也听说Facebook实际上也有一些类似的产品,比如Codec Avatars。相信您对此也有一些了解,那么这些产品与NEON有什么相似之处,你认为它们会成为NEON的竞争对手吗?
Bob:我想我们所有人都有一个共同的愿景,希望把这些虚拟人物推向市场,真正进入我们的世界。
但除此之外,背后的科学技术是截然不同的。我们的核心技术与其他组织或公司有很大的差异。我自己不是一个技术专家,我可能不知道它背后的准确算法,但从我的研究和学习,从我在实验室看到的和我们工程师所做的,我们事实上采用了完全不同于其他公司的方法。
我相信NEON所实现的100%真实感在现在的市场上是无可匹敌的。
挑战在于如何让公众接受
钛媒体:让我们共同期待。接下来,请问您认为NEON在未来所面临的最大的机遇和挑战分别是什么?
Bob: 机遇在于不断丰富的应用案例,正如我刚刚提到的服务业和娱乐业。而最大的挑战可能还是如何让公众接受这一新事物,如何向大家介绍虚拟人,让大家了解它以及它能带来的便利。这是一个非常棘手的问题,在过去几天的CES展览上,我们也一直在为此努力。
钛媒体:我可以想象这是一件很困难的事情。