导航|地址|刷新
华为天才少年创业，全球首个虚实融合的实时交互视频模型来了_手机网易网




















网易网易号



0







华为天才少年创业，全球首个虚实融合的实时交互视频模型来了


机器之心Pro
2026-02-09 10:21·北京·《机器之心》官方网易号

0




打开网易新闻 查看精彩图片

编辑｜Youli

还记得童年的那个愿望吗？

随着《数码宝贝》进化曲的响起，屏幕前的你我或许都曾幻想过：要是那只从数码蛋中破壳而出的滚球兽，真的可以从电视屏幕那端跳出来，就好了。



打开网易新闻 查看精彩图片

彼时，我们只能将这种天马行空的「美梦」寄希望于「次元裂缝」的开启。再后来，技术增强现实（AR）技术曾一度带来了希望，但几经潮起潮落，结果仍停留在「预先制作的内容叠加」层面，数字角色无法真正感知环境。

而现在已经 2026 年了，生成式 AI、实时渲染、端侧算力、感知模型同时成熟，尤其是 Sora 展现出的前所未有的世界模拟能力，让大家意识到，原来虚拟内容不再需要完全预制，可以被实时生成、驱动，并具有物理合理性。技术的狂奔第一次让曾经的「中二梦」，具备了成为现实的可能：你真的可以从屏幕中「召唤」出一只滚球兽。



打开网易新闻 查看精彩图片

是不是很神奇？手机镜头对准桌面，选取一张滚球兽照片，下一秒，一只滚球兽就「脱屏而出」，出现在桌面上，四处张望。你伸出手，它刚开始会有点警惕，之后就亲昵地蹭你的手心，你轻轻一捏，它会给出Ｑ弹的物理反馈，而当你把手摊开，它甚至可以被你「托」在掌心之中，就好像，这是一只「活」的滚球兽……通过一个手机摄像头，虚拟角色第一次实现了与现实世界的融合。

这就是由初创公司 Xmax AI 推出的首个虚实融合的实时交互视频模型 X1，没有复杂的 Prompt，不需要漫长的渲染等待，只需要手势进行交互，就可以让虚拟世界与现实相连，在镜头中令「幻想」成真，让用户体验到实时交互的心流体验。



打开网易新闻 查看精彩图片

目前，Xmax AI 已通过一款技术演示型应用 X-cam（目前开放 testflight 下载），将 X1 的能力开放给部分用户体验，感兴趣的朋友可以通过文末提到的方式获取邀请码，近距离体验一下技术的边界。

「虚实融合 + 实时交互」，视频生成进入「人人可玩」时代

过去这一年多，AI 视频生成领域可以说是遍地开花、神仙打架。

数据显示，2024 年全球 AI 视频生成市场规模已达 6.148 亿美元，预计到 2032 年将飙升至 25.629 亿美元。在市场的强需求推动下，从 Sora 到 Runway，各路玩家都在沿着「更强的生成能力」方向极力狂奔：卷画质、卷时长、卷分辨率……

仔细看下来，整个赛道，大多数玩家选择的技术路线依然是文生视频，致力于面向专业领域的创作者 —— 影视、广告、内容工业等，打造更强大、更完善的生产力工具。

可不得不承认，在当前的「视频模型军备竞赛」中，普通用户似乎没有参与到狂欢中，感受就是「热闹是他们的，我什么也没有。」

原因很现实，首先是上手难，当然，很多视频生成工具操作起来已经很便捷，可很多时候写出精准的 Prompt 依然像是在编写代码，而且等待时间长，生成时间动辄从数秒到数分钟，再到数十分钟不等，缺乏即时反馈的快感。而漫长的等待后，得到的也不过是一段存在于屏幕里的「只能看、不能碰」，与当下日常生活毫无关系的虚拟视频。

Xmax AI 敏锐地捕捉到了这一点：AI 视频生成要想真正走入大众，就不能仅停留在「工具」阶段，要容易上手，要让大众有参与感，能够「玩」起来。



打开网易新闻 查看精彩图片

可这也就意味着，在基础视频生成能力之外，行业还需要跨越两座「大山」：一是降低交互门槛，改变传统的文生视频工具需要专业想法和 Prompt 撰写能力的方式；二是要与现实世界有更多结合，人是生活在现实中，文生视频模型一定程度上确实满足了完全虚拟化的想象，可人对现实的幻想并没有被满足。

基于此，Xmax AI 走了一条截然不同的路线：推出首个虚实融合的实时交互视频模型 X1，让视频生成告别键盘输入，回归人类最本能的手势与触控，仅需要一个手机摄像头，就能打破虚拟与现实的「壁」。

具体来看，基于 X1 强大的端侧实时生成能力，Xmax AI 将这一技术落地为四大核心玩法：次元互动、世界滤镜、触控动图、表情捕手…… 每一台手机似乎都变成了连接虚实的「魔法棒」。

次元互动：这就是前面那个视频所展示的能力，手机摄像头拍摄现实场景，任意上传一张角色参考图，就可以将该角色在镜头中「召唤」出来。

比如下面这个小兔子，你可以在镜头前伸出手与它互动，捏一捏、拍一拍，甚至将把它托到手上。视频中可以看到，当抚摸到兔子眼睛旁位置时，它会跟随人的动作转头，甚至可以看到绒毛因为触碰而遮盖眼睛的情况，没有延迟，因为它所有的物理反应都是 X1 模型实时生成的，所以，看起来就好像真的在抚摸一个真实存在的生命体。



打开网易新闻 查看精彩图片

不仅仅是动漫角色，可以说是任何自己喜欢的纸片人、宠物、毛绒玩具，都可以在镜头中「活」过来。

世界滤镜：任意上传一张风格参考图，就可以将手机摄像头拍摄的画面实时转换，变成指定的风格，例如梵高画风、乐高画风等。可以用于渲染环境，也可以用于渲染人物，甚至可以用于渲染屏幕内容，像是正在玩的游戏画面。

直接来看一个例子，下面视频中的小姐姐通过选取不同风格的参考图，让自己「化身」为图片所示风格的人物，可以是经典动漫中的二次元虚拟形象，也可以是乐高积木风格。而且，当小姐姐做出挥手或是摇头动作时，视频中「变身」后的人物或形象会实时跟着做出相应的动作。



打开网易新闻 查看精彩图片

触控动图：让静态照片「活」过来、动起来，不再需要复杂软件。对于任意一张照片，都可以在触摸屏上对照片中的角色进行拖拽控制，让它实时运动起来。

比如下面视频中动漫风格的小兔子，左右拖动它的耳朵，它就开始左右摇头；上下挥动，它就做出被拍脑袋的动作；拖动嘴角，它会露出微笑。「实物」也可以，给自家猫咪狗子拍张照上传，就可以让它挥手、抡拳，跳起舞；眨眼、吐舌、卖起萌。甚至是「恶搞」的，将刘海剪成整齐模样的马，也在镜头下开始摇头晃脑…… 就像在操控提线木偶，轻松赋予静止图像以生命力。



打开网易新闻 查看精彩图片

表情捕手：将相机镜头对准任意的人或物体，选择一个「大拇指」或「怒气冲冲」的 Emoji，AI 就会实时「捕捉」对方的特征，实时生成一个神态精准、魔性十足的动态表情包。这简直就是「社交神器」，以后聚会也不用担心冷场，随时就可以拿出来玩一下。



打开网易新闻 查看精彩图片

强大能力背后的技术挑战与实现

是不是很好玩，即便是对技术没什么了解，也可以轻松上手。但在业内人士看来，这不仅是产品的创新，更是工程能力的「暴力美学」。

「有趣体验背后，是极高的技术挑战。」Xmax AI 向机器之心透露，要实现上述这些效果，必须同时解决当前 AI 行业的三大痛点：

首先是极致实时，从上面的视频中也可以看出来，视频中的人物或是形象的反应随时能够跟着手势变，给用户产生一种「我在和它互动」的感觉，而这就要求延迟必须控制在毫秒级，可当前市面上的大多数所谓「实时」模型响应往往需要数秒，难以满足 Xmax AI 想要在交互场景中呈现的效果需求。



打开网易新闻 查看精彩图片

其次是意图理解，Xmax AI 的想法是希望交互方式多种多样且自然，对普通人来说门槛足够低，这就要求模型做到能够自动理解人的意图，并实时生成精准的反馈结果。可当前大多数模型都是文生视频、图生视频，无法实现这些手势交互效果。比如，对于模型来说，当人做出「捏」这个动作时，要读懂其中的意图，可要比读懂一段文字难得多。

另外，还存在数据稀缺的问题，对于整个 AI 行业来说，数据都足够重要却又极致稀缺，更何况是相对小众的「虚实融合交互数据」，生产成本高，构造难度极大。但现实又是，想要实现好的虚实融合的效果就必须基于大量且专业的高质量训练数据。

这些挑战一度让 Xmax AI 犯了难。

但需要注意的是，Xmax AI 是一支既懂底层算法，又懂工程化落地，还拥有敏锐产品嗅觉的「特种部队」。

创始人史佳欣，出身于华为「天才少年」计划，是一位典型的技术极客。联合创始人梁宸，现任港科大（广州）助理教授、博导。联合创始人翁跃庭，是一位「六边形战士」型的全栈工程师。而公司核心技术团队则都是来自清华大学 KEG 实验室和 HCI 实验室的人才，是国内大模型领域和人机交互领域的顶尖力量。

不仅如此，团队核心成员也大都在字节、快手、华为、阿里等头部 AI 大厂历练过，有着丰富的技术落地实践经验。

因此，面对上述这些挑战，Xmax AI 交出了一份「硬核」的技术答卷。

针对极致实时性需求，Xmax AI 进行架构创新，提出了端到端的流式重渲染视频模型架构，实现了帧级别的自回归 DiT（Diffusion Transformer），并通过多阶段的蒸馏压缩和对抗训练，百倍提升了每一帧画面的扩散采样速度。不仅将延迟压低至毫秒级，更是通过自研的「循环回归架构」打破了时长的限制，支持无限时长的连续生成。

针对模型对意图理解的高要求，Xmax.AI 则构建了统一的交互模型架构，让模型既能理解摄像头透视下的空间三维关系，也能理解屏幕触控下的平面二维操作，从而对于用户的各类交互行为，模型都能够实现精准的意图识别。

而针对「数据荒漠」难题，Xmax AI 则搭建了虚实融合数据的合成管线，利用半自动化方式，低成本、批量化地生成了高质量的交互训练数据，构建了难以复刻的行业壁垒。

体验了这么多玩法，相信大家已经隐约感知到 Xmax AI 想做的事情了。如果说 Sora 代表的是一条极致强化生成能力的路线，让 AI 学会拍电影、构图、运镜、叙事，那么 X1 则是希望 AI 能够陪你玩，随时出现在你周围的生活场景中。

从这个角度来看，对于 Xmax AI 团队而言，X1 模型仅仅是一个开始。

其实从前面 X1 的模型能力展现上也可以看出来，Xmax AI 不是想「再造」一个专业的视频创作工具，开发一款 App，更是在试图搭建下一代内容交互引擎，重新定义用户与 AI 生成内容之间的个性化交互方式。

在他们的愿景里，这个新时代中，那些曾经只能存在于影视作品和虚拟世界中的角色，不管是数码宝贝，还是银翼杀手式的仿生生命体，都可以走进现实，成为虚实融合的「数字生命体」，进入家庭，成为用户的虚拟陪伴、虚拟宠物等。

与此同时，「万物可交互」也不再只是一个空想，不管是刷短视频、看直播，还是视频通话、线上会议，都可以实时改变视觉形态，一边看一边玩，带来全新的个性化体验；社交互动变得更立体、更有趣，摄像头化身「精灵球」，随时随地「捕捉」一个好友过来，对 TA 进行打扮……

也就是说，Xmax AI 所做的，是通过 AI 将「幻想」拉得更近，近到可以触碰、互动、分享，真正融入人们的日常生活。

正如 Xmax AI Slogan 所言，Play the World through AI（用 AI 玩转世界），让世界触手可「玩」。

最后，感兴趣的朋友可以通过 testflight 邀请链接下载 APP，下载后在登录界面点击申请邀请码，也可以通过 Xmax AI 官网来提前体验、感受这一切。这一次，你可以亲自推开那扇通往虚实融合世界的「门」。


testflight 邀请链接：https://testflight.apple.com/join/8sWgKZeQ

Xmax AI官网链接：https://xmax.ai/


文中视频链接：https://mp.weixin.qq.com/s/xnaOGvC5_EVYxsJYxVE_xQ








特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。






打开网易新闻体验更佳




热搜

视频丨国防部：菲方非法图谋不可能得逞

宇树科技IPO时间定了 8月10日申购

中央：提升资本市场韧性和信心

赵心童6比0战胜罗伯逊晋级半决赛

视频丨南部战区位中国黄岩岛领海领空及周边区域组织战备警巡

国防部回应解放军打造台湾建筑模型





热门跟贴




打开APP发贴

0条跟贴








相关推荐




从苹果落地到牛顿定律，Apple-π 把视频模型的物理推理过程摆上考场

机器之心Pro









主创团队披露：《王的猜想》，怎么写出来的？

澎湃新闻76跟贴









上过《奇葩说》的量子物理学家，回国从零建实验室｜对话人大郭彦良

DeepTech深科技








博五师兄画饼、大师姐深夜 emo、00 后师妹清醒躺平 ......《八仙之暑期限定发 Paper 传》重磅上线！





生物学霸






探秘上海3日团

科学史平话云音乐特供


00:00






终端市场的下一个增长点，高通押在了“个人AI”上

量子位









阿里、腾讯，联手投了个华为“小智元”

虎嗅APP









华为工程师，偷偷用中文写代码，这事儿在硅谷炸锅了

趣料百宝箱3跟贴








善恶有报！背刺中国、出卖孟晚舟的凶手现形后，都遭到哪些报应





嘴角上翘3跟贴






共同守住“数字主权”，华为擎云加速落地

华商韬略









半天涨超530%，长鑫科技市值超过英特尔，7名高管身家超10亿元

每日经济新闻









一台798克的电脑，藏着华为鸿蒙的野心|硬件100

虎嗅APP









郭德纲顶级社交，赢得女首富大礼相送 郭德纲 陈丽华 语言艺术

娱乐琐琐碎13跟贴









史上最香的Pura？华为Pura 90 Pro越用越有味

雷科技









小平板该怎么选？华为 MatePad Mini、OPPO Pad Mini、红米 K Pad 2 选购建议

请不要叫我测评君









融合深空探测、地外文明思考，《你好人类：逆光行动》不止是小说

蒋院长讲航天









一起看看，华为ADS5.0有哪些重大升级

欧阳春晓Aurora









推荐系统只会「猜你喜欢」，却未必「听你的」？我们用多智能体给黑盒推荐做了一次外部可控性体检

机器之心Pro









老头用豆腐做了一只手，没想到以假乱真，竟吓的富豪直接崩溃

朱熹爱追剧









这才是古代造假技术的天花板，男人竟凭此成了首富

冷门精选











回到顶部回到首页



------
导航页 打开网址