很多人都经历过如许一种落差。实际里的空间是立体的，是包抄人的，是可以回身、昂首、回望的，可一旦被手机或相机拍成视频，世界急速被紧缩成一个窄窄的取景框。
暴雨光降前的天空并不只在镜头正前方，深夜街区的榨取感也不只来自路面，商场中庭、地下车站、展馆大年夜厅、建筑内部，这些真正让人产生现场感的器械，往往恰好存在于镜头之外。我们记录下了事宜，却没有真正留住空间，保存了画面，却没有保藏身安身处个中的感到。
这也是今天沉浸式内容家当最真实的困境之一。大年夜家已经越来越明白地意识到，将来的视频不只是给人看，更是给人进入、环顾和逗留的。VR、数字展陈、虚拟空间、文旅体验、游戏场景、线上看房、长途教导，这些范畴真正须要的都不是通俗平面视频，而是可以或许承载空间感、偏向感和临场感的全景内容。
问题在于，需求已经跑在前面，临盆方法却还停在后面。要拍摄高质量 360° 视频，往往仍要依附专门设备、多机位体系、复杂拼接流程和昂扬成本，真正能稳定产出的人和机构始终有限。也就是说，沉浸式内容的想象已经很丰富，但它的供给才能并没有跟上。
恰是在如许的背景下，喷鼻港中文大年夜学的薛天帆团队提出了 CubeComposer，并在论文《CubeComposer: Spatio-Temporal Autoregressive 4K 360° Video Generation from Perspective Video》中，试图答复一个真正有行业分量的问题，也就是通俗视角视频可否被直接扩大成原生 4K 的 360° 视频，并且这种扩大不是外面上的放大年夜，不是看起来清楚一点，而是可以或许在空间持续性、时光稳定性和整体真实感上都站得住。
所以，这项研究的意义不仅在于做出了一个后果更好的模型，更在于它给将来高分辨率沉浸式视频生成供给了一条清楚可行的技巧路线。
CubeComposer 背后的人
这件事可以想得更具体一点。今后一个商场空间的宣传视频，也许不必再靠专门全景设备拍摄；一段城市夜景素材，也不只是单一偏向的记录，而可能被扩大成可以环顾的沉浸式场景；很多本来只能平面不雅看的内容，将来都有机会变成能让人从新进入个中的空间体验。
CubeComposer 的价值，也恰是在这里。它不是纯真把模型机能往上推了一点，而是在通俗视频若何变成沉浸式内容这件事上，给出了一条更接近实际应用的路。
这也是沉浸式内容行业一向没有被真正做大年夜的关键原因。市场越来越须要 360° 视频，VR、虚拟空间、数字展陈、互动体验都在等更丰富的内容供给，可实际临盆仍然依附昂贵设备、复杂流程和高成本制造。大年夜家都知道通俗视频是最丰富、最便宜、最轻易获取的素材，但如何把它真正扩大成高质量全景视频，始终是行业里最难啃的问题之一。
论文链接：https://arxiv.org/pdf/2603.04291
真正拉开差距的，不只是分辨率
研究团队在两个数据集上对办法进行了测试，分别是自建的 4K360Vid 和公开数据集 ODV360。评价指标包含 LPIPS，数值越低表示成果越接近真实；CLIP，数值越高表示语义一致性越强；FID 和 FVD，用于衡量生成质量；以及 VBench 中的美不雅度、清楚度和一致性。
在 4K360Vid 上，与最强基线 Argus 比拟，CubeComposer 的 LPIPS 从 0.4074 降到 0.3696，CLIP 从 0.8858 进步到 0.9234，FID 从 141 降到 119，FVD 从 4.07 降到 3.90，解释生成成果在感知质量、语义一致性以及视频稳定性上都有明显晋升。雷峰网
进一步看最关键的 4K 版本，FVD 持续降到 2.22，清楚度指标 I.Q. 晋升到 0.56 以上，美不雅度指标 A.Q. 晋升到 0.40 以上，这解释分辨率更高的同时，质量不只没有降低，反而进一步晋升。
在 ODV360 上也出现出同样趋势。LPIPS 大年夜约从 0.43 降到 0.42，CLIP 从大年夜约 0.88 晋升到 0.90 以上，FID 从大年夜约 140 降到 123，FVD 更是从 Argus 的 12 以上降到 CubeComposer 的 3.5。这里尤其值得留意的是，FVD 从 12 降到 3.5，反应出视频时序稳定性和整体连贯性出现了异常明显的晋升。
研究人员还比较了这种办法与超分辨率筹划之间的差别。以往常见做法是师长教师成 1K 视频，再用 VEnhancer 放大年夜到 2K，但这种方法并没有真正带来更高质量的成果。例如 FID 会从 141 上升到 168，指标反而变差，视觉后果也更不天然。这解释后处理放大年夜并不等于真正的高分辨率生成，CubeComposer表现的是原生高质量，而不是放大年夜之后形成的外面清楚。
除了定量成果，研究还给出了定性比较。传统办法广泛存在远处细节模糊的问题，例如树木和建筑不敷清楚，活动过程中轻易出现画面颤抖，拼接区域会出现断裂，经由超分辨率处理之后还会产生明显的“涂抹感”。
比拟之下，CubeComposer 生成的成果在前景区域依然保持较高锐度，画面活动加倍持续，没有明显的拼接缝，整体不雅感也更接近真实的 360° 视频。这解释这种晋升不仅表如今指标上，也能在视觉上直接感触感染到更强的真实性。
研究团队还经由过程消融实验验证了核心计心境制的感化。对于高低文机制，研究人员比较了三种设置，分别是完全办法 Ours、去掉落将来信息的 w/o future tokens，以及应用全量高低文的 Full tokens。
成果注解，一旦去掉落将来信息，FVD 会从 4.25 上升到 6.03，机能明显变差；而 Full tokens 的机能固然与完全办法接近，但计算开销更高。这解释将来信息对视频生成异常关键，不过并不须要把所有将来信息全部输入，只须要保存关键片段，就可以在机能和效力之间取得更好的均衡。
在科研成果方面，他在计算机视觉与图形学顶级会议和期刊上揭橥了大年夜量论文，研究偏向覆盖视频生成、3D 重建、图像加强等多个范畴，累计被引用跨越一万次。同时，其团队近年来在多个国际顶级会议中获得重要承认，例如 SIGGRAPH、CVPR、NeurIPS 等会议的论文奖项和展示荣誉，表现出持续的研究影响力。
在持续性设计，也就是防止拼接陈迹的实验中，研究人员同样比较了三种版本，分别是去掉落地位编码、去掉落 padding 和 blending，以及完全模型。成果显示，只要去掉落个中随便率性一个组件，FID 就会从 157 上升到 190 以上，同时 LPIPS 也会变差，生成成果显得更不真实。雷峰网("大众,"号：雷峰网)
从可视化现象来看，最直接的问题就是界线地位出现明显裂缝。由此可以看出，持续性设计是 360° 视频生成中异常关键的一部分，对于包管不合区域之间的天然连接具有决定性感化。
一套不止于模型的完全打法
在数据集构建方面，研究团队起首建立了 4K360Vid 数据集。这一数据集包含 11,832 段视频，分辨率均达到 4K 及以上，来源是在 Argus 数据集基本长进一步扩大获得。
为晋升数据可用性，研究人员应用 Qwen-VL 主动生成视频描述，并对低质量视频进行了过滤，是以这个数据集具有高质量、有语义标注、合适生成模型练习等特点。除 4K360Vid 之外，研究中还应用了 ODV360 数据集，这是一套标准的 360° 视频数据集，重要用于练习和测试。
在练习设置方面，研究团队起首从 360° 视频中构造输入数据。每个练习样本都经历了几个步调：先从原始 360° 视频中随机生成相机轨迹，再据此生成通俗视角视频，用来模仿手机或惯例相机拍摄的后果，之后再把这种通俗视角视频转换成带缺掉区域的 360° 视频。
于是，模型面对的义务就变成了对缺掉区域进行补全，同时还要包管时光上的一致性和空间上的一致性。为了更切近真实拍摄场景，研究中将相机视角范围设置为 60° 到 120°，轨迹由 3 到 5 个关键点构成。
在练习办法上，研究人员以 Wan 2.2 5B 视频模型作为基本模型。在具体练习过程中，体系会随机选择一个时光窗口以及 cubemap 中的某一个面，然后环绕这一目标构建高低文信息，高低文由汗青信息、当前信息和将来信息合营构成，在这种前提下练习模型去猜测视频内容。
在推理，也就是生成阶段，研究团队采取分步生成策略。起首把整段视频划分成多个时光窗口，然后在每个时光窗口内，按照 F、R、B、L、U、D 六个面的次序慢慢生成内容。
每一次生成时，体系都邑应用高低文信息，尤其是汗青信息和将来信息，最后再把六个面从新拼接起来，形成完全的 360° 视频。从本质上看，这个过程就是把全部球形视频一点一点补全出来。
在比较实验设计上，研究团队选择了 Argus、Imagine360 和 ViewPoint 作为重要比较对象。为了包管比较公平，所有办法都应用雷同的输入视频，并尽量控制在雷同视角范围，也就是 90°×45° 的设置下进行比较。因为 ViewPoint 只能处理 90°×90° 的输入，是以研究人员针对这一办法零丁采取了响应设置。
在评测方法上，研究应用了三类指标。第一类是参考指标，包含 LPIPS 和 CLIP；第二类是分布指标，包含图像层面的 FID 和视频层面的 FVD；第三类是主不雅质量指标，也就是 VBench，个中包含美不雅度 A.Q.、清楚度 I.Q. 和一致性 O.C.。研究人员还特别解释，为了避免比较不公平，每个模型都按照自身支撑的分辨率进行评测。
回到实验意义层面，这项研究并不只是把分辨率从 1K 进步到 4K，更重要的是研究团队真正冲破了 360° 视频生成经久卡住的技巧上限。
以前的扩散模型往往要一次性生成整段 360° 视频，计算量异常大年夜，显存和算力压力也极高，所以成果平日只能逗留在较低分辨率，画面细节不足，离真正可用还有明显距离。
研究人员把本来整体生成的义务拆开，在空间上分成 6 个面，在时光上分成多个窗口，再按照次序慢慢完成生成，如许一来，本来难以遭受的计算压力就被分散了，高分辨率生成也从理论上的艰苦问题变成了实际可落地的筹划。也就是说，这项研究的价值不只是生成得更清楚，而是证清楚明了高质量 360° 视频生成这件事终于可以做成。
从研究办法来看，这项工作也提出了一种很有代表性的思路。以往很多生成模型寻求一次性把完全内容做出来，而研究团队转向了时空自回归方法，把视频生成懂得为一个慢慢推动、赓续补全的过程。
这种变更异常重要，因为它解释复杂的视频生成义务未必必定要整体完成，也可以像写文章、拼地图一样，一部分一部分地构建起来。如许的思路对将来的视频生成、3D 生成，甚至世界模型研究都有启发意义，因为很多更复杂的生成义务，本质上都可能受益于这种分步调、分区域、分时段的处理方法。
从少数人能做，到更多人能用
对于 360° 视频本身，这项研究还真正碰着了最难的几个核心问题，并且给出了比较完全的解决路径。通俗视频只能拍到局部视野，所以生成 360° 内容时最先碰到的问题就是看不见的区域怎么补。
不合偏向上的内容又必须彼此连贯，不然用户一回头就会感到场景是假的。再往下，多个区域拼接在一路时还很轻易在界线地位出现裂缝、错位和跳变。研究团队分别用高低文机制、将来信息、生成次序设计和持续性设计去处理这些问题，解释这项工作不是只在单一指标上晋升，而是在朝着真正可不雅看、可应用、可沉浸的 360° 视频迈进。
更值得强调的是，这项研究对通俗人的影响其实很直接。以前假如想做 360° 视频，平日须要专门的 360° 相机或者复杂的多机位设备，成本高，操作门槛也高，真正能用的人并不多。如今按照这项研究展示出来的偏向，将来通俗人拿着手机、活动相机，或者一台通俗摄像设备拍下来的视角视频，就有可能被主动扩大成 360° 内容。
这意味着很多本来只有专业团队才能完成的工作，今后通俗用户也可能做到。比如观光时拍的一段风景视频，将来不只是平面的记录，而可能被做成可以自由迁移转变视角的沉浸式回想；家里的日常生活、聚会、表演、婚礼，也有机会被保存成更有现场感的内容；师长教师、博物馆、景区、创作者和小型工作室，也不必定非要购买昂贵设备，照样有可能制造出更有沉浸感的展示材料。
从应用层面看，这项研究会影响的不只是实验室里的模型机能，还会影响通俗人接触内容的方法。对于 VR 内容制造来说，它降低了制造门槛，让更多内容来源不再依附专业拍摄设备。对于游戏和虚拟场景生成来说，它意味着情况构建可能更快、更便宜。对于数字孪生和虚拟旅游来说，它意味实在际世界中的一个通俗视频片段，将来就有机会被扩大成更完全、更可交互的空间体验。
换句话说，这项研究推动的不是纯真的算法进级，而是让沉浸式内容从少数专业机构手里，逐渐走向更多通俗人可用、可看、可创作的偏向。
从更深一层看，研究真正重要的处地点于三个关键设计被结合到了一路，也就是时空自回归、包含将来信息的高低文机制，以及用来降低计算复杂度的稀少留意力。零丁看个中任何一个设计，都很难彻底解决问题，但三者合在一路，才让 4K 360° 视频生成第一次真正具备了实际可行性。
这篇文章的通信录作者为薛天帆，今朝任职于喷鼻港中文大年夜学信息工程系助理传授。他的研究重要集中在计算摄影、计算机视觉、机械进修以及计算机图形学等偏向，经久存眷若何让机械更好地舆解和重建视觉世界。
在学术经历上，薛天帆本科卒业于清华大年夜学，随后在喷鼻港中文大年夜学获得硕士学位，并在麻省理工学院计算机科学与人工智能实验室完成博士研究，师从计算机视觉范畴知逻辑学者 William T. Freeman。
在进入高校任教之前，他曾在 Google Research 工作多年，从事图像与视频处理相干研究，并介入多项实际落地的影像算法开辟，例如移动设备夜景成像、图像加强和编辑体系等，这些技巧已经被应用在真实产品中。
参考链接：https://tianfan.info/
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
发表评论 取消回复