AI时代须要什么样的VPU？

当视频成为AI体系中的重要数据形态，视频处理也在被从新定义。

一方面，视频分辨率持续晋升，从4K走向8K，多路视频流成为常态；另一方面，视频不再只是“被不雅看”，而是被用于分析、决定计划甚至练习模型。这使得视频处理不再只是简单的编解码问题，而是同时涉及机能、带宽、存储与及时性的一组体系束缚。

此时一个更具体的问题开端浮现：AI时代，到底须要什么样的VPU(Video Processing Unit，视频处理单位）？

近日，安谋科技（Arm China）宣布新一代“玲珑”V560/V760 VPU IP（代号“峨眉”），进行了周全进级，采取多核多格局编解码融合的可编程处理架构，单核可支撑4K60FPS编码或8K30FPS解码，集成CAE（Content Aware Encoder，内容感知编码）先辈编码技巧，周全支撑H.266等主流编解码视频标准。

“玲珑”V560/V760 VPU IP面向边沿AI、云端AI以及物理AI，现已完成首批客户授权，客户产品估计本年陆续量产。

对于须要经久处理和存储视频数据的体系而言，这种优化直接转化为带宽与存储成本的降低。

AI时代催生的「六边形兵士」VPU

与传统视频应用比拟，AI场景对VPU的请求更高。

起首是处理才能的变更。以前，单路视频的清楚播放或录制已经足够，但在云端转码、主动驾驶、多摄像头感知等场景中，多路视频流的并行处理成为常态，这请求VPU不仅具备更高的单核机能，也须要具备优胜的多核扩大才能。

其次是效力问题开端前移。视频数据范围的快速增长，使得码率不再只是影响画质的参数，而是直接影响带宽占用与存储成本。在云端场景中，这部分开销甚至可能成为经久运行的重要成本之一。

与此同时，及时性请求也在进步。从视频会议到云游戏，再到部分须要即时反馈的AI应用，延时不再是可以被容忍的“附加问题”，而是直接影响体验甚至体系成果的关键身分。

多OS支撑和安然同样关键。“玲珑”V560/V760支撑包含Linux、Android、Windows及RTOS在内的多种操作体系，并可以或许运行在多OS与虚拟化情况中，同时支撑TrustZone内容保护，高等Mosaic功能还供给完美的隐私保护。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。

在及时处理方面，得益于安谋科技独有的条带级编解码控制技巧，经由过程更细粒度的编解码控制方法缩短处理链路，V560/V760明显降低编解码延时，且编解码控制更灵活。

再加上应用处景本身的分化——从端侧设备到云端体系，从花费电子到主动驾驶与机械人——VPU还须要具备足够的灵活性，以适配不合体系对机能、功耗与功能的差别化需求。

安谋科技Arm China VPU产品总监汪奕磊表示：“在如今AI与视频互相赋能的时代，视频处理正面对前所未有的机会和挑衅。我们推出的‘玲珑’V560/V760是面向AI应用的新一代VPU IP，能为AI时代的各类视频应用供给强大年夜核芯，可以覆盖云、边、端全场景。”

“玲珑”V560/V760 VPU IP堪称“六边形兵士”，在高机能、低延时、高鲁棒性、多OS支撑、高质量低码率、信息安然层面都很强。

机能层面，V560/V760的单核支撑4K 60FPS编码与8K 30FPS解码，比拟上一代产品，单核解码机能实现翻倍，并且多核运行并行度高。

安谋现场展示了8K解码后果，在高机能开辟板上，基于“玲珑”V560/V760及时硬件解码，实现8K30FPS超高清视频流畅播放，以及搭载“玲珑”V560/V760的活动相机及时拍摄和成片后果，可以实现每一帧稳定、不丢帧、不延迟。

鲁棒性在实际应用中的价值同样明显，V560/V760具有强大年夜的缺点处理才能，在丢包率高达20%的情况下仍可实现纠错解码

全新一代玲珑VPU还有一个异常关键的变更是对编码效力的优化。

经由过程引入CAE（内容感知编码）技巧，“玲珑”V560/V760在编码过程中参加轻量化的内容分析才能，对画面中的关键区域与非关键区域进行差别化处理。这种方法不再是简单地紧缩像素数据，而是基于内容进行更有针对性的码率分派。

安谋在宣布会现场也演示了“玲珑”V560/V760 CAE编码的后果，在CAE的加持下，前处理过程中，可以智能辨认到须要重点处理的敏感对象；一致视频码率下，编码质量平均晋升20%；一致编码质量下，视频码率平均降低20%，特定场景下码率最大年夜可降低80%。

积木式堆叠技巧知足从云到端的AI视频处理需求

高机能、低延时、高鲁棒性、高质量低码率更多解决处理过程的问题，多OS支撑、信息安然对于各类AI应用的适配意义重大年夜。

“玲珑”V560/V760在这一代引入了一个关键思路——“积木式堆叠”。

安谋科技Arm China VPU研发总监黄鑫表示：“‘玲珑’V560/V760的核心优势在于采取了灵活可设备架构，并融合积木式堆叠研发特点，这一设计对于高度碎片化的多媒体技巧市场而言尤为重要，可以或许支撑客户按需设备、敏捷立异。”

积木式堆叠技巧让客户无需反复开辟底层，即可根据具体场景按需设备模块，充分知足多范畴、多场景的应用需求，从而大年夜幅缩短新品研发周期，加快产品上市过程。这意味着，在不合应用处景中，不再须要环绕一套固定才能做弃取，而是可以在机能、功耗与面积之间进行更灵活的均衡。

不合场景对机能、功耗、面积的需求不合，在端侧设备中，更存眷功耗与面积束缚；在主动驾驶或机械人体系中，多OS运行与安然隔离才能不克不及忽视；而在云端场景中，则更强调吞吐才能与经久运行成本。得益于“玲珑”V560/V760采取灵活可设备的架构，立异的多核处理架构，支撑多核同义务和多核异义务，知足多样化场景需求。

这种多设备全隔离的硬件运行机制，支撑多OS虚拟化应用处景，支撑视频内容安然拜访，可以或许知足复杂应用情况需求。

还值得一提的是，“玲珑”V560/V760覆盖H.266等主流编解码标准，集成多格局视频编解码器，同时支撑H.266标准的编解码，以及各类主流视频标准。

黄鑫进一步表示，“为应对赓续推陈出新的AI技巧与新兴场景，将来‘玲珑’VPU架构将朝着AI端到端视频编码技巧路径加快演进，慢慢构建起‘深度感知、全局最优’的AI VPU练习框架，办事于更广泛的‘AI+视频’应用处景。‘玲珑’将持续为各类AI应用供给视频技巧支撑，赞助客户在群雄逐鹿的AI时代中博得先机。”

作为六边形兵士，“玲珑”V560/V760 VPU IP足以知足云、边、端全场景范畴对视频处理“高效力、高质量、低能耗”的核心诉求。

比如在手持摄像设备、智妙手机、Pad、AI PC、TV、边沿办事器、线上会议等边沿应用处景，“玲珑”V560/V760 VPU IP在确保体系高效运行的同时，明显降低功耗和芯单方面积，并且大年夜幅降低视频码率和处理延时，实现用户体验、电池续航和芯片成本的最佳均衡。

在数据中间、视频转码、AI办事器、云游戏等应用中，“玲珑”V560/V760 VPU IP可在包管数据精确性的同时，实现高机能、高编码质量、高吞吐量、低延时的视频处理。

针对物理AI，如智能驾驶、智能座舱、机械人等应用处景，“玲珑”V560/V760 VPU IP支撑多OS/虚拟化应用，加强体系集成灵活性与安然性，降低跨平台、多应用的开辟集成成本与风险。

当视频成为AI体系的重要输入之一，问题就不再只是“能不克不及处理”，而是“能以多高的效力处理”。

在算力之外，带宽、存储与延时正在构成新的束缚前提，也让视频处理从一个功能模块，变成体系设计中的关键变量。

从这一点来看，“玲珑”V560/V760的意义，不只是一次VPU产品的迭代，而是为AI时代的视频处理供给了一个强力的支撑。雷峰网 雷峰网("大众,"号：雷峰网)