vivo 完成了对于自研 AI 芯片的重要迭代。
对于旗舰手机来说,最好的芯片、屏幕和拍照能力缺一不可,各家厂商都要在此基础上不断开发独门技术。在国内第二代自研芯片手机厂商的行列中,vivo 处于引领潮流的位置。
11 月 10 日,在双芯影像技术沟通会上,vivo 向我们揭幕了下一代自研芯片 V2,并介绍了与联发科在天玑 9200 上联合研发的进展。
「当人们在影像、性能等场景提出更高要求时,vivo 希望把这些场景做好,并做到行业领先。vivo 自研芯片就是我们的底气,」vivo 产品副总裁黄韬说道。
不论从速度还是能效上来看,V2 芯片都实现了大幅度的进步,更值得注意的是,在其之上 vivo 实现了 AI 芯片与 SoC 的高度协同,让不同芯片第一次实现了完美配合,vivo 也让天玑 9200 也发挥了超出常规的性能。即将搭载两块芯片的 X90 系列,或许将成为史上最强旗舰机。
自研芯片 V2,不仅升级,更是「真迭代」
给手机加上一块 AI 芯片,能够实现怎样的改变?从技术角度看,独立芯片由于「专精程度高」,将高需求算法硬件化封装,可以实现高速、低时延、低能耗的效果,完成超越体量的任务。
vivo 的独立芯片对我们来说并不陌生:去年 9 月,vivo 推出的自研芯片 V1 开创了手机外挂 AI 芯片的技术形态,自研芯片被运用在影像领域,实现了顶尖的拍照效果。在今年 4 月随热卖机型 X80 系列推出的 V1 + 上,自研芯片的应用范围从计算摄影延伸到游戏与视觉能力等方面,加装独立自研芯片的做法很快成为了旗舰手机的「标配」。
在即将发布的新一代旗舰机上,vivo 的领先幅度并没有被缩小,看起来反而还在继续拉大。今天发布的自研芯片 V2 又为我们带来了一系列黑科技。
与前两代专注影像能力的设计不同,V2 是一颗从场景事件出发,针对高密度 AI 算法算力需求量身定制的「低功耗 AI 加速芯片」。在这块芯片中,vivo 在底层技术上对片上内存、AI 计算、图像处理三大单元进行了大幅升级,实现了全新的架构。
首先,在异构多芯片计算方向上,vivo 实现了重要突破。
AI 应用是手机上新兴的算力需求大户,独立的 AI 芯片可以让专用的算力去解决机器学习运算,但这是一种缺乏灵活性方式,而手机 SoC 上的 AI 算力部署较为灵活,却难以满足大密度运算的算力需求。vivo 系统架构师和工程师设计了 FIT(Frame Info Tunneling)双芯互联技术,将两者的优点互补,实现了 1+1>2 的效果。
具体来说,vivo 工程师将体量较大、复杂的算法模块拆分,把算力密度小、网络结构复杂的小模型通过软件部署在平台 NPU 上,算力密度大、数据吞吐密集的大模型部署在 V2 芯片上,让不同硬件处理各自擅长的部分。
要想实现理想中的状况并不容易:V2 芯片与平台 SoC 说着不同的「语言」——芯片架构和指令集完全不同。在拍摄任务中,vivo 工程师需要通过 FIT 互联技术让平台 NPU 对传感器和每帧画面进行预处理和运动感知分析,V2 芯片则将 NPU 分析结果和高精度 Timecode 嵌入到每帧画面中。在 vivo 双芯处理任务的过程中,时延被降低到了百分之一秒内,实现了软硬结合的高速协同计算。
其次,面对 AI 计算长久以来的瓶颈,vivo 也探索了新的方向。
在端侧设备处理 AI 任务时,数据的吞吐量需求极高。vivo 在 V2 的设计中加入了近存 DLA,其可以通过全硬化 MAC 设计和大容量专用片上 SRAM,强化算力密度和数据密度,以释放平台的算力容量潜力。得益于全硬化 MAC 设计,V2 的近存 DLA 在实际 AI 运算中能达到 100% 的 MAC 利用率。相比在平台 SoC 软件部署 AI 运算,8bit 算力密度提升了两到三倍。
此外,vivo 还针对专业视频的 10bit 处理需求,在自研芯片 V2 中专门硬化了 10bit 的 MAC 单元——相比平台 SoC 软件部署所采用的合并运算方式,10bit 算力密度提升了 4-6 倍。
AI 计算还受到传统架构冯诺依曼瓶颈(内存墙)的制约——过去 20 年中,硬件的峰值计算能力增加了 9 万倍,但是内存 / 硬件互连带宽却仅提高了 30 倍,越新越复杂的算法,面临的瓶颈就越严重。
V2 芯片借鉴近存计算思想,压缩了计算单元和存储单元间的距离,在近存 DLA 内配套设计了专用片上 SRAM,速度高达 1.3 万亿 bit/s,让 V2 的片上 SRAM 容量较 V1 提升了 40%,达到等效 45MB。
近存 DLA 的设计大幅减少了数据寻址和搬运的功耗,与通常 NPU 采用的 DDR 外存设计相比,SRAM 数据吞吐功耗理论最大可以减少 99.2%。
算力和数据密度的双重提升,以及多项低功耗电路设计方法的加持,让自研芯片 V2 的性能在同等芯片制程条件下的表现远超竞品——内核每瓦算力在运行 8bit MAC 和 10bit MAC 时,分别达到了 16.3TOPS/W 和 10.4TOPS/W,实际工作中在部署相同算法时,V2 相比传统 NPU 能效比提升了 200%。
DLA 作为一个整体,实现了最合理的 AI 算法处理架构。在芯片底层技术能力革新之后,vivo 自研芯片 V2 将传统的 ISP 架构升级成为 AI-ISP 架构,带来了全新的双芯影像体验。
「魔改」天玑 9200,剑指苹果 A16
自研芯片的同时,vivo 还与芯片厂商对手机 SoC 平台进行了联合研发。
过去人们常说发哥芯片性能强,可惜没人调,但今年的 vivo X80 系列让联发科冲高端获得了成功。
就在本周二,联发科发布了下一代旗舰芯片天玑 9200,它是首款基于台积电二代 4nm 制程工艺打造的 SoC,在性能和能效方面都提升到了前所未有的水平,vivo 也在活动中官宣即将成为该芯片的首发品牌。
天玑 9200 使用 1+3+4 的三丛集 CPU,CPU 性能提升超过 10%,同时大幅优化了能效,在微信、游戏、录像等高频使用场景下功耗降低 15-20%。其 GPU 提升更加可观,首发搭载了 Immortalis-G715,配置升级到 11 核,性能提升 32%,功耗优化 41%,另外还实现了硬件光追能力,带来了更完美的游戏体验。
横向对比来看,天玑 9200 的 GPU 性能要比高通骁龙 8gen2 稍强,两者的 GPU 都超越了苹果的 A16。这一代,安卓旗舰机终于在部分性能指标上处于领先位置了。
为了充分发挥硬件能力,vivo 与联发科展开了密切合作,从使用场景出发将产品需求前置到芯片的规划阶段,在硬件层面上实现定制化,让新款旗舰机在实际使用中达到了性能和功耗的完美平衡。
vivo 产品经理韩伯啸表示,vivo 首发机型(据信为 X90)的跑分是 128 万,比联发科官宣的 126 万还要高一些。
基于天玑开放架构,vivo 和联发科深度合作研发了五大功能:MCQ 多循环队列、王者荣耀自适应画质模式、芯片护眼、APU 框架融合和 AI 机场模式。
在国民手游王者荣耀上,vivo 推出了王者荣耀自适应画质模式,利用游戏自适应调控技术 MAGT 和 vivo 平台服务与游戏应用间的即时信息交换,可针对游戏的内容实现即时逐帧调控,进而达到自适应闭循环。
该技术实现了 FPS 救帧、Thermal 降载、Power 降载、冷却等模式,开启后可在极高画质设定下增加手机续航时间并控制温度。经过实测,自适应调控下的王者荣耀 120 帧模式,能稳定运行超过一个小时。
天玑 9200 也提升了 AI 能力,其第六代 APU690 算力达到 30TOPS,能效比相较上代提升 40%。基于新技术,vivo 实现了相机超清文档、实况文本、离线语音输入法等应用。
vivo 在业内首次实现了语音转换算法 NPU 优化落地,支持全离线语音输入,可以确保数据本地处理,保护了用户隐私。对比目前通用的 CPU 方案,功耗优化 36%,性能提升了 76%。
最近一段时间,用 AI 加强手机信号的方法成为了新方向,vivo 提出的 AI 机场模式让手机通过感知 AI 引擎知晓用户进入机场与飞机的起飞降落,再通过搜网 AI 引擎来准确识别目的地,并智能调控搜网策略。开启飞行模式时,手机平均节能 30%,再次打开信号后,捕获网络的速度从 7.41 秒优化至 1.52 秒,时间缩短了 79%。
计算摄影新标杆:同样的光学器件,更强的体验
vivo 希望通过自研芯片与天玑 9200 的深度协同,把 X90 系列打造成全新一代影像标杆。从 V2 到蔡司 T* 镀膜、VCS 仿生光谱技术再到自研的算法矩阵,vivo 手机的整个计算摄影光路已进行了一次全面升级。
拍摄远处景物一直是手机摄影的痛点,配合「超清画质引擎」上的蔡司光学超分算法,vivo 能根据不同手机型号上的拍摄模组特性做建模分析,通过逆运算动态调整,补偿光学信息,突破镜头工艺的上限。在算法加持下让 5 倍以上的焦段,拍摄解析力最高提升 35%。
在长焦拍摄的过程中,变焦的倍率越大,抖动也会被放大,Ultra Zoom EIS 技术可以消除抖动对拍摄的影响。它包含了 IMU(惯性测量单元)、OIS 光学防抖与 EIS 电子防抖三大模块:IMU 检测抖动,OIS/EIS 抵消抖动,软硬协同防抖。这使得 vivo 能在 20X 以上的倍率上实现抖动抵消,让被摄主体在画面中趋于平稳不晃动。
在运动检测过程中,vivo 提出了更强大的运动检测算法,可实现肢体运动强度检测和跟踪,准确率提升 10%,通过深度学习算法让手机能够思考、预判画面中任务运动的趋势,并及时锁定画面,在拍摄时自动帮助你抓住精彩瞬间。
在抓拍时,手机的快门延迟一般在 170-300ms,这意味着在同一时刻按下快门,专业相机出片完成后,手机可能仍未开始曝光。vivo 全面优化了拍照的图像处理管线,提升了相机启动的速度,快门延迟被降低到了 30ms,达到专业相机水平,让你按下快门就能迅速成片,所见即所得。
如果画面中的可用信息不够多,AI 也可以帮你合成。vivo 的自适应多帧融合技术在一次按下快门时会生成多帧运动画面,叠加自研的 RawEnhance2.0 算法,可以把每一帧有用信息叠加在一起,让暗光运动的照片也没有拖影。
这些只是自研芯片能力的一部分,V2 的多项突破性设计能最大化满足 AI 大密度算法算力需求。未来,vivo 还将继续在多芯系统、单芯架构与应用 IP 上不断探索,把极致能效覆盖到更多应用中去。
引领移动影像 为什么是 vivo?
vivo 高级副总裁、首席技术官施玉坚表示,vivo 要坚持不断创新和优化产品、通过不设上限的持续研发投入,拓展消费电子行业人文与科技的边界。
不知从何时开始,旗舰手机的竞争已经越过了影像和芯片能力的比拼,进入了自研技术体系的新阶段,而这正是一条壁垒很深,需要长期积累的发展道路。
「vivo 很早就开始了自研之路,用了 5 到 6 年的时间才陆续有了 V1、V1 + 以及今天的 V2,」vivo 产品副总裁黄韬在发布会上说道。「现如今,我们将自主研发与联合研发相结合,与行业优秀伙伴合作就是为了带给消费者更好的产品体验。」
正是一直以来的坚持,让 vivo 突破了技术边界,在最卷的中国手机市场占据了销量第一的位置。
随着不久之后 X90 系列的面世,想必 vivo 的领先之路还将继续。