8月24日,北京朝阳门氪空间迎来了第81期百度技术沙龙。本期技术沙龙特邀百度 AR 团队与百度 VR 团队的资深技术工程师,围绕百度 AR 与 VR 的核心技术能力及实战应用展开分享。
在国内增强现实与虚拟现实领域,百度以深厚的技术壁垒构建了独具优势的生态开放平台,为开发者及合作伙伴提供优质的一站式解决方案,布局深入教育、实训、营销等多个领域。而本次沙龙主要从技术角度对 AR、VR 平台进行了深度解析,为到场的开发者与企业代表带去了满满的干货。
作为国内领先的增强现实生态开放平台,百度 AR 首先分享了今年全新升级的 DuMix AR 3.0,全面升级人机交互能力并开放更多工具,在满足 AR 开发者更多维度需求的同时帮助他们实现更简单的流程和更高效的分发。
打通底层硬件至业务场景
的跨越式布局
百度 AR 资深研发工程师马晓昕
《Dumix AR 平台3.0—人机互动的升级》
大多数情况下,行业内的 AR 企业根据自身优势或业务形态,聚焦于其中2~3个能力层级;而百度凭借在 AI 领域的深度累积,形成了以兼容主流 AR 硬件设备为基础、跨越“技术层+内容层+业务场景”的完整布局,开发者可以通过不同层级的能力自由组合,生成满足自身业务场景需求的解决方案。
10+核心能力开放
一站式 AR 内容平台
Dumix AR 3.0为开发者提供了“技术+内容”双平台,技术开发者可以将 AR 应用托管至内容开放平台,同样内容开发者也可以将生产的内容私有化部署至技术开放平台。
对技术开发者来说 Dumix AR 3.0提供了很高的自由度。不仅全面开放了手势、肢体、通用 SLAM 算法、背景分割等十余项 AR 核心能力,更是行业里首个将人脸识别能力面向开发者开放的 AR 平台;8类适用于不同场景的 AR 引擎和4种开发框架,让开发者能够高效、灵活地部署最适宜的开发方案。
同时,Dumix AR 3.0为内容开发者准备了从制作工具(编辑器)、内容管理到云端实时分发的全流程支持,帮助开发者快速实现 AR 内容制造和规模化产出。值得强调的是,这些内容不只能够通过开发者自有渠道进行分发,而且与百度 APP 相机入口、小程序入口、百家号入口等全面打通,一键分发,未来也将开放百度生态内更多用户级产品的入口。
如何开发一个 AR 场景应用?
百度 AR 资深研发工程师 徐力
《百度 AR 场景渲染和互动能力简介》
通过上述工具和能力,如何在 DuMix AR 3.0平台上完成一个 AR 场景应用?所谓场景,就是在游戏和 3D 开发中常提到的“Scene”,它通常是指整个虚拟画面中所有元素的集合。而 AR 场景开发,就是实现虚实融合的渲染+虚实互动的交互。
百度 AR 自主研发了一整套的 AR 场景渲染和场景智能互动的基础能力,并以此定义了一套完整的场景开发标准和配套工具集,开发者依照标准结合自己的创意来开发自己的 AR 场景应用,并通过 DuMix Cloud 来进行部署和分发。
在 DuMix AR SDK 中,包含了丰富的渲染和互动基础能力模块,来实现虚实融合的渲染和虚实之间的互动,开发者通过脚本系统提供的 API 接口便可访问上述所有模块的功能。
场景渲染互动模块完整兼容了 ARKit 的大部分基础功能,开发者可以在百度 AR 的自研跟踪算法和 ARKit 之间灵活切换;另外我们还提供了场景分布式加载的功能,有效缩短了加载过程中的用户等待时间,提升了用户体验。
DuMix AR 网页端场景编辑器通过手机实时预览
特别需要指出,在人脸 AR 方面,百度 AR 也提供了一套完整的工具支持,它以一个 Maya 插件的形式呈现。内容的设计师可以直接在 Maya 中制作人脸 AR 的模型和场景、为它配置人脸交互响应等,然后直接导出为 DuMix AR SDK 中可使用的内容资源。
VR 方面,百度 VR 作为国内领先的一站式 VR 方案解决机构,现已全面布局教育、实训、营销等重要 B 端领域。本期沙龙上,百度 VR 团队带来了 VR 整体解决方案设计、能力矩阵布局等重要内容,对百度 VR 核心技术能力及 VR 开发者套件设计进行了深度解析。
从教育口突破
深挖 To B 领域市场
为什么将业务重心放在 B 端市场?百度 VR 认为虽然 VR 行业在中国的发展只有短短几年时间,但 VR 技术已开始迅速地叠代创新,VR 市场需求的持续增长要求技术创新与储备不断加速。发力 To B 领域,可以让 VR 技术在实战应用中,获得更多突破提升,真正做到降本增效。
百度 VR 团队架构师、研发负责人柴学智
《To B 领域 VR 应用实践》
面对庞大的 B 端领域市场,百度 VR 凭借自身资源和渠道优势,率先打造“VR+教育”体系,从教育领域最先入手。今年6月“百度 VR 智慧课堂”项目与安徽合肥习友路小学正式签约合作,成立百度 VR 智慧课堂试点基地,让社会各界了解 VR 产品在实践领域的应用和突破。
四大核心技术能力
一站式 VR 解决方案
VR 领域的核心竞争力在于技术的积累与创新以及业务的扩展性,百度 VR 通过不断提升核心技术能力,打造完善的技术框架,在实践与应用中,为 VR 从业者提供一站式服务。
在本期分享会上,百度 VR 第一次对外公开了整体技术框架:内容平台+技术平台+Iaas 平台。核心技术和创新则主要表现在 UnitySDK、Web SDK、Native SDK、XBase 等四个方面。
百度 VR 整体技术框架
基于“为开发者提供技术能力和内容制造能力,帮助用户提高 VR 内容的生产效率,同时提升 VR 内容的消费体验”的思路,百度 VR 将根据实际需要,丰富 3D 模型/场景、3D 动效、全景图片、VR 视频、网页等不同内容素材源。未来还将系统梳理服务分层、业务场景化分层、服务平台化分层的 VR 原则,增强业务扩展性、提高技术积累效率、可开放等技术价值。
百度 VR 整体技术框架——能力矩阵
百度 VR 开发者套件核心能力
解决内容开发痛点
在 VR 技术研发领域,新产品研发最难突破的痛点莫过于硬件平台多样性、不同内容交互复杂程度不一致、多团队实现路径不统一、相似功能重复开发、内容制作成本高等问题。百度 VR 3D 技术负责人赵俊博表示:“百度 VR 开发者套件拥有六大核心能力,正在积极地帮助我们的合作伙伴和供应商降低开发成本、输出优质内容。”
百度 VR 3D 技术负责人、百度资深研发工程师赵俊博
《百度 VR 开发者套件核心能力》
百度 VR 开发者套件核心能力矩阵主要包括 VR 硬件平台适配、通用交互能力、逻辑状态机、联机能力、全景展示能力、资源管理。各项能力覆盖 3D 内容开发的各个方面,从前期策划到研发过程中的美术、程序部分,再到后期的运营管理。在 3D 内容的整个生命周期中全面积极的帮助合作伙伴和供应商适配多种硬件平台、减少重复逻辑的开发、降低时间成本、提升内容的质量和稳定性。
百度 VR 开发者套件核心能力矩阵
百度 VR 开发者套件能力覆盖范围
通过本次技术沙龙的深度交流,百度 AR&VR 充分展示了打造顶级生态开放平台的实力与决心。同时,作为百度 AI 战略重要环节,百度 AR&VR 也将通过多样化合作方式不断深入各个领域,为更多产业赋能。希望越来越多的行业伙伴、开发者等加入百度 AR&VR 生态,一起用科技让复杂的世界变得更简单。