自从有声电影诞生以来，传统的电影制作中，流传着这么一个古老的经验：“你可以用较差的视频质量制作一部电影，但是如果用较差的音频质量，那么几乎是毁了这部电影。” 由此可见音频质量在影片中的重要性。南加州大学创新技术研究所（ICT）的马克主任表示：“在电影中，声音是一如既往地重要，它能够让人身临其境，并且真切感受到电影中各种情感因素的脉动。”
那么在虚拟现实中，音频质量的重要性可能比在传统电影中更加重要。因为虚拟现实中，观众也是其中的导演。虚拟现实中故事情节的变化，取决于观察者的角度。没有方位和距离感觉的声音，容易让用户的听觉和视觉系统失调，破坏用户对于听觉、视觉协同的本能反应，从而更容易产生眩晕感。显然，虚拟现实就是尽可能为用户提供更为真实和沉浸式的体验，但如果声音方面没有做好技术配套，将会极大破坏了这种体验。
事实上，目前热闹的虚拟现实技术，其实准确来说应该是虚拟视觉技术，因为声音的因素显然还没有考虑。但是，当国内还在热炒这种虚拟视觉的时候，国外已经悄悄布局了真正的虚拟现实技术。2016年的CES已经陆续有厂家发布相关的3D声音技术，但是这项技术显然还是有点太贵了，相对于Google用个纸盒子就可以实现的虚拟视觉系统，3D音效似乎就有点不接地气。当然，这也和声学相关研究的初期投入较大有关系，而且3D声音的研究确实需要做很多实验，采集非常多的人体相关数据。显然，3D音效是虚拟现实的一个优势技术，它让声音听上去更加逼真，从而强化整个虚拟过程中用户体验的浸入感。
- 什么是3D音效
3D音效就是利用耳机或者按规律摆放的一组扬声器，基于人耳的一些特殊声学效应，通过一些声学相关算法计算模拟，仿造出似乎存在但实际是虚构的声音。例如在虚拟现实的游戏中，当一个怪物偷偷出现在你左后方时，你能从左耳听到它流口水和舌头吐纳的声音。通过逼真的声音，你也可以深刻体会身临其境的感觉，很轻易知道游戏中敌人在哪个方位，并且快速出击。当然，这种体验需要在声音录制和音轨制作时就考虑声音的方向、距离和环境等因素。
- 什么是环绕声
说到环绕声，就离不开电影院的贡献，最开始电影院是单声道（Mono），然后是立体声（Stereo），其后是环绕声（Surround），再其后是5.1和7.1声道，理论上接下来将是9.1、11.1甚至13.1声道，很多公司实际上就在研发更多声道的技术，包括杜比的全景声。但是我们常说的标准环绕声技术一般还是指5.1或者7.1声道技术，5.1声道比较流行，但实际上有听音盲区的缺陷。但是不管5.1还是7.1，这些声道都需要真实的音箱摆放，而且回放的声音是处在一个平面上，无法展示从上和下方传来的声源。这样看来，环绕声技术就不太适合虚拟现实中当前以耳机为主的应用场景。
- 什么是虚拟环绕声
上面提到的环绕声技术，不管5.1还是7.1，都有一个缺点，就是回放时需要按照规则固定摆放多个音箱。这就对其应用场景产生了很大限制，比如我们用耳机听音乐怎么办？所以，这个时候就需要一种虚拟的声学技术，能够把多声道的信号经过处理，在两个平行放置的音箱或者耳机中回放出来，并且能够让人感觉到环绕声的效果，这就是虚拟环绕声技术。显然，这是一种非标准的环绕声技术，可以增强我们听听音乐、看看电影的用户体验。但是这种技术也不适合虚拟现实中的应用，因为这种技术无法依靠算法在虚拟环境中随意定位声源，或者实时计算和比较3D游戏中声音的关系，而且这种技术也只能模拟到一个平面上，无法解决垂直面声源方位的问题。
- 3D音效的基本原理是什么？
3D音效的技术基础是HRTF，即头相关传递函数（Head Related Transfer Function），HRTF可以分解为三部分，ITD，ILD及Spectral Cues。实际上非专业技术人员，大可不必搞明白到底是什么。通俗来说，HRTF就是试图模拟我们人耳获取声音的模型，并且通过这个模型虚拟出来任意声源所对人耳所造成的感觉。这样来说，HRTF首先就需要测量众多人耳的数据，通过这些数据建立起黑盒子的声学模型，其关键就是如何测得较为准确的HRTF数据，以及如何建立起比较适合的相关模型呢。说到这里，笔者想起来声学在线曾经报道过微软建设了世界上最好的消声室，这可是3D音效技术中最基础的实验环境，所以未来的HoloLens必然还会让你惊讶！
- 3D音效如何应用到虚拟现实？
当然，3D音效的概念还是比较广泛，声学在线也曾经专题写过影院3D声音技术的文章，这和虚拟现实中的应用还是有差别的。首先来看，虚拟现实现在的表现形式还是以头盔为主，因此耳机必然是最佳配置，而这样，实际上对3D音效提出了更复杂的技术要求。由于只能通过耳机来回放出具有3D效果的声音，其播放的声道也就只能限制到两个声道，也就是立体声，因此，我们就把应用到虚拟现实中的3D音效暂且称之为3D立体声。
显然，3D立体声就需要一系列的采集、编码、传输、解码以及回放的过程，我们用个图展现一下，大家可以看到一目了然。同时，为了兼容现有的声音方案，3D立体声还必须能够具有虚拟环绕以及音效增强的作用。这样来看，3D音效其实不单单是技术层面的问题，而涉及到了从内容产生、制作到发布的各个环节。没有一定的技术实力和市场应用，这个领域也只能是巨头们玩的游戏。
上图的基本思路便是：采取“声场表达”的编码思路，使用“可扩展立体声”作为操控基本对象，向下兼容传统编码和SAOC等技术，来进行3D声场表达和3D声场重建。可扩展立体声，即基本立体声（面向前半平面空间）可扩展为多对各空间区域立体声，并可附加声源位置/距离信息，可以用来表达参考位置的3D声场信息。在可扩展立体声的基础上进行压缩编码。
- 3D音效的市场现状如何？
实际上，技术早已不是3D音效普及的主要障碍了，3D音效的影院在国内也有上百个了，当然这得益于杜比与好莱坞的密切关系。而在虚拟现实领域的3D声音应用，显然微软和Google走在了前面。而我们要重点关注Google的进展，因为微软非要高大上，比如HoloLens，过于昂贵的产品我们认为普及很有问题。Google不是这样，大家还记得那个纸盒子的Cardboard，极其便宜的虚拟视觉体验产品，国内还有不少公司抄袭这个产品。
谷歌Cardboard最初是由法国的两位工程师利用20%的时间打造出来的实验项目，是基于手机的廉价VR解决方案，类似三星的Gear VR，使得普通用户也能体验360度的视频。但是它所能带来的VR体验是一种很初级的体验，甚至只能勉强算作是VR。目前市面上，高性能独立虚拟现实头盔像Oculus公司（已被Facebook斥资20亿美元收购）的Rift和索尼公司的PlayStation VR，主要是为游戏所设计的。这些设备提供了很酷的立体视觉体验，同时用户还可以通过使用手持式控制器，尽情探索虚拟空间中的各个角落，各种细节，与里面的数字对象进行交互，同时享受各种逼真的音频。
Oculus、索尼、HTC生产的高价耳机已经能够提供3D立体声的虚拟现实体验，然而Cardboard由于是通过智能手机播放的，并不能支持这种体验。所以谨防市场上的那些忽悠产品，从事这个领域草台子公司可真的不行。当然谷歌也意识到了这个问题，腰包中有钱，通过收购Thrive Audio公司的相关技术，为虚拟现实头盔Cardboard也增加了3D立体声的新功能，使得用户用这个最廉价的VR头盔也能体验到3D音效。这一举措，显然也为谷歌 Cardboard向真正的VR迈进铺平了道路。
Cardboard新的音频功能，能够给游戏开发提供很大的便利。除了能让开发者给观众播放其所期待的特定音效之外，这项技术还能够使得声音变得更加逼真。例如：如果声音出现在你的右边，该技术会使得你的左耳所听到的声音比右耳延迟一点点，并且两个耳朵所听到的声音也不尽相同，从而营造真实感。另外，Cardboard的3D立体声音频会根据观众所处的虚拟环境，提供给用户不同的声音环境。例如：如果观众所在的环境是室外的雪地里，那么声音就会显得低沉（声音被雪地吸收，参见为什么下雪的时候城市就安静了？），而如果是在一个封闭的房间里，声音就会显得有点回响（声音被墙壁反射）。这项技术使得Cardboard在没有任何高昂计算机的辅助下能够实现Oculus Rift的音频效果。
- 3D音效的爆发还需时日
3D音效技术已经研究了几十年，到现在还不算完美。虽然Cardboard的本身定位不是高端耳机，而是休闲级别的，旨在“人人都能用上虚拟现实”的入门级产品。其用户体验并不是很好，但仍可看出谷歌对VR，还是十分重视和认真的。谷歌不仅和《纽约时报》合作推Cardboard，还成立单独的VR部门，专注于VR技术的开发。而Cardboard的价格如此低廉，甚至谷歌都可以免费送给用户体验。这种明显的价格优势，将有助于推动VR成为主流。而对于3D立体声技术，谷歌已然将其视为Cardboard生态系统的一个重要组成部分。
如果VR真正爆发，3D立体声技术将会进一步改善。通过定位跟踪VR设备以及固定在家里的各种音响系统，虚拟现实和现实世界之间的界限将变得越来越模糊，声音将来自于你周围的一切，而不是耳机。
斯坦福大学的虚拟人机交互实验室创始主任杰里米·贝伦森指出，3D立体声是创造浸入式虚拟现实体验的关键。他说：“我们实验室有基于Worldviz虚拟现实系统的内置24通道的立体声混响音效系统，该系统可以空间化声音并且集成所跟踪的数据，我们每年为数千人提供VR体验，3D立体声是这种高质量体验的重要组成部分。”
但是现在，尽管技术仍有很多瑕疵，3D音效技术已经可以落地了，只需要智能手机和Cardboard，插上耳机，你就可以体验真正的3D音效。当然这对于谷歌而言还仅仅是万里长征的开始。在VR当今火热的竞争中，Cardboard或许是VR的一个小尝试，但是由于其简单有效，成本低廉，谷歌将会迅速在虚拟现实领域占据先机。同时，这也是国内声学产业的机会，新兴的市场总会产生新兴的机会，从而孕育出新兴的巨头。
