作者：包永刚
三年前，AI 成为了智能手机的新卖点。一时间，支持 AI 特性的智能手机快速普及，AI 性能表现成为了继 CPU、GPU 之后，消费者最为关注的手机处理器参数。如今，展示 AI 性能已经成为了手机和手机处理器发布会上必不可少的环节。
但你是否想过，为什么需要一款 AI 功能强大的手机？手机里的 AI 处理器究竟能做些什么？
手机有哪些 AI 功能？
提到手机上的 AI 功能，不少人马上能想到的应该是——智能语音助手和 AI 拍照。毫无疑问，AI 拍照是普通消费者使用最多的功能，功能包括 AI 背景虚化、AI 超级夜景、AI 美颜、AI 降噪等。除此之外，一些常见的 AI 功能还包括人脸识别、通话降噪、翻译等。
眼下，这些常见的手机 AI 功能正在变得强大。举个例子，以前，手机上并不能实现自动语音识别（ASR）、离线实时语音翻译的功能，随着 AI 技术的进步以及硬件和软件公司合作的深入，ASR 和离线实时语音翻译都可以在手机上实现，甚至还能在嘈杂的环境做出反应。
另外，在拍照方面，手机摄像头已经增加到三个甚至五个，在广角、超广角、长焦镜头之间切换的过程中，用户很容易感觉到卡顿，而高通和合作伙伴共同完成的光学变焦平滑切换解决方案，能够给用户带来基于 AI 的平滑变焦体验。
相比智能语音助手和拍照，有些手机上的 AI 功能并不容易发现。比如，全球都很流行的短视频平台抖音，出于网络带宽等方面的考虑，用户手机接收到的其实是 320P 分辨率的视频，但更高的分辨率意味着更好的体验，为此，字节跳动与高通深入合作，基于骁龙 865 进行优化，借助手机的 AI 处理器运行特殊神经网络（超分辨率卷积神经网络），将用户所接收到的视频从每一帧 320P 分辨率提升至 720P，因为通过终端侧 AI 实现这一处理，用户也能获得更加流畅的体验。
不仅如此，AI 还能用来解决让许多用户感到焦虑的电量问题。iPhone 就使用 AI 能力来学习用户的使用习惯，从而优化充电来延长电池的使用寿命。高通也在其 Quick Charge 快速充电技术中将 AI 算法引入快速充电和放电的整套体系，通过学习用户的个性化使用习惯，比如玩游戏以及游戏持续的时间，再通过训练，Quick Charge AI 能够很好地调整整个系统的 CPU 包括充电效率。
这样一来，Quick Charge AI 就能够进一步提升手机电池剩余可运行时间的预测准确率，最高提升可达 15%。而且，还能实现更好的充电散热管理，延长电池循环充电寿命，最高可延长达 200 天。
当然，AI 还帮助手机游戏、购物、学习等功能变得更加有趣且实用，详细可以查看雷锋网公众号：雷锋网)此前的文章。
实际上，手机 AI 功能的强大，需要强大的手机处理器以及 AI 性能来支撑。借着发布不久的骁龙 865 移动平台，我们来解析一下硬件和软件如何配合实现强大的 AI 功能。
更高性能的 AI 处理器，更强大的 AI 功能
上月初，高通发布了最新旗舰移动平台骁龙 865，新平台很好地融合了 5G 和 AI，能够提供高达 7.5 Gbps 的峰值速率，搭载第五代高通人工智能引擎 AI Engine 和传感器中枢（Sensing Hub）。此外，Spectra 480 ISP 能够实现高达每秒 20 亿像素的处理速度，Snapdragon Elite Gaming 还能支持一系列端游级别的体验和极致逼真图形性能等新特性，能够给用户带来出色的拍摄和游戏体验。
作为骁龙 865 升级的重点，新一代 Kryo 585 CPU 的性能提升达 25%，全新 Adreno 650 GPU 的整体性能较前代平台提升 25%。与 AI 功能最密切相关的 AI Engine，骁龙 865 集成的第五代 AI Engine，性能最高可达每秒 15 万亿次运算（15 TOPS），是上一代骁龙 855 AI 性能的两倍，相比骁龙 845 AI 性能更是提高了 5 倍。
骁龙 865 AI 性能显著的提升并不是依靠某一个处理器的提升。AI Engine 一直采用多核异构计算的解决方案，通过 Kryo CPU、Adreno GPU、Hexagon 处理器的协同处理，共同完成 AI 任务。第五代 AI Engine 核心的 Hexagon 处理器进行了全新升级，TOPS 性能是前代张量加速器的 4 倍，运行能效同时提升 35%。骁龙 865 的 Adreno 650 GPU 的 AI 算力相比于前代骁龙 855 的 GPU AI 算力也提升超过两倍，成为最强的手机 AI 处理器。
当然，AI Engine 多核异构架构也能在性能和功耗之间取得最佳平衡。对于电池供电的智能手机而言，兼具高性能和低功耗的特性至关重要，与 AI Engine 性能提升的思路一样，高通降低功耗同样没有局限于某一个硬件，而是从系统的角度进行优化。
深度学习算法是目前 AI 最常用的算法，这类算法带来了大量的卷积运算，但耗能最多的并非卷积计算，而是数据的搬运。为此，高通把骁龙 820 上就采用的带宽压缩技术升级为骁龙 865 AI Engine 上的深度学习带宽压缩技术，可以实现高达 50% 压缩比的无损压缩，通过这种方式，大大降低了对内存的访问。而且，骁龙 865 新支持的 LPDDR5 可以带来 30% 的带宽提升，共同实现功耗的降低。
还需一提的是，为了进一步提升手机处理器的智能化程度，骁龙 865 还集成了传感器中枢（Sensing Hub），可以用作音频、视频的实时感知。在功耗控制方面，这个传感器中枢的多关键词语言语音唤醒功耗小于 1 毫安，配合 AI Engine 可以在极低的功耗下让手机能够感知周围的环境。
比如前面提到的 ASR，高通与谷歌合作共同增强了 Android Neural Networks API，并将 Google Assistant 的语音识别功能从 CPU 迁移到 Hexagon，降低功耗达 3 倍，延迟降低 30%，实现全天始终在线的语音翻译，进一步将情境感知 AI 提升至全新水平。
不过，再强大的硬件也需要软件来释放其“魔力”。
更多有趣的 AI 功能即将到来
抖音、Snapchat、谷歌翻译、有道翻译等 APP 输出了手机的 AI 功能，这也是手机 AI 软件和硬件开发者紧密合作的成果。不过，双方的合作有一个巨大的鸿沟，一方面，软件开发者不了解底层的硬件，调用和优化硬件对他们而言是个巨大的难题；另一方面，硬件提供方往往对软件开发者的多样化需求不够了解，很难满足所有开发者的需求。
因此，与传统芯片不同，AI 芯片的提供方需要提供一套涵盖硬件、软件、工具的完整解决方案，才能够保证一切协同工作。从最顶层到最底层分别是应用程序、框架、Runtime、库、硬件加速器。
就框架而言，AI 开发者可能会使用 TensorFlow、PyTorch 等框架，AI 芯片公司都会尽量支持主流的 AI 框架。为了简化 AI 开发者的工作，目前，骁龙 865 可支持超过 160 个算子，算子指的是框架中存在的复杂函数，可以帮助张量更好地工作。还值得一提的是，开发者还能利用 Adreno 支持的 Open CL 和 Hexagon SDK 打造自定义算子，这样开发者就能在框架上实现差异化，也能充分利用骁龙平台提供的强大 AI 算力。
在 Runtime 层，为了支持移动终端上的 AI 性能，高通在全球率先推出面向移动平台的 AI 软件工具包。高通神经处理 SDK 与 Android Neural Networks API 的协作可为骁龙移动平台上第一方和第三方应用提供非并行开发者访问，将 AI 硬件和软件更好地结合在一起。
据悉，高通的神经处理 SDK 侧重于改善能耗、性能、访问等多个方面，还提供每月的版本更新，并与合作伙伴尤其是 OEM 紧密合作，提供顶级的 AI 解决方案，支持更多的网络和更高的性能。高通 AI 研发团队还与谷歌紧密合作，共同优化 Android Neural Networks API，实现了3-5 倍的性能提升，让接入也更加简单。
需要补充的是，高通还推出了 Hexagon NN Direct，例如，通过与谷歌合作能让 TensorFlow Lite 的开发者越过 Runtime 直接访问终端，直接运行在 Hexagon 内核上的库，也能为其他解决方案商提供相同的访问权限。
这一功能能够带来显著提升，Snapchat 可以通过利用 Hexagon NN Direct，可以将视频从每秒 10 帧提升到了每秒超过 40 帧。
除此之外，高通还推出了全新的 AI 模型效率工具包，这套工具包能够通过去除网络中的冗余层，以低于1% 的准确度损失实现 3 倍的模型压缩，这对大多数用例绰绰有余。另外，这个工具包还能将 32 位的 AI 模型压缩到 8 位，将每瓦特性能提升超过 4 倍。
基于高性能硬件和易于使用的软件，骁龙的 AI 技术已赋能全球超过 10 亿部终端。随着硬件性能进一步的提升和软件的迭代和创新，更多 XR、工作、社交等领域的 AI 应用也会越来越多。
雷锋网小结
手机是 AI 技术最先普及的智能设备，但在两年前，消费者能够使用到的 AI 功能非常有限。随着手机 AI 性能的不断提升以及 AI 算法和软件的不断迭代，2019 年 AI 拍照已经成为了最受消费者喜欢的 AI 功能，并且，得益于手机端 AI 性能的强大，之前只能靠云端实现的 AI 任务在终端也可以实现很好的效果。手机 AI 功能更实用的同时，也催生了许多更加有趣和新奇的 AI 功能。
这一市场的领导者高通，其最新旗舰移动平台骁龙 865 能有优秀的 AI 性能表现，也是得益于长期的积累。早在 2007 年，Qualcomm Research 就启动了首个人工智能项目，此后不断加强在 AI 领域的研发，并在 2018 年成立了 Qualcomm AI Research。
当然，芯片的成功，特别是 AI 芯片的成功，软硬件更好地融合以及生态的繁荣更加重要，凭借强大的技术实力以及号召力，高通在全球已经拥有了众多的 AI 合作伙伴，其在 AI 领域的表现也因此值得期待。特别是在 5G 领域同样领先的高通，5G 和 AI 的融合，将碰撞出让人意想不到的惊喜。