芯原联手Khronos助力多媒体应用技术落地

2021-04-30 17:28:04 来源: 互联网

点击

4月22日-23日，开放标准行业协会Khronos Group携手芯原股份（VeriSilicon）在上海联合举办研讨会。在活动中，来自全球的芯原与Khronos的技术专家介绍了最新的助力AR/VR体验的技术，还邀请了众多位来自行业中如移动、华为、英特尔、腾讯、阿里、日本AX和成都弥知科技等企业的专家，聚焦于神经网络处理/机器学习/人工智能， GPU / Vulkan 和AR / VR（XR）三大技术领域进行分享。

科纳斯工业协会（Khronos Group）成立于2000年，是为多媒体处理制定开放标准的行业组织，该协会自成立20多年来，推出过Open GL（跨平台计算机图形API）、Open CL（跨平台通用计算API）、OpenXR（开放虚拟与增强现实标准）以及Vulkan（低开销、跨平台图像处理API）等被业界广泛接受的技术标准库。

随着中国市场对Khronos的兴趣不断增加，Khronos 迎来了多位国内巨头的加入，他们在Khronos开放标准的开发和采用中起到重要作用，并通过不断提高中国业界对这些标准的使用对Khronos未来在中国的发展带来重大影响。

芯原股份是中国第一大IP厂商，在图像/视频IP方面有丰富的产品线，芯原可扩展Vivante GPU IP应用覆盖从低功耗的可穿戴应用（GPU Nano IP系列）到面向汽车和计算机应用的强大SoC（GPUArcturus图形IP），可满足不同应用中对芯片尺寸和功耗预算，极具成本效益。作为科纳斯工业协会董事会成员之一，芯原GPU/NPU对科纳斯工业协会标准支持非常完善，双方在新技术开发上合作也很紧密，持续为开发人员提供更好的图像/视频/计算IP和标准API。

在研讨会开幕致辞中，芯原商业运营高级副总裁汪洋表示，随着先进工艺发展，芯片开发成本越来越高，因此催生新的设计方法论，越来越多的设计公司开启“轻设计”模式，重视IP在芯片开发中的作用，也愿意尝试各种加速开发的设计方法。作为全球领先的设计服务与IP厂商，芯原在图像/视频处理方面阵容齐整，是业界仅见的能提供GPU、VPU、NPU、DPU、ISP、DSP、压缩、加解密等全套图像与视频IP解决方案的厂商。

与此同时，芯原执行副总裁、IP事业部总经理戴伟进则具体介绍了芯原在图像领域从摄像头到屏幕的完整智能像素解决方案。并指出，目前市场上有数亿颗客户产品，而这些产品大多数都基于Khronos API，足以见得Khronos API对行业的贡献。截止到2021年初，芯原支持科纳斯工业协会技术标准的GPU已经出货超过10亿颗。在GPU领域，芯原从2007年至今已经取得了长足的发展，算力实现了几百倍进步，在汽车领域，全球有数百万辆汽车都用到了芯原技术。

科纳斯的整体情况由科纳斯工业协会主席、英伟达生态系统开发副总裁、OpenCL工作组主席Neil Trevett在此次研讨会上表示，Khronos Group专门致力于发展开放标准的应用程序接口 (API) ，以实现在多种平台和终端设备上的富媒体创作、加速和回放。Khronos通过早期介入规范的草案拟定和一致性测试，使得会员能够加速交付自己尖端的平台及应用。

并行处理，视觉加速与推理

首先，Neil Trevett介绍了并行处理，视觉加速与推理的Khronos开放标准。他指出，人们对并行处理的兴趣越来越大，以对抗“摩尔定律的终结”。处理器频率缩放被并行编程取代，并行编程成为提供所需性能的有效方式。Vulkan用于图形处理器编程，而Open CL使软件能够使用任何可用的异构处理器的混合。两者都提供并行加速着色器或内核程序编译到Khronos的SPIR-V中间语音。

Vulkan是新一代的3D API，提供了显式的、低级的GPU加速访问，与上一代OpenGL和OpenGL ES API不同，后者使用大型、复杂的驱动程序来管理GPU，Vulkan使应用程序能够完全按照自己的意愿匹配自己的内存和多线程，并有效地通过多个图形和计算命令队列将命令直接驱动到GPU。

OpenCL是一个运行时和编程框架，包含基于C和C++的语言，用于创建计算密集型内核，这些内核可以在系统中任何可用的并行处理器上编译和执行。OpenCL提供API来发现加速器设备、为选定设备编译内核、执行这些内核。通过显式控制内核的放置、内存分配和同步，并最终收集结果。

针对主题，芯原机器学习软件副总裁查凯南对芯原神经网络处理器进行了介绍。查凯南表示，在芯原所有IP技术中，NPU起到了串联的作用，芯原对智能IP市场抱有很大期望。神经网络技术正不断发展和演进，在计算机视觉、超分辨率像素处理以及音频和语音处理方面有着大量而全面的应用。有40多家企业使用芯原NPU IP技术，超60多款产品已量产商用。

具体来看，芯原的神经处理单元IP VIP9000就是一款高度可扩展、可编程的计算机视觉和人工智能处理器。
VIP9000采用Vivante最新的VIP V8 NPU架构。VIP V8架构提高了数据分配的灵活性和处理核心的可配置性，可适应现代神经网络（例如1x1、Nx1、1xN、depth wise）中的各种滤波器(filter)形状和大小。VIP9000通过基于设计选择（INT8、INT16、Float16、Bfloat16）的不同数据格式实现神经网络推理。

查凯南强调，除了继续深耕技术研发，未来芯原还将帮助构建开源ML生态系统，提供对MLIR、IREE、TVM的支持，动态图支持、SPIR-V集成与支持以及对低级编程接口的支持也是未来努力的方向。

3D图像

在3D图像方面，芯原IP解决方案副总裁张慧明在大会上介绍了芯原系列GPU IP对Khronos API和Khronos Ecosystem的支持情况。

张慧明指出，芯原自加入Khronos Group后就一直为Khronos API提供建议和产品演进的技术支持。一直以来，芯原都在帮助Khronos在全世界范围内，尤其是中国范围内推广Khronos API以及标准工业接口。

据张慧明介绍，芯原从2008年推出第一款GPU后，一系列GPU产品都支持Khronos标准API。包括VSI GC7000/8000/9000 GPU IPs已经支持Vulkan 1.1/1.2、OpenGL ES 3.2、OpenGL 4.0、OpenGL SC 2.0、OpenCL 3.0、OpenVX 1.3、WebGL 1.0/2.0等。芯原正在Khronos API上持续投入研发力量，凭借公司的平台能力、软件能力，携手Khronos ，更好的发挥软件和硬件协同工作的潜力与价值。

针对该主题，多位行业专家展开讲解了具体的技术实现。例如阿里巴巴淘系技术部端智能团队高级技术专家姜霄棠介绍了MNN的异构计算解决方案；ax株式会社数据科学部AI工程师胡筠则介绍了如何用Vulkan快速搭建AI框架。

增强与虚拟现实

在本次研讨会上，英特尔AR/VR首席软件架构师 Brent Insko对英特尔的OpenXR的发展与现状进行了讲解。

OpenXR是一个免版税的开放标准，提供对增强现实和虚拟现实平台和设备的高性能访问。OpenXR处理应用程序和XR（AR，VR，MR等技术）平台或设备之间的通信，XR平台提供应用程序信息，例如关于控制器的头、手部位信息以及输入状态。

据Brent Insko介绍，OpenXR允许应用程序开发人员可以使用单个通用的高性能API，支持许多不同的AR和VR平台，可以与任何3D API一起使用。

值得一提的是，中国本土公司在AR/VR这一新兴领域已于国外处于同一起跑线上。本次研讨会上芯原、华为和弥知科技分别介绍了各自的技术储备和发展情况。

芯原多媒体SoC平台首席工程师妙维透露，芯原提供先进、丰富的IP组合。在VR/AR领域，芯原提供从云、边缘到可穿戴设备的技术支持。在视频转换方面，芯原提供8K120FPS、64*1080p流的支持。在NPU方面，芯原可提供100-200TOPs的算力支持。在GPU方面，芯原可提供2TFLOPs，4TFLOPs算力支持。芯原Vivante IPs使SoC厂商具有强大的计算能力，世界领先的VR/AR厂商也与芯原有合作关系。

华为消费者BG AR/VR产品技术总监邹文进在芯原与Khronos举办的技术研讨会上指出，AR引擎就像拉链一样，连接数字和物理世界。

弥知科技创始人兼CEO 张天夫表示，3D数字化技术基于硬件的支持，但对软件与制作平台也提出了更高的要求。弥知科技的算法矩阵基于渲染，物体/人体识别跟踪，云计算三大部分。

关于本地渲染和云渲染的差异，中国移动研究院高级技术人员李可指出，主要是对于云渲染所需的解码能力、通信能力接口都没有定义，此外端到端时延的差异也非常大。根据帧率，本地渲染时延可能是11ms，但云渲染实测往往都有60~70ms的时延。所以，云渲染对于用户动作的预测和补偿非常重要。

责任编辑：sophie

芯原 Khronos