AMD自适应SoC上新：一颗芯片解决AI大麻烦

AI正在以前所未有的速度席卷全球。他们不仅在数据中心端风生水起，在边缘端，AI也正在摩拳擦掌。AMD自适应与嵌入式计算事业部( AECG ) Versal产品营销总监Manuel Uhm在日前的一次演讲中更是直言：“边缘端现在正在发生一场革命，并带来了越来越多的挑战。”
 
这种挑战在嵌入式系统市场尤甚。
 
据Manuel Uhm介绍，嵌入式系统面临非常严格的操作限制：例如环境方面需要适应非常高的温度和热条件，温度有时高达125摄氏度，电力供应也会受到限制（因为很多电力是来自于电池供电）。另外，尺寸规格要求也非常的严格，因为边缘很多都是非常小的器件，因此对于封装尺寸也有非常严格的要求。除此之外，这些器件还必须做到实时响应，实现信息安全、功能安全和可靠性，同时还要具备非常长的产品生命周期。
 
“这些挑战其实已经存在了几十年的时间，但是现在随着AI的发展，尤其是AI变得无处不在后，又给系统带来更高的要求。”Manuel Uhm说，
 
于是，市场需要新的答案。
 
嵌入式AI，亟待新的解决方案
 
对于一个人工智能驱动的嵌入式系统，大家更关注的无疑是推理，这是人之常情。但事实上，我们要更加宏观地看整个系统，例如要有数据，数据要进行预处理，才可以供推理使用，推理之后又必须要进行后处理，才能通过推断的结果做出决策。
 
为此Manuel Uhm强调：“在实时AI驱动嵌入式系统当中，预处理、AI推理和后处理三类算力都必须能够加速，才能够真正实现全系统的实时。”
 

 
以上图为例，“预处理”对于整个嵌入式系统非常重要，因为它有包括雷达、激光雷达、摄像头等在内的很多不同类型的传感器，要进行传感器的融合以及数据的交集，这就使其成为了人工智能系统非常关键的一步。只有在这方面进行实时处理，才可以真正做到整个系统的实时处理。
 
在Manuel Uhm看来，要实现这个目标，就需要用到可编程逻辑，因为可编程逻辑无论是对于传感器还是对于各种类型的接口，都可以非常灵活地去适应，做到真正的实时，同时还可以保证低时延、确定性，甚至可以在现场部署之后，还可以进行升级；来到推理阶段，则一般都是使用矢量处理器，市场上也有很多类型供选择；进入后处理阶段，一般使用的都是高性能的嵌入式CPU。
 
基于这些见解，我们可以得出结论——没有一类处理器能够针对三个阶段进行优化，我们需要的一系列不同的处理器，才能对三个阶段进行优化。Manuel Uhm告诉笔者，现在大家有不同的方式来构建这样的系统，其中最常见的一类是在预处理阶段加上FPGA和SoC进行优化、在推理阶段使用非自适应的SoC（类似一些矢量的处理器）、在后处理阶段使用高性能的嵌入式CPU。
 

 
“当然还有另一种方案，那就是使用AMD的第一代Versal AI Edge系列产品，利用其可编程逻辑来做预处理，然后再用矢量处理或者人工智能引擎来做推理，到了后处理阶段，就需要加上外部的处理器。”Manuel Uhm表示，他同时指出，但无论采用哪种方法，似乎都要采用多芯片的解决方式，进而带来一系列的问题，不能满足嵌入式系统的功率、供电、占板面积、系统尺寸、外部内存以及安全等要求。
 
于是Manuel Uhm认为，市场需要更好的方法，这正是AMD为嵌入式系统带来单芯片智能性的原因。Manuel Uhm解析说，所谓单芯片智能性，是指该方案能在单个器件中提供端到端的加速，实现前面讲到的全部三个阶段的加速。
 
AMD面向AI驱动型嵌入式系统的第二代Versal AI Edge系列和面向经典嵌入式系统的第二代Versal Prime系列就是这样的的一个单芯片智能性解决方案。
 

 
用单个器件，实现段对端的加速
 
Versal是于2018年首次推出的一系列自适应SoC。在实际设计中，设计者缩小了SoC中 FPGA 块的大小，为更多 ARM、DSP、推理和 I/O 块腾出空间。据当时的介绍，Versal 定位为广泛的新标准产品系列的开端，目标是在各种数据中心、电信、汽车和边缘应用中超越 CPU 和 GPU，并越来越多地支持使用 C 和 Python 等高级语言进行编程。
 

 
和很多芯片代际升级是为了提高前代芯片所聚焦市场的性能做法不一样，AMD的第二代Versal自适应SoC是对第一代产品线的补充，而不是取代第一代。
 

 
从设计上看，AMD在Versal中同样也集成了多个不同的内核以执行不同的处理。当然，公司在新一代Versal的多个方面都进行了升级。例如当中专注于“后处理”的CPU就从前一代的Arm Cortex-A72升级到了Cortex-A78AE，这不但使其获得了高达10倍的标量计算提升，也让Versal更适合于汽车任务。
 

 
据Arm官方介绍，Cortex-A78AE 是一款高性能 Armv8A Cortex-A 处理器，其中的AE 代表汽车增强型（automotive enhanced），这是一系系列旨在满足软件定义车辆 (SDV) 复杂且苛刻的安全需求的产品，已在汽车市场上经过硅验证，可为车辆用户提供先进的 ADAS 功能和全新的车载信息娱乐体验。 值得一提的是，如Arm所说，Cortex-A78AE 通过了 ISO 26262 ASIL D 硬件诊断和系统认证，这也是车厂广泛采用的英伟达Orin系列的CPU。
 

 
新一代Versal的实时处理器也从上一代的Cortex-R5改为了Cortex-R52。作为首款 Armv8-R 处理器，Cortex-R52 引入了对虚拟机管理程序的支持，通过强大的分离来简化软件集成，以保护安全关键代码。据Manuel Uhm介绍，之所以采用这样的设计，是因为他们意识到边缘对于信息安全和功能安全都有非常严格的要求。得益于这些设计，AMD的这个产品也能够支持ASIL D和SIL 3，可以满足自动驾驶和工业应用的需求。
 
得益于与这些领先设计，如下图所示，AMD新一代的Versal能够提供在多种应用场景里提供领先的性能。


 
除了上述的处理器外，Manuel Uhm表示，第二代Versal自适应SoC的AI引擎也是该系列产品不得不提的另一个亮点。据介绍，借助这个名为AIE-ML v2的下一代AI引擎，AMD Versal可以实现高达3倍的每瓦TOPS。这种强悍的性能也能让开发者将AI推理工作负载从可编程逻辑中完全卸载下来。
 
 
 
如Manuel Uhm所说，在推理中，我们会面临吞吐量非常大和精准度非常高等挑战。但借助下一代AI引擎的对扩展的数据类型支持，AMD Versal现在可以支持不同程度的精准度以及吞吐量。“有了这种新的数据类型的支持，比如说共享指数数据类型，就可以在提高吞吐量的情况下也不减损它的精准度。”Manuel Uhm接着说。
 

 
为了支持这个强大的AI引擎，AMD还带来了Vitis™ AI，让开发者可以使用他们原本非常熟悉的开源工具，比如说PyTorch、TensorFlow等等，在Vitis当中去进行优化，实现快速的模型部署。
 

 
写在最后
 
在介绍这个新产品的时候，AMD对外披露，斯巴鲁会在其视觉系统EyeSight中采用第二代Versal AI Edge系列的产品，以支持其碰撞前制动、车道偏离预警、自适应巡航控制和车道保持辅助等功能。
 
“之所以他们和我们的第二代Versal AI Edge系列进行合作，就是因为他们下一代视觉系统希望能在AI方面有领先的优势，于是就要确保它的低时延，由于我们有非常先进的数据类型支持，可以保持他们的高吞吐量以及高精度。”Manuel Uhm说。
 

 
作为一个自适应的的SoC，AMD的这个SoC也的确能够在嵌入式AI系统中完美执行预处理（FPGA）、AI推理（AI引擎）和后处理（CPU）。Manuel Uhm在介绍中也多次强调，这个系列产品的推出，是希望通过单一芯片的智能来降低系统的功耗、占板面积与复杂性，同时还提升了产品的安全功能，不需要采用外部的安全微控制器或者外部内存的需求也可以降到最低，还不需要在多个处理器之间去分享。
 
在笔者与多位汽车和FPGA从业者的交流中，他们也首先认可了这个产品的领先性。但他们同时也对其开发难易程度和价格性对敏感，希望未来AMD在推进这系列产品的过程中更好地平衡性价比，让其在边缘AI端发挥更重要的作用。
 
“AMD始终深度参与到AI的创新和发展中，不断在无处不在的AI发展上立在技术的前沿。我们的产品也会嵌入边缘的产品来不断改变我们的生活方式”Manuel Uhm信心满满地说。