多模态智能芯片，加速Transformer

最近大半年里，ChatGPT的流行，让大家对大模型和生成式AI有了更多的关注。背后的主要动力来源芯片，更是大家茶余饭后讨论的重中之重。
 
在今日于东莞松山湖举办的“2023松山湖中国IC创新高峰论坛”上，成都视海芯图微电子有限公司创始人兼董事长许达文先生就带来了公司的一款多模态智能芯片。
 

 
许达文先生表示，近二十年，处理器性能接近指数上升，内存DRAM发展跟不上，这就带来了大家熟悉的“存储墙”问题。而视海芯图的成立，就是希望能够创新性使用DRAM存算技术进行神经网络运算和图像处理加速，解决其中的存储墙问题，实现超低功耗的算力芯片。
 
据介绍，视海芯图团队具有5nm和7nm高端工艺量产经验，还熟悉3D和异质集成的特殊工艺，目前与中国科学院计算技术研究所展开合作，获得舜宇光学、网易有道和虹软科技3家上市公司战略投资，已经与股东合作围绕IoT、元宇宙和车载方面的核心图像处理算法进行存算一体加速，研发领域通用芯片。公司已在北京、成都、杭州和新加坡建立研发中心，打造国际化高水准团队，持续推进DRAM存算技术，在内存墙和功耗墙方面不断突破，与合作伙伴一起进行存算一体芯片落地。
 
在本次论坛上带来的多模态智能芯片SH1580则是视海芯图推出的一款加速Transformer架构的SoC。
 
据许达文先生介绍，最近几年，Transforme非常火热。在云端，Transformer甚至已经向ChatGPT一类的模型推进，带领我们进入通用人工智能的时代。这个Transformer也已经可以实现虚拟教师、AI智能对话，包括代码自动生成等功能。
 
如文章开头所说，要实现这些功能，芯片能力是重点。
 
许达文先生也指出，在云端方面，Transformer有GPU的硬件支持。但在终端方面，面向机器人、智慧教育等场景，开发者可以通过知识增流，还有信息化方式把Transformer的模型做小，做轻量级。但在硬件支撑方面，终端产品不能通过Transformer来做，必须要加速，需要依赖于支撑人工智能加速的NPU部分。“然而，现有大部分NPU面临的问题在于Transformer结构区别与传统的CNN结构不同。后者是可以是计算为核心的架构，但Transformer更多是以计算为中心的架构，这就给Transformer映射带来中断芯片的挑战。”许达文先生说，
 
有见及此，公司推出了能加速Transformer架构的芯片SH1580。
 
资料显示，SH1580集成4亿晶体管，采用12nm工艺，是一款高性能智能视觉SoC，自主设计了多态神经网络处理器（PTPU）和3D视觉ISP，配备了4核Arm CPU A53。自主研发的多态神经网络处理器具备4 ToPS算力，不仅能支持善于提取局部特征的CNN，也对Transformer、Bert和点云神经网络等新兴AI模型有针对性加速效果。
 
SH100还采用多通道DDR，具备超高数据高带宽，针对新兴AI模型优化的片上存储模块设计，可以为片内计算阵列提供可重构的高速数据流，从而，让视频流AI处理、多模态数据融合和点云神经网络等在AIoT终端落地实现可能，在智能教育硬件、服务机器人和ADAS等领域具有重大潜力。
 
在许达明先生看来，每一次大的AI技术革命的背后都是算力的革命，当前的算力革命就是DRAM存算技术，是Transformer是否能自顶而下，普遍进入广泛AI应用领域的关键。以GPT为例，其基础架构Transformer贴切大脑海马体，计算类型属于数据密集型，系统访存成为系统瓶颈，给芯片带来了巨大的挑战。
 
由此，DRAM存算技术应运而生，它结合了3D集成工艺和创新架构，可以有效克服系统访存瓶颈，实现加速Transformer，同时极大减低芯片功耗。在工艺上，3D集成可以把DRAM/内存和计算逻辑进行垂直互联，百倍提高数据互联带宽。在架构上，电路定制、模型并行和数据并行等多种技术可以围绕Transformer结构进行定向加速。
 
“作为首批3D集成数字化芯片量产国内团队，视海芯图已经在DRAM存算技术领域深耕多年并将持续推进内存墙和功耗墙的突破。”许达明说。