CPU完成不了的任务，GPU做到了！

今年4 月，英伟达和 Cloudera 公布了一项新的合作计划，旨在将英伟达 GPU、Apache Spark 和 Cloudera 数据平台结合在一起，以帮助客户大幅加速他们在云中的数据分析和 AI 工作负载。而现在，他们帮助美国国家税务局完成了一项连CPU都不可能完成的任务。
 
数据工作流的挑战
 
无论是从自动驾驶汽车和手术机器人到流失预防和欺诈检测，企业都需依靠数据来发现新见解并推动改变世界的解决方案。现在，Exabytes的企业数据正在为为AI提供动力。
 
而阻碍企业的常见数据科学问题主要有三个：一是浪费时间，随着大数据用例的持续增长，构建、训练和迭代模型需要大量的时间；二是CPU成本高，对于执行大数据操作来说，大规模CPU基础设施的成本非常高；三是费力且复杂，生产大规模的数据处理操作通常需要重构和手动，这及增加了周期时间。
 
Cloudera相信数据可以让今天不可能的事情，明天成为可能。Cloudera Data Platform（CDP）是业界首个企业数据云，它能在统一平台上进行多功能分析，消除孤岛并加速数据驱动洞察的发现；而且具有应用一致的安全性、治理和元数据的共享数据体验；具有真正的混合功能，支持公共云、多云和本地部署。
 
现在在英伟达GPU的加持下，使用CDP的客户现在可以使用NVIDIA提供的Cloudera数据平台，CDP可以管理和保护混合多云部署中的数据生命周期，再加上Apache Spark也使用 Nvidia 的RAPIDS平台进行加速，Cloudera客户也在CDP中获得了先进的ML和AI功能。
 
 
 
那么结合英伟达的GPU，CDP又将实现哪些不可能呢？
 
比传统服务器快10倍，比CPU快5倍
 
Deborah Tylor是一名科学家，主要负责整理美国国家税务局超过300 TB的数据库，寻找可能有助于识别身份盗窃和其他欺诈行为的规律。但即使她让服务器CPU工作了一整夜，也无法完成这项数据整理工作，经过几次尝试后，均失败了。
 
这时候Cloudera的解决方案工程师找到了美国国税局数据分析师技术支持团队的经理Rahul Tikekar，向其介绍自带GPU加速Apache Spark 3.0软件的Cloudera Data Platform（CDP）。这对美国国税局无疑是雪中送炭，虽然它们的独立服务器配备了NVIDIA显卡，所以这对我们来说是一个绝佳的机会。
 
Apache Spark 3.0 库使用 Nvidia 的 RAPIDS 平台进行加速，这将大大加快将新机器学习模型投入生产所需的大部分枯燥准备工作。更快地加速数据准备任务和训练模型也将节省基础设施成本。Cloudera 说，GPU 加速的 Apache Spark 3 在 CDP 上本地运行，并且可以插入高性能计算工具。
 
在没有修改代码，仅对软件进行快速测试后，Tylor在这项工作中的许多步骤就立即加快了5倍。而针对几个仍然滞后的部分，在NVIDIA数据科学家团队的帮助下，他们编写了代码将一些非常复杂的在CPU中处理的工作迁移到其入Spark的RAPIDS软件接口中。最终，所有都能在分布式Spark集群的GPU上顺利运行，而且速度提升非常明显。
 
采用GPU加速的CDP性能比传统服务器快10倍，比基于CPU的现代服务器快5倍，而且只需要30%- 40%的增量成本，TCO的成本相当于3倍的基于CPU的服务器。
 
 
 
美国国税局研究和应用分析与统计部门技术主管Joe Ansaldi表示：“通过Cloudera和NVIDIA的这一技术整合，我们能够利用以数据为依据的洞察来推动关键任务用例。”“我们目前正在应用这一技术整合，这使得我们的数据工程和数据科学工作流程以一半的成本获得了超过10倍的速度提升。” Ansaldi补充道。
 
Spark 3.0和GPU的组合，触角还在延伸。美国国税局团队还在通过GPU驱动的服务器所组成的Sparik集群，加速更多不可能实现的工作。该团队计划把其成功经验运用在数据准备，也就是数据分析中的提取/转换/加载（ETL）方面的工作上。而下一步重大计划是加速各类AI推理工作，该团队接下来致力于通过建立大型深度学习神经网络来进行自然语言处理和分析。加之现在很多企业都在寻求机器学习转型，机器学习具有令人难以置信的潜力，使过去难以实现的事情成为可能。