AI需求层次论——人工智能应该怎么用?

2017-08-13 21:08:00 来源: 互联网

china0513-624x468

来源:内容来自KOL观察团 ,谢谢。

编者按:人工智能和机器学习最近被炒作得非常厉害。但是这个东西不是开箱即用,需要打下坚实的基础才能应用。数据科学顾问,前Jawbone数据副总裁及LinkedIn数据科学家Monica Rogati对此提出了各个组织应用AI的需求层次论。指出先要解决了数据素养、数据采集和基础设施这些基本需求之后才能去考虑AI这个顶层的自我实现需求。

就像发展迅速的技术一样,AI也激发了大规模的FOMO(害怕错过)、FUD(恐、惑、疑)和不和。其中一些是应该的,也有一些不是——但这个行业正在留意。从秘密的硬件初创企业到金融技术巨头乃至于上市公司,各个团队都在忙碌地实施自己的AI战略。这一切都归结到一个关键且高风险的问题:“我们会怎么使用AI和机器学习来让我们做的事情变得更好?”

通常公司都还没有为AI做好准备。也许他们招聘了自己的第一位数据科学家但却达不到想要的效果,或者也许数据素养并不是他们文化的核心。但最常见的情形是透明还没有建立起基础而设施去实施最基本的数据科学算法和操作,更不用说机器学习了。

作为数据科学/AI顾问,我必须无数次地传达这一信息,过去2年尤其如此。其他人也表示同意。在大家都对你所在的领域充满着兴奋之情是做一个泼冷水的人是很困难的,尤其是如果你也分享着这种兴奋时。还有你应该怎么去告诉那些公司,说如果没有(或者成为)精英——也就是自我任命的看门人的话是不可能为AI做好准备的呢?

这里是一个引起大家最多共鸣的一个解释:

可以把AI看作是需求金字塔的顶端。是的,自我实现(AI)是非常棒的,但你首先需要食物、水和庇护所(数据素养、数据采集和基础设施)。

china0513-624x468

你的数据需要有牢靠的基础,然后才可以高效地运用AI和机器学习。



基本需求:你能算吗?

china0513-624x468

金字塔的底部是数据采集。你需要什么样的数据?你又有什么样的数据?如果是面向用户的产品,你有没有记录所有相关的用户交互?如果产品是传感器,数据是从哪儿来的,怎么来?记录一种尚未物联化的交互有多容易?毕竟,拥有合适的数据集是机器学习最近能取得进展的关键。

其次,要弄清楚数据流是如何流经系统的?你有没有可靠的数据流处理系统或者ETL(提取转换加载)?数据存放在哪里?访问和分析这些数据有多容易?Jay Kreps一直都在说(有10年的时间了)可靠的数据流是任何数据处理方面事情的关键。(附注:我正在寻找这句话的确切出处,结果在他的硕士论文《我喜欢日志》中找到了。

然后我注意到他在一段话之后做出了这个马斯洛的需求层次论的比较,并以“值得注意的是”来作为附注。说到相关工作,后来我又看到了Hilary Mason和Chris Wiggings的精彩文章,讲的是数据科学家应该做什么事情。几天前,Sean Taylor披露了自己的数据科学需求金字塔,当然这跟这里的金字塔是完全不同的。)

只有当你有了数据之后,才可以对数据进行探索和转换。这里的工作包括臭名卓著的“数据清洗”,这是数据科学领域被低估的一项工作,这一块我得另起一篇文章来谈。当你发现你失去了一大块数据,你的传感器不可靠,某次版本变更意味着你的事件被丢失,你对某个标志产生了误解时——你就得回过头来确保金字塔的基础是牢靠的。

当你可以可靠地探索和清洗数据时,你就可以进行传统上被认为是BI或分析方面的事情:定义要跟踪的指标,其季候性以及对不同因素的敏感性。也需要进行一些艰苦的用户细分的工作,去看看会不会有什么东西冒出来。然而,既然你的目标是AI,你现在要搭建的是随后被认为是特征的东西,以供将来吸收进你的机器学习模型里面。在这个阶段,你还知道了你打算要预测或者学习什么,你还可以开始通过生成标签(自动或者手工的方式)来准备你的训练数据。

这个阶段也是你找到自己最令人兴奋和引人注目的数据故事的时候——但这也是另一篇文章的主题了。



好了,现在我能算了。接下来呢?

china0513-624x468

我们有了训练数据了——那是不是现在可以进行机器学习了呢?也许吧,如果你是想在内部进行客户流失率预测的话;但如果结果是面向客户的答案就是否定的。我们需要进行A/B测试(不管是如何的原始)或者有准备好的实验框架,这样才能逐步部署以避免灾难,并在改变影响每个人之前对改变的效果进行粗略的估计。这也是将非常简单的基线部署到位的合适时机(对于推荐系统来说,基线系统可以是“最热门”,然后是“细分用户市场的最热门”——这就是非常烦人但有效的“个性化之前先用老一套”)。

简单的启发法的难以击败甚至到令人惊讶的地步,它们会让你以端到端的方式调试系统,这不需要神秘的机器学习黑箱,在这中间要需要超参数调整。

到了这个时候,你可以部署一个非常简单的机器学习算法(比如逻辑回归或者分类等),然后考虑可能影响到你的结果的信号和特征。天气和普查数据是我的目标。还有,尽管深度学习很强大,但它不会自动帮你做这些事情。引入新的信号(特征建立,不是特征工程)可以大幅改善你的性能。在这里花些时间是值得的,即便身为数据科学家我们也对向上进入金字塔的更高层面感到兴奋。



发展AI!

china0513-624x468

数据有了。装置也有了。你的ETL开始发挥作用了。你的数据已经组织好并且清洗过了。你有了仪表盘,标签以及好的特征。你在测量合适的东西。你可以每天进行试验。你有了一个基线算法,可以进行端到端的调试,并且在生产中运转——而且你已经对它进行了十几次的变更。总之,你已经准备好了。接下来从自己铺开到利用专长于机器学习的公司,你可以继续去尝试最新最好的东西。你可能可以在生产方面取得巨大改进,或者也许不能。但最坏的情况下,你也能学到一些新的方法,形成自己的观点并有了上手体验,并且可以告诉你的投资者和客户自己在AI方面做了哪些努力而不是给人感觉像是个骗子。而在最好的情况下,你可以为用户、客户和公司带来巨大的不同——这是机器学习的一个真正的成功故事。

等一下,MVP、敏捷、精益等其他东西呢?

数据科学需求层次轮不是用1年的时间过度建设脱节的基础设施的借口。就像传统的最小可行产品(MVP)的开发套路一样,你也要从产品小的垂直板块开始,把它从端到端都做好了。比方说,在Jawbone,我们先从睡眠数据开始并搭建它的金字塔:工具手段,ETL,清洗和组织,标签捕捉和定义,指标(大家美军每晚的睡眠时间是多长?小憩呢?什么是小憩?),跨细分市场分析,一直到数据故事和机器学习驱动数据产品(自动睡眠检测)。我们后来又把它延伸到步数,然后食物、天气、锻炼、社交网络以及沟通——每次做一个。在端到端做完一件事情之前我们并没有建设一个包罗万象的基础设施。



提出合适的问题,开发合适的产品

china0513-624x468

这只与如何可以有关,跟应该如何无关(出于实用主义或者道德伦理的原因)。



机器学习工具的希望

china0513-624x468

“等一下,Amazon API或者TensorFlow等别的开源库呢?其他在卖机器学习或者自动析取洞察和特征的工具的公司呢?”

所有这些都很出色很有用(一些公司最终的确煞费苦心地定制出来整个金字塔来展示自己的工作。这些人是英雄)。然而,鉴于当前AI炒作的强烈影响力,大家都试图把脏的、存在断层、跨越了数年且格式和意思不断改变的数据,那些尚未被理解的数据,那些结构化行不通的数据塞进去,还指望这些工具能够魔术般地处理好它们。也许将来有一天会是这种情况,我对朝着这个方向的努力举双手赞成。但在此之前,为你的AI金字塔打造好一个牢固的基础是值得的。

今天是《半导体行业观察》为您分享的第1363期内容,欢迎关注。

R

eading

推荐阅读(点击文章标题,直接阅读)

先进封装走向汽车电子,或引致供应链洗牌!

MEMS麦克风持续火热,大挑战近在眼前

晶圆厂的下一波利润来源:汽车半导体?

关注微信公众号 半导体行业观察,后台回复关键词获取更多内容

回复 比亚迪 ,看《比亚迪的芯片布局,王传福的野心》

回复 长电科技 ,看《从江阴小厂到世界前三,长电科技一路狂奔》

回复 英特尔 ,看《四面楚歌,Intel还能重回巅峰吗?》

回复 全面屏 ,看《全面屏手机给供应链带来的挑战》

回复 芯片市场 ,看《又一个被中国厂商做死的芯片市场!》

回复 展会,看《2017最新半导体展会会议日历》

回复 投稿 ,看《如何成为“半导体行业观察”的一员 》

回复 搜索 ,还能轻松找到其他你感兴趣的文章!

摩尔邀请您加入精英微信群

你好,感谢长期对半导体行业观察的关注和支持!为了方便各位精英专家交流,我们组建了一些专业、微信交流群,欢迎你加入,我们还会邀请在摩尔直播App做过技术和行业分享的100+技术大牛入群和大家交流。加群方法: 长按二维码,加群主为好友,填写加群需求信息,拉你入群。(微信限制每天好友添加数量只有300人,请耐心等待)

china0513-624x468

地域群:

上海、深圳、北京、江苏.浙江、西安、武汉、成都.重庆、合肥、厦门.晋华、大连、台湾、新加坡、日本.韩国、美国、欧洲、摩尔直播学习群。

专业群:

模拟射频设计、EDA.IP、数字芯片设计、模拟混合信号设计、版图Layout、数字PR.验证、晶圆制造Fab、设备EE、半导体材料、半导体设备、封装测试、半导体投资、市场销售、AE.FAE、嵌入式开发、实习交流、采购.IC代理、AI芯片

专业微信群规则:

1. 专业、高效交流,建议进群请修改群昵称,格式:公司或学校+职位或专业+中文或英文,请服从群主管理,如果多次违规会被请出交流群;

2. 原则上每人加不超过3个群,精彩讨论内容,群主会负责在不同群同步,既然加了群,请大家尽量置顶群,积极参与群讨论;

3. 群里聊天讨论仅限半导体专业内容,杜绝专业无关内容,特别是养生、拉票、微商等内容,严格禁止,为自己公司打广告以不引起群友反感为限;

china0513-624x468

责任编辑:mooreelite
半导体行业观察
摩尔芯闻

热门评论