历史上的今天
返回首页

历史上的今天

今天是:2025年04月23日(星期三)

正在发生

2019年04月23日 | 别做梦了!机器学习根本没有捷径

2019-04-23 来源:亿欧网

O‘Reilly最新的调查数据显示,大数据仍然只是1%,或者15%的企业游戏。大多数的企业(85%)依然没有破解AI和机器学习的密码。仅仅只有15%的“见多识广”的企业在生产过程中运行一些数据模型超过了5年。更重要的是,这些企业更倾向于在一些重要的领域花费时间和精力,比如模型偏差和数据隐私。相对而言,那些还属于初学者之列的企业仍然还在努力尝试着寻找启动按钮。

不幸的是,对于那些希望通过自动快捷方式比如Google的AutoML或者通过聘请咨询公司缩小数据科学差距的企业,我们给出的答案是:实现数据科学的确需要花费时间,而且没有捷径可循。

聪明的企业专注于深层次数据

首先,值得注意的是,O’Reilly的调查数据来自于其自选的一群人:那些曾经参加过O‘Reilly活动的,或者参加过该公司在线研讨会或通过其他途径与之有接触的人。这些人群对于数据科学都有前瞻性的兴趣,即使(按照调查数据的显示)他们中的大部分人并没有从事太多的相关工作。对于那些沉浸在大数据体验中的人来说,最好的客户群体就是那些被称为“见多识广”的企业,它们在生产过程中使用的数据模型已经运行了5年以上。

从调查上可以发现一个有趣的现象,那就是这些企业是怎样称呼他们自己的数据专家的。具有丰富数据经验的企业称之为数据科学家。而那些思维尚停留在上世纪90年代“数据挖掘”模式的企业则更倾向于称其为“数据分析师”。如下图所示。

调查发现,无论企业选择如何称呼他们的数据专家,企业在AI和机器学习方面的经验越丰富,他们就越有可能依靠内部数据科学团队建立模型,如下图所示。

几乎没人关注云机器学习服务(至少现在还没有)。那些只有2年以下生产经验的企业倾向于依赖外部的顾问来搭建机器学习模型。对于这样的企业而言,这种感觉就像一种不用投入人力而享受数据科学收益的机会,但这是一个非常愚蠢的方法。

企业的数据越复杂,其数据科学团队就越能建立模型,并评估项目成功的关键指标。纵观所有的企业,产品经理对于项目成功的作用是36%,管理团队的数据是29%,数据科学团队的贡献是21%。

对于那些经验丰富的企业来说,产品经理的作用依然占到34%,数据科学团队27%,几乎与管理团队(28%)相同。

对那些缺乏经验的企业而言,管理团队占到31%,数据科学团队占比较少(16%)。这不是个问题,事实是这些数据科学团队最适合计算出如何使用数据并衡量其成功。

太多时候,是外行指导外行

这种依赖管理层来推动数据科学的想法引起了人们的注意。调查显示,不少高管自称是数据驱动的,但却无视了数据其实并不支持那些靠直觉驱使的决策(62%的人承认这么做)。

那些缺乏大数据悟性的企业似乎愿意口头提供数据,但他们根本不明白有效数据科学的细微差别。他们缺乏必备的经验来确保可以获得有意义的、无偏见的数据洞察力。

关于如何理解机器学习模型,以及如何相信该模型所导致的结果,更多有成熟经验的企业显然掌握了Gartner博客网络中的一位博主Andrew White的评估方法:

AI的创新之处就在于AI可以重新定义新的基线,换句话说就是那些我们认为太过复杂的东西和非常规的东西,目前都可以利用AI来实现。和之前的技术相比,AI应该可以处理更加复杂而且具有认知能力的工作。

这个新的现实只有在AI自动处理的结果是合理的时候才有意义。如果这个新奇的工具所得出的决策和结果让人类无法理解,那人们就会放弃这个工具。因此在某种程度上,能否理解AI所做出的决策也非常重要。

然而,理解决策和理解算法如何工作是两回事。人是可以掌握输入、选择、权重以及结果的原理的,而即便算法能够在一定程度上将所有这些结合到一起,但我们依然无法证明这一进程。如果结果和输入之间的差距太大,那么人对算法的信任就很有可能会丧失——这是人的天性。

想要达到这种理解水平是无法通过花钱雇佣咨询顾问能实现的。云端也不是现成的。运用工具比如Google的AutoML可以“使得那些具有有限机器学习专长经验的开发者能训练针对其业务需求的高质量模型。”这听起来非常好,但是想要从数据科学中受益需要有数据科学的经验。这不仅仅是调整模型的问题,更需要知道如何实现,这需要大量的试错经验。

另外,从事数据科学需要有人文的心态,再次强调,需要经验。没有捷径可循。实际上,这意味着那些早期投资于数据科学的企业应该发现自己领先于那些没有竞争优势的同行——这种差异很可能会持续下去。

对于那些希望迎头赶上的企业,Gartner分析师Svetlana Sicular最为经典的忠告仍然在耳边回响:“企业应该在内部多看看。其实内部已经有人比那些神秘的数据科学家更了解自己的数据。”只要企业明白要在企业完成好的数据科学需要花费时间,并且给予其人员学习和成长的空间,他们就不再需要寻找捷径。

推荐阅读

史海拾趣

Herrmann Kg公司的发展小趣事

近年来,Herrmann Kg积极推进数字化转型,以提升公司的竞争力和市场响应速度。公司任命了具有丰富行业经验的首席数字官(CDO),负责推动集团内部流程的数字化转型。通过数字化整合业务流程,Herrmann Kg简化了与客户之间的沟通方式,优化了工作速度和透明度,同时为全球客户提供了一致的优质体验。这一战略转型不仅提升了公司的运营效率,还为客户创造了更多的附加价值技术的。

川晶科技公司的发展小趣事

川晶科技注重团队建设和人才培养。公司建立了完善的培训体系和发展机制,为员工提供丰富的培训机会和广阔的发展空间。通过引进高素质的人才和内部培养相结合的方式,川晶科技打造了一支高素质、专业化的团队。团队成员之间团结协作、互相支持,共同推动公司的持续成长和发展。同时,公司还建立了良好的激励机制和企业文化氛围,激发员工的工作积极性和创造力。

杰力(EMC)公司的发展小趣事

为了确保产品质量和客户满意度,杰力建立了一套完善的质量管理体系。公司从原材料采购、生产制造到产品检测等各个环节都实行严格的质量控制和管理。同时,杰力还引进了先进的检测设备和技术手段,对产品质量进行全面检测和评估。这些措施使得杰力的产品在质量上得到了有效保障,并赢得了客户的信赖和好评。

Atmel (Microchip)公司的发展小趣事

2016年,Atmel被美国芯片制造商Microchip以35.6亿美元收购。这一收购事件标志着Atmel发展史上的一个重要转折点。在被收购后,Atmel成为了Microchip的一部分,继续发挥其在微控制器领域的优势,同时也获得了Microchip在技术支持、市场渠道等方面的强大支持。这使得Atmel能够更快地推出新产品、拓展新市场,进一步巩固其市场地位。

Dau Semiconductor Inc公司的发展小趣事

随着全球电子市场的不断发展壮大,Dau Semiconductor Inc公司开始将目光投向全球市场。公司积极开拓海外市场,与全球各地的电子产品制造商建立合作关系。同时,公司还加强了与国际知名半导体企业的合作与交流,共同推动半导体技术的发展和应用。展望未来,Dau Semiconductor Inc公司将继续秉承创新、卓越、服务的企业精神,为全球电子行业的发展做出更大的贡献。

3M公司的发展小趣事

在成立初期,Dau Semiconductor Inc公司面临着诸多技术挑战。其中,如何实现芯片的低功耗设计是困扰公司发展的一个难题。为了解决这个问题,公司投入大量研发资源,不断探索新的技术和材料。经过数年的努力,公司终于成功突破了技术瓶颈,研发出了一款具有超低功耗的半导体芯片。这款芯片的推出,不仅为公司赢得了市场认可,也为公司在行业中树立了技术领先的形象。

问答坊 | AI 解惑

解析节气门引发的故障

一辆上海大众POL01.4L轿车,因EPC灯时亮时灭来站维修。连接故障诊断仪车博仕A-2600查询故障,发现有一偶发故障。故障码为17550,loaddetermination,levelnotreached。中文解释为:“未达到测定负荷水平值”,说明发动机没有达到指定的扭矩(扭矩传 ...…

查看全部问答>

SD卡的动态插入与拔出,在AP层怎么检测?必须自己写个小的驱动?还是只能用定时器不断查询其状态?

SD卡的动态插入与拔出,在AP层怎么检测?必须自己写个小的驱动?还是只能用定时器不断查询其状态?…

查看全部问答>

arms3c2410 急…… 大家给看看吧,初学遇到了点问题

    我现在在编写一个按键驱动程序,我已经实现了两个按键的驱动程序,可我的问题是,首先是板子给的中断口不多(4个左右),我想编写一个8个左右的按键驱动,但必须知道是哪个按键有请求,我想只用一个中断口来实现,我想了想用矩阵按键 ...…

查看全部问答>

WinCE6.0内核模式驱动程序下的缓冲区问题

     之前在WinCE6.0下的音频驱动程序中(内核模式下),申请了32B的空间,直接使用,不做映射和检查嵌入指针。应用程序写32B进来,驱动程序写32B到音频解码芯片中,可以播放音乐。只是这样采用单线程,播放时会有一点“毛刺” ...…

查看全部问答>

请问如何用evc控制explore打开一个指定路径的文件夹浏览?

我要写个evc程序控制打开一个指定路径的文件夹浏览窗 比如触发某个事件,程序能让wince打开存储卡\\\\sd\\\\test\\\\文件夹进行浏览和操作, SHBrowseForFolder行不行?还是有更简单的办法? 平台:evc4.0+ wince5.0+arm…

查看全部问答>

AMD和英特尔的处理器那个好啊

现在来比的话,AMD和英特尔的处理器那个好啊…

查看全部问答>

你习惯说LM3S,还是说流明,这可是资历问题啊

虽然LM3S6892的名头已经很响了,看到坛子里还有一些人习惯说流明,这应该是原来Luminary那带过来的,当时还没被TI收购前的名字。习惯叫流明的人,说明在TI M3上,真的是很资深啊,因为那时只有很少的一部分人接触过。…

查看全部问答>

数据驱动控制理论及方法的回顾和展望

数据驱动控制理论及方法的回顾和展望…

查看全部问答>

请教:STM32仿真和DOWNLOAD跑,哪里不一样?

那各位在调试ARM STM32 的时候是仿真着跑找问题,还是直接DOWNLOAD跑,然后看串口输出?有区别吗? 之前好像看过论坛一个哥们说,不太一样。…

查看全部问答>

求一篇关于单片机的英文期刊

大四快毕业了,学校要求翻译英文期刊,字数3000左右。在网上找很久都没找到,有没有哪位大哥有电子版的关于单片机的英文期刊啊 ,要有期刊的出处,有点大哥请发到1301152618@qq.com,万分感谢!…

查看全部问答>