AI反而让你变弱了

最近，波士顿咨询集团（BCG）搞了个大新闻，他们把自己的办公室变成了一个巨大的实验室， 把758名咨询狗当小白鼠 ，测试AI对这帮人的工作影响。这实验规模之大，简直就像是把整个北京三里屯的白领都抓来做实验！

实验结果简直 惊掉了老子的下巴 ，毕竟这是帮一天能赚我一年的顶薪人士啊：

使用AI的咨询狗们完成的任务比不用AI的多了12.2%

他们完成任务的速度快了25.1%

以及，你可能猜到了的是， 他们的工作质量提高了40%！

这是什么概念？就是一天能赚我十年了！就像这帮人平时只能喝二锅头，突然有人给他们灌了一瓶82年的拉菲， 瞬间就从五菱宏光变成了GTR ！

但是，别高兴得太早！这里面有个坑，比你前任挖的还深。

研究员们发现，AI的能力就像是一个 不规则的城墙 ，有些地方高耸入云，有些地方却矮得像狗窝。他们把这个叫做" 锯齿状前沿 "。简单来说，就是AI在某些任务上牛逼得像超人，在另一些任务上却蠢得像头驴。

问题是，这堵墙是 看不见的 。你永远不知道AI在哪里会突然掉链子。比如，它可能写出莎士比亚级别的十四行诗，但让它写一首恰好50个字的诗，它就傻眼了。（这就像你那位新来的美女助理，看起来能干大事，实际上连垃圾分类都搞不清）

于是，研究人员设计了一个 阴险的任务 ，故意让AI给出错误但看起来很牛逼的答案。结果呢？不用AI的咨询狗有84%能做对，但用了AI的反而只有60-70%做对。这就尴尬了，好比你本来能自己解决的问题，结果听了个"专家"的建议反而搞砸了。

原因在于， 这些顾问被AI的高质量输出迷惑了 ，就像你被漂亮姑娘的美颜照片骗到酒店一样。他们开始懒惰，变得粗心大意，自己的判断能力也退化了。这就是所谓的" 方向盘前睡着了 "现象。

solarapparition(@solarapparition) 点评道：

好的自动化的目的就是让你可以不用再关注细节，而是将精力放在其他地方，人们直觉上也期待如此。这就是为什么这些系统要真正超越仅仅作为创意生成器，必须是可靠的。

没错， 好的自动化就是让你能把注意力放在别的地方 。但问题是，如果你完全依赖AI，你可能会错过一些真正的天才想法，就像你只看Tinder右滑，可能会错过街角那个默默喜欢你的女神。

Adrian Werner(@AdrianWerner) 也提出了一个有趣的观点：

人们希望使用AI，因为他们希望不用再自己检查每一个细节。如果他们仍然需要这样做，AI的实用性将大打折扣。检查错误通常是许多工作中最糟糕的部分，也是我们最希望自动化的部分。

没错， 人们用AI就是想偷懒不用自己检查 。如果还得自己查错，那AI的存在感不就可有可无了吗？

但是， 不是所有人都掉进了这个坑 。研究表明，有两种方法可以既享受AI带来的好处，又不会被AI坑死：

半人马战士 ：就是人和AI各司其职，该人干的人干，该AI干的AI干。就像希腊神话里的半人马，上半身是人，下半身是马，各自发挥所长。比如，让自己做战略决策，让AI画图表。

赛博格 ：这个就更高级了，人和AI深度融合，你中有我，我中有你。就像《铁甲钢拳》里的那个小孩，自己脑子里装了个AI，想用就用，不想用就不用。他们会不断地在人和AI之间切换，让工作流程像一首交响乐一样和谐。

christian(@curious_vii) 则说：

我希望看到对这一问题引入的相对收益和风险的分析。如果这些工具在公司环境中不可用，员工可能会倾向于采用非官方的IT和敏感信息。这也引入了一个风险，即如果没有AI辅助，工作质量可能会下降，尽管这是一个相对较大的假设。

我们可以相当确定的是，AI辅助下的工作量会增加。

随着周期时间的减少，如果在发布前有一些实际反馈或验证过程，那么可以预期整体质量会提高。这些考虑邀请了对某些专业工作流程重新架构的深入讨论，这在企业环境中整合技术时尤其有趣。

是这样。如果公司不提供AI工具，员工可能会偷偷使用未经授权的工具，这就像是 禁酒令时期人们偷偷在浴缸里酿酒 一样。而且，如果没有AI辅助，工作质量可能会下降，就像你习惯了用洗碗机后突然要手洗一样痛苦。

但是， 使用AI确实能提高工作效率 。如果在发布前有实际反馈或验证过程，那么整体质量应该会提高。这就需要我们重新思考整个工作流程，就像重新设计一个厕所，既要方便又要节水一样。

但是，无论你选择成为半人马还是赛博格，有一点是肯定的： AI正在以闪电般的速度重塑我们的工作方式 。而且，这不是什么遥不可及的未来科技，而是现在就能用的东西。那些顶级顾问用的AI工具，就是你我每天都能用到的ChatGPT。

delatorre.ai(@delatorre_AI) 提问到：

教育机构如何修改课程，以更好地为未来的专业人士准备一个AI集成的环境？此外，是否能预见到监管框架在确保工作场所负责任地使用AI方面的作用？

这个问题就像是在问：" 既然有了汽车，我们还需要学走路吗？ "答案显然是需要。因为你永远不知道，哪天你的车会抛锚在一个鸟不拉屎的地方。你除了会在车路上开车，还得学会在地上走路、在海里游泳、抱着衣服从窗户溜走。

AI来势汹汹 。它就像是你那熊孩子撒泼打滚后才抱回家的那只哈士奇。这狗子聪明得很，能帮你叼拖鞋、看家护院，甚至学会了用爪子给你按摩。你想赶它走吧，它确实给你带来了不少欢乐和陪伴；你想完全依赖它吧，又担心哪天它一个兴奋就把你的沙发啃成棉花糖，把你的鞋柜拆成积木。与其纠结要不要养它，不如学会在撸狗的时候随身带根火腿肠，既享受它的忠诚和智慧，又能在它犯二的时候及时收买它的注意力。

最后，让我们记住一点： AI是工具，不是上帝 。它可以帮我们干活，但不能替我们思考。就像酒精可以让你暂时忘记烦恼，但不能解决问题一样。所以，各位还是得动动脑子，别被AI忽悠瘸了。

毕竟，在这个AI横行的世界里， 能独立思、考善用工具的人才是真正的稀缺资源 。不然，到时候人类都变成了AI的电池，那可就真的是《黑客帝国》现实版了。

下为原文：

半人马与电子人：AI前沿的崎岖之地

许多人都在问，人工智能（AI）是否真的会对未来的工作产生重大影响。我们的一篇新论文强烈表明，答案是肯定的。

过去几个月里，我和一群社会科学家与波士顿咨询集团（Boston Consulting Group）合作，将他们的办公室变成了关于我们这个AI主导时代的专业工作未来的最大预注册实验场所。 我们的第一篇工作论文今天发布了 [1] 。论文中有许多重要且有用的细微差别，但让我先告诉你一个重要结论：在选定的18项任务中，使用ChatGPT-4的咨询顾问在各个维度的表现都远远优于未使用者。

图1

在所有任务中的输出质量分布。蓝色组未使用AI，绿色和红色组使用了AI，红色组接受了一些关于如何使用AI的额外培训。

使用AI的咨询顾问 平均完成了12.2%更多的任务 ， 完成任务的速度提高了25.1% ，并且 产出了质量提高了40% 的结果。这些影响非常显著。现在，让我们进一步探讨其中的细微差别。

首先，需要了解这个研究是多学科的，涉及多种类型的实验和数百次采访，由一个出色的团队进行，包括哈佛大学的社会科学家 Fabrizio Dell’Acqua [2] 、 Edward McFowland III [3] 和 Karim Lakhani [4] ；华威商学院的 Hila Lifshitz-Assaf [5] 和麻省理工学院的 Katherine Kellogg [6] （还有我自己）。在BCG方面， Saran Rajendran [7] 、 Lisa Krayer [8] 和 François Candelon [9] 负责执行实验，使用了咨询团队的7%（758名咨询顾问）。他们都进行了非常细致的工作，远远超出了这篇文章的范围。因此，请 查看论文以确保你了解所有细节 [10] ——特别是如果你对数字或方法有疑问的话。我需要简化很多内容以适应这篇文章的篇幅，任何错误都归我，而不是我的合著者。此外，虽然我们预注册了这些实验，这仍是一篇新的工作论文，因此可能存在错误或疏漏，且论文尚未经过同行评审。考虑到这一点，让我们进入细节...

AI是一个奇怪的存在。没有人真正知道最先进的大语言模型（如GPT-4）的全部能力。没有人真正知道使用它们的最佳方法或它们失败的条件。没有操作手册。在某些任务上，AI非常强大，而在其他任务上，它完全或微妙地失败了。除非你经常使用AI，否则你不会知道哪些任务属于哪种情况。

这导致了我们所谓的AI“崎岖前沿”。想象一下一个堡垒墙，有些塔楼和城垛突入乡间，而其他则向城堡中心折回。那堵墙是AI的能力，离中心越远，任务越困难。墙内的所有东西都可以由AI完成，墙外的任务对AI来说很难。问题是那堵墙是隐形的，因此一些看似距离中心相同且因此同样困难的任务——比如写一首十四行诗和一首恰好50字的诗——实际上处于墙的不同侧。AI在十四行诗上表现出色，但由于它以符号而非单词来概念化世界，它始终会生成多于或少于50字的诗。同样，一些意想不到的任务（如 创意生成 [11] ）对AI来说很容易，而一些看似简单的任务（如基本数学）对大语言模型来说却是挑战。

我请ChatGPT与代码解释器为你可视化这一点：

图2

为了测试AI对知识型工作的真正影响，我们随机分配了数百名咨询顾问是否可以使用AI。我们给那些允许使用AI的人提供了GPT-4的访问权限，所有人都可以通过Bing免费访问，或者支付每月20美元给OpenAI。没有特殊的微调或提示，只是通过API使用GPT-4。

然后，我们进行了大量的预测试和调查以建立基线，并要求咨询顾问为一家虚构的鞋公司进行各种工作，这些工作由BCG团队选择，准确代表了咨询顾问的工作。有创意任务（“为一个未被充分服务的市场或运动提出至少10个新鞋的创意”）、分析任务（“根据用户对鞋类行业进行细分”）、写作和营销任务（“为你的产品撰写新闻稿和营销文案”），以及说服性任务（“撰写一份鼓舞人心的备忘录，详细说明为什么你的产品会超越竞争对手”）。我们甚至与一位鞋公司高管核实了这些任务的现实性——确实如此。了解AI后，这些任务我们可能会认为在前沿之内。

与我们的理论一致，我们发现，无论是否先向他们简要介绍AI（图中的“概述”组），允许使用AI的咨询顾问表现都显著更好。这在每一个测量指标上都是如此，无论是完成任务所需的时间、总共完成的任务数量（我们给了他们一个总体时间限制），还是输出的质量。我们使用人类和AI评分来评估质量，二者的意见一致（这本身就是一个有趣的发现）。

图3

我们还发现了另一件有趣的事情，这是在其他AI研究中越来越明显的效果：它起到了技能水平化的作用。在实验开始时评分最低的咨询顾问在使用AI后，其表现提升了43%。顶级咨询顾问也得到了提升，但提升幅度较小。看看这些结果，我认为还没有足够多人在考虑这种技术将所有工人提升到顶尖表现水平的意义。这可能就像以前挖掘能力好的矿工与不好的矿工之间的区别，直到蒸汽铲被发明出来，现在挖掘能力的差异已经不再重要。AI还没有达到那种改变的水平，但技能水平化将产生巨大影响。

图4

但故事还有更多。BCG设计了另一项任务，这项任务精心选择，确保AI无法得出正确答案。这并不容易。正如我们在论文中所说的，“由于AI表现出令人惊讶的能力，在这次实验中设计出人类高素质资本从事的工作能够始终优于AI的任务非常困难。”但我们确定了一项任务，利用AI的盲点确保它会给出错误但令人信服的答案，而人类能够解决这个问题。事实上，没有AI帮助的咨询顾

问在84%的情况下答对了这个问题，但使用AI的咨询顾问答对率只有60-70%。发生了什么？

图5

在 我们共同研究的另一篇论文中 [12] ，Fabrizio Dell’Acqua展示了过度依赖AI可能适得其反的原因。在一个实验中，他发现使用高质量AI的招聘人员变得懒惰、粗心，对自己的判断力要求降低。他们错过了一些优秀的申请者，做出的决定比使用低质量AI或不使用AI的招聘人员要差。当AI非常出色时，人类就没有理由努力工作和保持专注。他们让AI接管，而不是将其作为工具来使用。他称之为“在方向盘上打瞌睡”，这可能会损害人类的学习、技能发展和生产力。

在我们的实验中，我们也发现使用AI的咨询顾问在回答问题时的准确性实际上低于未使用AI的咨询顾问（但他们在撰写结果时仍然比不使用AI的咨询顾问表现得更好）。如果你不知道前沿在哪里，AI的权威性可能具有欺骗性。

但是，许多咨询顾问确实在前沿内外的任务上都做对了，获得了AI的好处而没有其缺点。关键在于采用两种方法之一：成为半人马或成为电子人。幸运的是，这并不涉及将电子设备移植到你的身体上或被诅咒变成希腊神话中的半人半马。他们是两种整合人和机器工作的方式，以应对AI的崎岖前沿。

半人马的工作有一个清晰的人机分界线，就像神话中人类躯干和马体之间的清晰界限一样。半人马有一个战略性分工，在AI和人类任务之间切换，根据每个实体的优势和能力分配责任。当我在AI的帮助下进行分析时，我经常以半人马的方式接近它。我会决定采用什么统计技术，但让AI负责生成图表。在我们在BCG的研究中，半人马会自己做他们最擅长的工作，然后将前沿内的任务交给AI处理。

另一方面，电子人将机器和人类融合在一起，深度整合两者。电子人不仅仅是委派任务；他们与AI紧密合作，在崎岖的前沿来回移动。任务的部分交给AI，例如为AI启动一个句子，让电子人在与AI的协作中完成工作。这是我建议 使用AI进行写作的方法 [13] ，也是我在论文中生成两张插图（崎岖前沿图像和54行图）的方式，这些图像都是由ChatGPT在我的初步指导下构建的。

图6

我们的论文以及其他学者的一系列优秀 工作 [14] 表明，无论关于AI的性质和未来的哲学和技术辩论如何，它已经对我们的实际工作方式产生了巨大影响。这不是一种被炒作的新技术，会在五年内改变世界，或者需要大量投资和大型公司的资源——它现在就在这里。精英咨询顾问用来增强工作的工具与阅读这篇文章的每个人可以获得的工具完全相同。而且，咨询顾问使用的工具很快就会比你能获得的工具更差。因为技术前沿不仅是崎岖的，而且在不断扩展。我非常确信，在接下来的一年中，至少有两家公司将发布比GPT-4更强大的模型。崎岖前沿正在推进，我们必须为此做好准备。

除了这种声明可能引发的任何焦虑之外，还值得注意的是AI的其他缺点。当使用AI时，人们确实可能进入自动驾驶模式，在方向盘上打瞌睡而忽略了AI的错误。而且，像其他研究一样，我们还发现AI的输出虽然质量高于人类，但在总体上也有些同质化。因此，电子人和半人马至关重要——他们可以让人类与AI合作，产生比人类或AI单独完成的更为多样、更为正确、更好的结果。成为其中之一并不难。只需在工作任务中多使用AI，你就会开始看到崎岖前沿的形状，并开始理解AI在何处表现出色……以及它在哪些方面表现欠佳。

在我看来，问题不再是AI是否会重塑工作，而是我们希望它意味着什么。我们可以选择如何利用AI来使工作更具生产力、更有趣、更有意义。但我们必须尽快做出这些选择，以便我们能够开始以道德和有价值的方式积极使用AI，而不是仅仅对技术变化作出反应。同时，崎岖前沿正在推进。

参考资料

[1]

我们的第一篇工作论文今天发布了: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4573321

[2]

Fabrizio Dell’Acqua: https://www.fabriziodellacqua.com/

[3]

Edward McFowland III: https://www.hbs.edu/faculty/Pages/profile.aspx?facId=772797

[4]

Karim Lakhani: https://www.hbs.edu/faculty/Pages/profile.aspx?facId=240491

[5]

Hila Lifshitz-Assaf: https://www.hilalifshitz.com/

[6]

Katherine Kellogg: https://mitsloan.mit.edu/faculty/directory/kate-kellogg

[7]

Saran Rajendran: https://bcghendersoninstitute.com/contributors/saran-rajendran/

[8]

Lisa Krayer: https://bcghendersoninstitute.com/contributors/lisa-krayer/

[9]

François Candelon: https://www.bcg.com/about/people/experts/francois-candelon

[10]

查看论文以确保你了解所有细节: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4573321

[11]

创意生成: https://www.oneusefulthing.org/p/automating-creativity

[12]

我们共同研究的另一篇论文中: https://static1.squarespace.com/static/604b23e38c22a96e9c78879e/t/62d5d9448d061f7327e8a7e7/1658181956291/Falling+Asleep+at+the+Wheel+-+Fabrizio+DellAcqua.pdf