Anthropic Interviewer 介绍:1,250 名专业人士告诉我们关于 AI 工作的见解

我们推出了一个新工具 Anthropic Interviewer,用于理解人们对 AI 的看法。在这篇研究文章中,我们介绍了该工具,描述了在专业人士样本上的测试,并讨论了早期发现。我们还讨论了在这个方向上的未来工作,现在可以通过该工具的开发以及与创意工作者、科学家和教师的合作来探索。

从今天开始,你可能会在 Claude.ai 看到一个弹窗,邀请你参加访谈。通过这样做,你可以参与本文所述研究的下一阶段。

介绍

现在数百万人每天都在使用 AI。作为一家开发 AI 系统的公司,我们想知道他们是如何以及为什么这样做的,以及这对他们有什么影响。部分原因是我们想利用人们的反馈来开发更好的产品——但这也是因为理解人们与 AI 的互动是我们这个时代最重要的社会学问题之一。

我们最近设计了一个工具来调查 AI 使用模式,同时保护用户隐私。它使我们能够分析整个经济领域中 AI 使用模式的变化。但该工具只允许我们了解 Claude 对话中发生的事情。那对话之后发生了什么呢?人们实际上如何使用 Claude 的输出?他们对此有何感受?他们如何想象 AI 在未来的角色?如果我们想全面了解 AI 在人们生活中不断变化的角色,并以人为中心开发模型,我们需要直接询问人们

这样的项目需要我们进行数百次访谈。在这里,我们借助 AI 来帮助我们完成。我们构建了一个名为 Anthropic Interviewer 的访谈工具。由 Claude 驱动,Anthropic Interviewer 以前所未有的规模自动进行详细访谈,并将其结果反馈给人类研究人员进行分析。这是理解用户需求和愿望的新步骤,也是收集数据以分析 AI 社会和经济影响的新方法。

为了测试 Anthropic Interviewer,我们对 1,250 名专业人士进行了访谈——包括普通劳动力(N=1,000)、科学家(N=125)和创意工作者(N=125)——了解他们对 AI 的看法。我们公开发布了这次初始测试的所有访谈数据(经参与者同意)供研究人员探索;我们在下面提供了自己的分析。简而言之,以下是我们发现的一些例子:

普通劳动力

悲观 乐观
**职业适应。**卡车调度员:“我总是试图找出人类为行业提供的无法自动化的东西,并真正专注于这方面,比如个性化的人际互动。然而,我认为从长远来看这不是必需的。我仍在努力弄清楚哪些技能值得培养,是 AI 无法’接管’的。“ 社会视角。办公室助理:“对我来说,它是一个工具,就像计算机一样,或者像当年的打字机一样——计算机没有淘汰数学家,它们只是让他们能够做更多的事情,这就是我认为 AI 在最好的未来中的发展方向。“
**写作独立性。**销售人员:“我从同事那里听说,他们可以分辨出电子邮件通信是否由 AI 生成,他们对发件人有轻微的负面看法。他们觉得发件人’太懒’而无法给他们发送个人信件,并将其推给 AI 来做。“ **教育整合。**特殊教育教师:“我希望 AI 将成为一个更具协作性的合作伙伴,帮助我更好地管理时间,帮助我创造性地扩展,这样我就可以为学生提供各种各样的活动和作业,这些我可能无法自己想出来。“

来自普通劳动力专业人士的示例引用,按主题组织。这项研究旨在揭示乐观情绪并应对潜在焦虑,以更好地理解 AI 如何在不同专业背景下实际重塑工作。

创意工作者

悲观 乐观
**控制边界。**游戏书作家:“在这些讲故事的过程中,我会说大部分时候只有协作的幻觉……很少有我真正感觉到 AI 在驱动创意决策的时候。“ **工作流程自动化。**社交媒体经理:“老实说,我的压力减少了。它为我创造了大量效率,所以我可以专注于我最喜欢的工作方面(拍摄和编辑)”。
**作家失业。**创意小说作家:“由 AI 编写的小说可能有很棒的情节,技术上也很出色。但它不会有只有人类才能在整个故事中编织的更深层次的细微差别。“ **音乐制作。**音乐制作人:“有时,当需要添加歌词时,我会要求 ChatGPT 或 Claude 提供有趣的词语配对列表。只是获得一个长列表在乐器上尝试,通常会导致找到一个钩子或至少一个歌曲创意的种子。“

来自创意工作者的示例引用,按主题组织。

科学家

悲观 乐观
**安全问题。**医学科学家:“目前我们对 AI 的信心还不够高,无法信任它处理我们的数据。我们也是一个商业实体,所以对我们可能与 AI 系统共享的数据的机密性有一些担忧。“ **研究协助。**分子生物学家:“如果 AI 能够在单个存储库中整合和规范化所有这些数据,这对生物发现来说可能是一件非常令人兴奋的事情。你可以看到表达动态如何在细胞模型、组织类型、疾病状态等方面发生变化。“
**内容验证。**经济学家:“我真正想从 AI 那里得到的是能够准确地获取信息、总结它并使用它来撰写资助申请的核心。AI 通常写得很好;现在的问题是我不能依赖它不产生幻觉,或者坦率地说,不撒谎。“ **代码开发。**食品科学家:“老实说,如果没有 AI 工具,我不知道如何帮助我的学生解决她的代码问题。“

来自科学家的示例引用,按主题组织。

方法

这次初始测试探讨了工作者如何将 AI 整合到他们的专业实践中,以及他们对其在未来角色的感受。我们进行访谈以产生定性数据,并通过调查补充定量数据,参与者回答有关其行为和职业背景的问题。我们还让一个单独的 AI 分析工具阅读访谈记录,并将非结构化数据中出现的总体主题聚类在一起——例如,关于提到特定主题或在访谈中表达特定观点的参与者百分比。

参与者

我们使用 Anthropic Interviewer 对 1,250 名专业人士进行了访谈。我们打算让该工具访谈一般的 Claude.ai 用户,但在这次初始测试中,我们寻求从事各种职业的参与者,并通过众包工作平台吸引他们(所有参与者都有除众包工作之外的其他职业作为主要工作)。

我们的 1,000 名参与者是从一般职业样本中招募的(也就是说,我们没有从特定工作中选择参与者)。在该组中,最大的子组来自教育教学(17%)、计算机和数学职业(16%)以及艺术、设计、娱乐和媒体(14%)。

我们还招募了两个专业样本,每个 125 名参与者。第一个来自创意职业:主要是作家和作者(占样本的 48%)和视觉艺术家(21%),还有较小的电影制片人、设计师、音乐家和手工艺工作者群体。第二个来自科学领域,包括物理学家(9%)、化学家(9%)、化学工程师(7%)和数据科学家(6%),在 50 多个其他不同的科学学科中都有代表。

我们选择添加这两个专业子组,因为这些代表了 AI 角色仍然存在争议且正在快速发展的专业领域。我们假设创意工作者和科学家会揭示 AI 采用和专业关注的独特模式。

所有参与者都提供了知情同意,允许我们分析他们的访谈数据用于研究目的,并公开发布记录。

Anthropic Interviewer 的工作原理

Anthropic Interviewer 分三个阶段运行:规划、访谈和分析。下面,我们依次描述它们。

Anthropic Interviewer 流程的三个阶段。

规划

在这个阶段,Anthropic Interviewer 创建一个访谈大纲,使其能够在数百或数千次访谈中关注相同的总体研究问题,但仍然足够灵活以适应个别访谈中可能出现的变化和离题。

我们开发了一个系统 prompt——一组关于 AI 模型如何工作的总体指令——为 Anthropic Interviewer 提供其方法论。这是我们包含关于每个样本的假设以及创建访谈计划的最佳实践的地方(这是与我们的用户研究团队合作建立的)。

在放置系统 prompt 后,Anthropic Interviewer 使用其对我们研究目标的了解(见下面的部分)生成具体问题和计划的对话流程。然后有一个审查阶段,人类研究人员与 Anthropic Interviewer 合作进行任何必要的编辑以最终确定计划。

访谈

然后,Anthropic Interviewer 按照其访谈计划进行实时、自适应的访谈。在这个阶段,我们包含了一个系统 prompt 来指导 Anthropic Interviewer 如何使用访谈的最佳实践。

Anthropic Interviewer 进行的访谈出现在 Claude.ai 上,每位参与者持续约 10-15 分钟。

访谈在 claude.ai 上的界面进行(上图是现在为用户提供的模块)。

分析

访谈完成后,人类研究人员与 Anthropic Interviewer 合作分析记录。Anthropic Interviewer 的分析步骤将初始访谈计划作为输入,并输出对研究问题的答案以及说明性引用。在这个阶段,我们还使用我们的自动化 AI 分析工具来识别出现的主题并量化其在参与者中的普遍性。

研究目标

如上所述,Anthropic Interviewer 通过其系统 prompt 了解研究目标,并以解决这些目标的方式进行访谈。请注意,在这项初始研究中,我们的主要意图是对 Anthropic Interviewer 进行实际测试;下面的目标仍然提供了有趣的数据,我们在下面进行分析。

每个子样本的主要研究目标如下:

结果

下面我们讨论在访谈中发现的内容,并提供来自调查和主题分析的定量数据。

AI 对普通劳动力的影响

总体而言,我们普通专业人士样本的成员将 AI 描述为他们生产力的提升。在调查中,86% 的专业人士报告说 AI 为他们节省了时间,65% 的人说他们对 AI 在工作中扮演的角色感到满意。

一个浮现的主题是工作场所动态如何影响 AI 的采用。69% 的专业人士提到在工作中使用 AI 工具可能带来的社会污名——一位事实核查员告诉 Anthropic Interviewer:“一位同事最近说他们讨厌 AI,我什么也没说。我不告诉任何人我的过程,因为我知道很多人对 AI 的感受。“

尽管 41% 的受访者表示他们对工作感到安全,并认为人类技能是不可替代的,但 55% 的人对 AI 对其未来的影响表示焦虑。在表达焦虑的群体中,25% 的人设定了 AI 使用的界限(例如,教育工作者总是自己创建课程计划),而 25% 的人调整了他们的工作角色,承担额外的责任或追求更专业的任务。

AI 使用的方法差异很大。一位数据质量经理故意选择学习而不是自动化:“我试着把它想象成学习外语——只是使用翻译应用程序不会教你任何东西,但有一个可以回答问题并根据你的需求定制的导师真的会有所帮助。“一位营销人员采取了灵活的方法:“我试图多样化,同时保持强大的利基。“一位口译员已经准备完全离开该领域:“我相信 AI 最终会取代大多数口译员……所以我已经在准备职业转换,可能通过获得文凭并进入不同的行业。“值得注意的是,只有 8% 的专业人士在没有任何明确补救计划的情况下表达了焦虑。

我们还对专业人士访谈中表现出的不同情绪的强度进行了分类(见上图)。不同职业表现出非常统一的情绪特征,特点是高水平的满意度。然而,这与挫折感相结合,表明专业人士发现 AI 有用,同时遇到了重大的实施挑战。

增强与自动化

专业人士对 Anthropic Interviewer 的自我报告中的增强与自动化,与 Anthropic Economic Index 中观察到的 Claude 使用情况相比。专业人士将他们的 AI 使用描述为 65% 增强和 35% 自动化,而实际的 Claude 对话显示 47% 增强和 49% 自动化。Economic Index 百分比总和不为 100%,因为一些交互未分类。

之前的分析中,我们将 AI 使用分为增强(AI 与用户协作执行任务)或自动化(AI 直接执行任务)。在 Anthropic Interviewer 数据中,65% 的参与者将 AI 的主要角色描述为增强;35% 将其描述为自动化。值得注意的是,这与我们最新分析的人们如何使用 Claude 有所不同,后者显示了更均匀的分割:47% 的任务涉及增强,49% 涉及自动化。这种差异有多种潜在解释:

专业人士设想了一个既有增强又有自动化的未来——常规、管理任务的自动化以及人类监督的维持。48% 的受访者考虑将他们的职业转向专注于管理和监督 AI 系统而不是执行直接技术工作的职位。

一位牧师说:“……如果我使用 AI 并提高我的技能,它可以在管理方面为我节省很多时间,这将使我有时间与人们在一起”。他们还强调了”良好界限”的重要性,避免变得”如此依赖 AI 以至于我无法没有[它]或做我被召唤做的事情。“

一位传播专业人士说:“我相信我的大部分工作可能有一天会被 AI 取代。我认为我的角色最终将专注于提示、监督、培训和质量控制模型,而不是实际做工作本身”。目前被禁止在工作中使用 AI 的专业人士——例如,一些律师、会计师和医疗保健工作者——预计政策变化将使他们在未来自动化许多任务。

AI 对创意职业的影响

我们的创意专业人士样本也报告说 AI 使他们更有生产力。97% 的人报告说 AI 为他们节省了时间,68% 的人说它提高了他们的工作质量。一位小说家解释说:“我觉得我可以写得更快,因为研究不那么令人生畏”,而一位网络内容作家报告说他们”从能够产生 2,000 字的精美、专业内容到每天超过 5,000 字”。一位摄影师指出 AI 如何处理常规编辑任务——将周转时间从”12 周减少到约 3 周”——使他们能够”有意地进行我以前可能错过或没有时间进行的编辑和调整。“

与一般样本类似,70% 的创意工作者提到试图管理围绕 AI 使用的同行评判。一位地图艺术家说:“我不希望我的品牌和我的商业形象与 AI 以及围绕它的污名如此紧密地联系在一起。“

经济焦虑在创意工作者的访谈中贯穿始终。一位配音演员表示:“由于 AI 的兴起,配音的某些部门基本上已经死亡,例如工业配音。“一位作曲家担心平台可能”利用 AI 技术及其出版库[来]无限生成新音乐”,用廉价的替代品淹没市场以取代人类制作的音乐。另一位艺术家捕捉了类似的担忧:“实际上,我担心我需要继续使用生成式 AI,甚至开始销售生成的内容,只是为了在市场上保持竞争力,这样我才能谋生。“一位创意总监说:“我完全明白我的收益是另一位创意者的损失。我过去必须每天支付 2,000 美元的产品摄影师现在没有得到我的业务。“(请注意,Claude 不生成图像、视频或音乐——参与者表达的焦虑因此是关于整个 AI,而不是特定于 Claude)。

所有 125 名参与者都提到希望保持对其创意输出的控制。然而,这一界限在实践中被证明是不稳定的:许多参与者承认 AI 驱动创意决策的时刻。一位艺术家承认:“AI 驱动了大部分概念;我只是试图引导它……60% AI,40% 我的想法”。一位音乐家说:“我讨厌承认它,但在使用这个插件时,它拥有大部分控制权。“

不同学科表现出不同的情绪特征,如上图所示:游戏开发者和视觉艺术家报告了高满意度,矛盾地与高度担忧相结合。设计师表现出由挫折主导的反向模式,满意度明显较低。在所有学科中,信任始终保持在较低水平,表明对 AI 对创意工作的长期影响存在共同的不确定性。满意度和担忧之间的紧张关系可能突出了创意专业人士的立场,他们同时接受 AI 工具,同时应对对人类创造力未来的担忧。情感谱的广泛分散证实了不同的创意职业通过非常不同的情感透镜体验 AI 整合。

AI 对科学工作的影响

我们对化学、物理、生物学和计算领域的研究人员的访谈发现,在许多情况下,AI 还不能处理他们研究的核心要素,如假设生成和实验。科学家主要报告将 AI 用于其他任务,如文献综述、编码和写作。这是 AI 公司(包括 Anthropic)正在努力改进其工具和能力的领域。

信任和可靠性问题是 79% 访谈中的主要障碍;当前 AI 系统的技术限制出现在 27% 的访谈中。一位信息安全研究员指出:“如果我必须仔细检查并确认 [AI] agent 给我的每一个细节以确保没有错误,这有点违背了让 agent 做这项工作的目的。“一位数学家呼应了这种挫折感:“在我必须花时间验证 AI 输出之后,基本上最终花费的时间是相同的。“一位化学工程师指出了对谄媚的担忧,解释说:“AI 倾向于迎合[用户]的敏感性,并根据他们如何表述问题来改变其答案。不一致性往往使我对 AI 响应持怀疑态度。“

大多数科学领域报告了高满意度,但挫折模式各不相同:物理学家和数据科学家表现出更高的挫折感,而化学和机械工程师表现出最小的挫折感。这可能反映了计算领域与实验领域如何尝试将 AI 整合到核心研究工作流程中的差异:需要现实世界交互的科学家可能还没有尝试将 AI 用于核心科学实验。无论学科如何,所有领域的信任都相对较低,表明普遍的可靠性问题。与表达对 AI 影响高度关注的创意专业人士不同,科学家表现出相对较低的担忧水平。这与他们关于 AI 完成假设生成和实验任务能力的陈述挫折相一致。

科学家通常不担心因 AI 而失业。一些人指出了抵制数字化的隐性知识,一位微生物学家解释说:“我使用了一种细菌菌株,你必须在细胞达到特定颜色时启动各个步骤。颜色的差异必须亲眼看到才能理解,并且[指令]很少写在任何地方。“其他人强调了研究决策的固有人性,一位生物工程师说:“实验和研究也……本质上取决于我”,并指出”研究过程的某些部分不幸地与 AI 不兼容,即使它们是最方便自动化的部分,比如运行实验”。

外部约束也为 AI 替代创造了障碍——在机密环境中的研究人员指出”在组织允许我们使用 agentic 框架甚至 LLM 之前,必须实施许多面向安全的流程,有很多’该做’和’不该做’。“一位管理有限资源的机械工程师解释说,尽管”AI 擅长提出实验设计”,但实际上”我的大部分研究都有预算/时间/标本限制,所以’理想’的设计并不总是可行的。“尽管如此,监管合规约束、对技能退化的担忧和成本障碍在不到 10% 的访谈中被提及。

91% 的科学家表示希望在他们的研究中获得更多 AI 协助,即使他们认为今天的产品不符合要求。大约三分之一的人设想主要在写作任务上获得协助,但大多数人希望在所有研究中获得支持:批评实验设计、访问科学数据库和运行分析。一个共同的愿望是 AI 能够产生新的科学想法。一位医学科学家说:“我希望 AI 能够……帮助生成或支持假设,或寻找对人类来说不立即明显的新的相互作用/关系”。另一位呼应了这一观点,说:“我希望有一个 AI 可以感觉像一个有价值的研究伙伴……能够带来新的东西。“

展望未来

这次初始测试表明 Anthropic Interviewer 在规模上显示出希望——我们能够对 1,250 名不同职业的专业人士进行访谈,以了解他们对工作中 AI 的感受。使用传统的”手动”访谈方法,拥有这么多参与者的研究将是昂贵且耗时的。

但 Anthropic Interviewer 的意义超越了方法论:它从根本上改变了我们可以询问和回答关于 AI 在社会中的角色的问题,以及关于任何主题的访谈如何以这种新规模发生。我们使用 Anthropic Interviewer 在规模上进行有意义研究的努力才刚刚开始。以前,我们只能了解人们如何在聊天窗口中使用 Claude。我们不知道人们对使用 AI 的感受,他们想要改变什么关于他们与技术的互动,或者他们如何设想 AI 在他们生活中的未来角色

这次初始调查的发现为我们提供了超越 Economic Index 工作的新见解,以了解人们如何在工作场所使用 AI。我们正在与我们的 Economic Advisory CouncilHigher Education Advisory Board 分享这些初始发现以供讨论。随着我们继续这项研究,我们将公开分享我们的试点结果,以及这些发现如何为我们的未来工作提供信息。

Anthropic Interviewer 是我们在关于 AI 模型开发的对话中以人为中心的最新步骤——我们从 Collective Constitutional AI 的工作开始,该工作收集公众观点以塑造 Claude 的行为。这些对话可以帮助我们改进 Claude 本身的特征和训练过程,并为 Anthropic 倡导和采用的未来政策提供信息。以下是我们为探索与特定社区的合作而采取的一些实际步骤,帮助我们开发基于他们专业知识的 AI:

使用 Anthropic Interviewer,我们可以进行针对性研究,为特定政策提供信息,参与性研究,让不同社区参与关于 AI 的对话,以及定期研究,跟踪人类与 AI 之间不断发展的关系。

结论和局限性

我们对 1,250 名专业人士的访谈揭示了一支积极协商其与 AI 关系的劳动力。我们的参与者通常保留对其职业身份至关重要的任务,同时委派常规工作以提高生产力。创意工作者接受了 AI 的效率,尽管面临同行污名和经济焦虑,而科学家对他们信任 AI 的研究任务保持选择性。

我们进行这项研究是为了了解 AI 对人们生活的影响,超越聊天窗口中发生的事情。像所有定性分析一样,我们对这些访谈的解释反映了我们选择询问的问题和我们在数据中寻找的模式。通过公开这个大规模的访谈记录数据集,我们希望促进对人类-AI 关系如何发展的集体理解。通过大规模部署 Anthropic Interviewer,我们可以在人们对 AI 的体验与我们如何开发它之间创建一个反馈循环——目标是构建反映公众观点和需求的 AI 系统。

局限性

我们对 Anthropic Interviewer 的初始使用有一些重要的局限性,影响我们发现的范围和普遍性。我们的发现应该被解释为 AI 对工作影响的早期信号,而不是关于其对专业实践和身份的长期影响的明确结论。

原文 https://www.anthropic.com/research/anthropic-interviewer