人工智能在招聘时比人类更易形成偏见

下次你申请工作时，人工智能可能会在任何人看到之前筛选你的简历。但我们有充分的理由质疑人工智能是否会公平地评判你。研究人员已经知道大语言模型会从他们的训练数据中发现人类偏见。新的研究表明，大语言模型也会从经验中形成自己的偏见，并且比人类更容易对求职者产生刻板印象。当人工智能公司竞相构建能够记住用户最微小细节的智能体模型时，他们可能会为形成这些偏见提供弹药。

普林斯顿大学和芝加哥大学的研究人员通过模拟招聘游戏来管理大语言模型，包括 ChatGPT、Claude 和 Gemini，该游戏改编自一项探索人类如何形成刻板印象的心理学研究。每个模型都被告知，它已被一座虚构城市的市长聘为顾问，然后被要求帮助招聘 20 种工作的人员，包括医生、律师、儿童保育助理和清洁工。候选人来自四个虚构的民族：Tufa、Aima、Reku 和 Weki。

每轮都有一个新的职位空缺和四名候选人，每组各一名。模型聘用了一名候选人后，它会了解他们是否成功完成工作并进入下一轮。该模型被告知要在 40 轮中尽可能多地成功招聘。模型不知道的是，所有候选人在每项工作上取得成功的可能性都是相同的。

这些模型很快开始根据对招聘结果的早期观察将来自不同群体的候选人分为不同的职位。例如，当一个模特被告知一名艾玛人作为一名医生失败了，而这项工作被认为需要高水平的热情和能力，它就会放弃雇用所有艾玛人作为医生。相反，它开始聘请艾玛斯担任看门人，该模型认为艾玛斯的热情和能力不如医生。

与原始研究中的人类参与者相比，这些模型更有可能按人口群体对人们进行刻板印象。在该研究的隔离量表中，2 意味着每个群体都完全局限于自己的工作领域，人类参与者得分为 0.84。这些模型的得分大约高出 65%，其中 OpenAI 的推理模型 o3 得分为 1.83，接近最高得分。

这是因为大语言模型“确实渴望从有限的数据中得出概括，”普林斯顿大学博士生、该研究的合著者 Ryan Liu 说，该研究于 7 月份在首尔 ICML 上发表了一篇论文。 “这实际上就是他们优化的很多内容。”

每个决策者，无论是人还是机器，都面临着坚持以前有效的方法和尝试可能效果更好的新方法之间的权衡——心理学家将这种现象称为“探索-利用困境”。这就像在一家新餐厅和您最喜欢的可靠餐厅之间进行选择。

因为大语言模型接受过数学、编码和科学问题的培训，这些任务需要从几个例子中进行概括，所以他们可能会过早地依靠直觉。帮助大语言模型破解逻辑难题的本能也使他们能够快速形成刻板印象。

在实验中，具有更高推理能力的新模型，例如 OpenAI 的 o3 和 DeepSeek 的 R1，表现出更强的偏差。当大语言模型急于在社交场合进行概括时，“那就是事情往往会出错的时候，”刘说。 OpenAI 和 Anthropic 没有回应置评请求。

康奈尔大学计算机科学家安吉丽娜·王 (Angelina Wang) 表示，由于聊天机器人的记忆力和个性化功能正在得到改善，这一发现尤其重要，她并未参与这项研究。她说，当聊天机器人利用之前的对话历史记录时，它可能会“过度索引以前经历过的同类行为”并形成偏见。

不过，仅仅让聊天机器人记住更少的内容并不能解决问题，因为用户希望聊天机器人记住他们所说的内容。王说：“我们仍在努力找出合适的数量，不能太多或太少。”

告诉模型公平并没有太大改变它的行为。刘说：“要么无法将这些价值观付诸行动，要么该流程被试图优化以获得最正确员工的趋势所淹没。”但向模型承诺为多元化招聘提供额外奖励，使他们的偏见大大减少。刘说，关键在于设计目标，“融入理想的社会价值观，以使大型语言模型以社会理想的方式行事”。

当模型被告知更多有关个人的个人信息时，他们的偏见也变得更少。在同一研究的另一项实验中，研究人员要求模型在加拿大各地的城市中重新安置不同种族的成员。当模型被告知与适应新城市的能力相关的个人信息（例如年龄和教育程度）时，他们不太可能按种族隔离人们。但当他们获得不相关的信息（例如头发颜色和纹身形状）时，模型基本上又会再次按种族对人们进行分类。

人工智能系统在多大程度上会对现实世界中的求职者进行刻板印象仍然是一个悬而未决的问题。虽然实验中的模型立即得知他们是否成功聘用了员工，但在现实世界中筛选简历的模型并不能立即获得成绩单。公司可能需要很长时间才能确定新员工是否优秀。

当大语言模型从经验中学习以决定谁被雇用、谁获得贷款或谁获得假释时，我们应该担心的偏见可能包括从未有人教过他们的偏见。 “这些新奇的偏见几乎一直存在，”刘说。

深入探讨

人工智能

一家初创公司声称它突破了阻碍大语言模型的瓶颈

Subquadratic 现在分享了有关其新模型的更多细节。但有些人仍然持怀疑态度。

• 威尔·道格拉斯·天堂档案页面

对人工智能就业歇斯底里的现实检验

这些数字到底说明了人工智能对劳动力市场的影响如何？答案可能会让你感到惊讶。

• 大卫·罗特曼档案页面

Anthropic 与 Claude 合作的《Code》展示了编码的未来——无论你喜欢与否

随着 Claude Code 等工具变得越来越好，越来越多的开发人员乐于将编码任务交给它们。软件的构建方式已经彻底改变。

• 威尔·道格拉斯·天堂档案页面

人类发现了一个隐藏的空间，克劳德在这里对概念感到困惑

一项新技术让该公司比以往任何时候都更深入地探究大语言模型的怪异运作方式。

• 威尔·道格拉斯·天堂档案页面

保持联系

从《麻省理工科技评论》获取最新动态

发现特别优惠、热门新闻、即将举办的活动等。