警告：政府在英国公众中使用的AI工具存在“种族主义和偏见”

卫报8月25日报道，中央政府使用的人工智能（AI）和算法工具将在公共登记册上公布，此前有警告称这些工具可能包含“根深蒂固”的种族主义和偏见。

官员们确认，受到活动人士挑战的这些工具，因其存在秘密性和偏见风险，将很快被公开。这些技术被用于多种目的，包括尝试检测假结婚行为、查找福利申请中的欺诈和错误等。

这一举措对于那些挑战中央政府AI部署的活动人士来说是一个胜利，因为这标志着在公共部门快速推广这一技术的前景。公共法律项目（PLP）高级研究员卡罗琳·塞尔曼（Caroline Selman）表示，系统的存在、细节和部署缺乏透明度。“我们需要确保公共机构公布这些工具的信息，这些工具正在快速推广。确保所采用的技术是合法、公平和无歧视的，对每个人都很重要。”

人工智能和算法工具将公布在公共登记册上，因其可能存在“根深蒂固”的种族主义和偏见

中央政府使用的人工智能（AI）和算法工具将被公布在一个公共登记册上，此前有警告称这些工具可能存在“根深蒂固”的种族主义和偏见。

官员们确认，这些工具因涉嫌秘密性和偏见风险而受到活动人士的挑战，将很快被公开。这些技术被用于多种目的，包括尝试检测假结婚行为以及查找福利申请中的欺诈和错误等。

这一举措对于挑战中央政府AI部署的活动人士来说是一个胜利，因为这标志着在公共部门快速推广这一技术的前景。公共法律项目（PLP）高级研究员卡罗琳·塞尔曼（Caroline Selman）表示，系统的存在、细节和部署缺乏透明度。“我们需要确保公共机构公布这些工具的信息，这些工具正在快速推广。确保所采用的技术是合法、公平和无歧视的，对每个人都很重要。”

2020年8月，内政部同意停止使用一个计算机算法来帮助处理签证申请，原因是该算法被认为包含了“根深蒂固的种族主义和偏见”。在移民福利联合委员会和数字权利组织Foxglove的法律挑战后，官员们暂停了该算法的使用。

Foxglove声称，一些国籍的人自动获得了“红灯”风险评分，这些人更可能被拒签。它表示这一过程构成了种族歧视。

去年，内政部还因一个用于检测假结婚以规避移民控制的算法工具而受到挑战。PLP表示，该工具似乎可能对来自某些国家的人群存在歧视，披露给该慈善组织的平等评估显示，保加利亚、希腊、罗马尼亚和阿尔巴尼亚的人更可能被推荐进行调查。

政府的数据伦理与创新中心（现在为负责任技术采纳单位）在2020年11月的报告中警告称，新技术有许多例子显示“根深蒂固或放大了历史偏见，甚至创造了新的偏见或不公平”。

该中心于2021年11月帮助制定了一个算法透明记录标准，适用于部署AI和算法工具的公共机构。它建议，所有与公众互动或对决策有重大影响的模型应公布在登记册或“资料库”上，并详细说明它们的使用方式和原因。

截至目前，公共登记册上仅公布了九条记录，这些记录覆盖了三年时间。没有任何一个模型由内政部或工作和养老金部（DWP）操作，而这两个部门曾运营一些最具争议的系统。

前政府在2月份关于AI监管的咨询回应中表示，部门将被要求遵守报告标准。科学、创新和技术部（DSIT）在本周末确认，部门现在将按照该标准报告技术使用情况。

DSIT发言人表示：“技术具有巨大的潜力来改善公共服务，但我们知道保持适当的保护措施，包括在必要时的人类监督和其他形式的治理同样重要。”

“算法透明记录标准现在对所有部门都是强制性的，预计将很快公布一批记录。我们继续探索如何在公共部门中扩大应用。我们鼓励所有组织以建立公众信任的方式使用AI和数据，借助工具、指南和标准。”

各部门可能会面临进一步要求披露其AI系统工作细节以及减少偏见风险的措施的呼声。DWP正在使用AI来检测通用信贷预支申请中的潜在欺诈，并正在开发更多技术来检测其他领域的欺诈。

在其最新的年度报告中，DWP表示，已经对其用于通用信贷预支申请的AI进行了“公平性”分析，未发现“存在任何即刻的歧视担忧”。DWP没有提供其评估的具体细节，担心公布可能会“让欺诈者了解模型的运作方式”。

PLP正在支持对DWP使用该技术的可能法律行动，敦促该部门提供关于技术使用情况和减少危害措施的详细信息。该项目已编制了政府自动决策工具的登记册，目前已跟踪到55种工具。

新闻来源：卫报              作者：Jon Ungoed-Thomas; Yusra Abdulahi

编辑：Audrey

（声明：请读者严格遵守所在地法律法规，本文不代表任何投资建议）