对 AI 采取谨慎的方法如何减少有偏见的数据集

有偏见的数据集和道德人工智能

人工智能驱动的解决方案需要数据集才能有效。 这些数据集的创建在系统层面上充满了隐性偏见问题。 所有人都遭受偏见(有意识的和无意识的)。 偏见可以有多种形式:地理、语言、社会经济、性别歧视和种族主义。 并且这些系统性偏见会被纳入数据,这可能会导致人工智能产品延续和放大偏见。 组织需要一种谨慎的方法来减轻偏见蔓延到数据集中的情况。

说明偏差问题的示例

这种数据集偏见在当时引起了大量负面新闻的一个显着例子是简历阅读解决方案,该解决方案偏向男性候选人而不是女性候选人。 这是因为招聘工具的数据集是使用过去十年中大多数申请人为男性的简历开发的。 数据有偏差,结果反映了这种偏差。 

另一个广为报道的例子:在一年一度的 Google I/O 开发者大会上,Google 分享了一个 AI 驱动的皮肤病学辅助工具的预览,该工具可帮助人们了解与皮肤、头发和指甲相关的问题是怎么回事。 皮肤科助理强调了人工智能如何发展以帮助医疗保健 - 但它也强调了在批评该工具不适用于有色人种之后偏见蔓延到人工智能中的可能性。

当谷歌宣布该工具时,该公司指出:

为确保我们为所有人打造,我们的模型考虑了年龄、性别、种族和皮肤类型等因素——从不会晒黑的苍白皮肤到很少晒伤的棕色皮肤。

谷歌,使用人工智能帮助寻找常见皮肤病的答案

但是 Vice 的一篇文章说谷歌没有使用包容性数据集:

为了完成这项任务,研究人员使用了位于两个州的​​ 64,837 名患者的 12,399 张图像的训练数据集。 但在图中的数千种皮肤状况中,只有 3.5% 来自菲茨帕特里克皮肤类型 V 和 VI 的患者——分别代表棕色皮肤和深棕色或黑色皮肤。 根据该研究,数据库的 90% 是由皮肤白皙、肤色较深的白色或浅棕色皮肤的人组成。 皮肤科医生表示,由于抽样存在偏差,该应用程序最终可能会过度或低估非白人的诊断。

Vice,谷歌的新皮肤科应用程序不是为肤色较深的人设计的

谷歌回应称,它将在正式发布之前完善该工具:

我们的人工智能皮肤科辅助工具是三年多研究的结晶。 自从我们的工作在 Nature Medicine 上发表以来,我们不断开发和完善我们的技术,并结合了额外的数据集,其中包括数千人捐赠的数据,以及数百万精选的皮肤问题图像。

谷歌,使用人工智能帮助寻找常见皮肤病的答案

尽管我们可能希望人工智能和机器学习程序能够纠正这些偏见,但现实仍然是:它们只是作为 智能 因为他们的数据集是干净的。 更新旧的编程格言 垃圾进垃圾出,AI 解决方案的强大程度取决于其数据集的质量。 如果没有程序员的修正,这些数据集就没有自我修正的背景经验——因为它们根本没有其他参考框架。

负责任地构建数据集是所有工作的核心 道德人工智能. 而人是解决方案的核心。 

Mindful AI 是道德 AI

偏见不会在真空中发生。 不道德或有偏见的数据集来自于在开发阶段采取了错误的方法。 打击偏见错误的方法是采用负责任的、以人为本的方法,业内许多人称之为 Mindful AI。 Mindful AI 具有三个关键组件:

1. Mindful AI 以人为本

从人工智能项目开始,在规划阶段,人的需求必须是每个决策的中心。 这意味着所有人——不仅仅是一个子集。 这就是为什么开发人员需要依靠全球人员组成的多元化团队来训练 AI 应用程序,使其具有包容性和无偏见。

来自全球多元化团队的数据集众包可确保尽早识别并过滤掉偏见。 不同种族、年龄组、性别、教育水平、社会经济背景和地点的人可以更容易地发现偏爱一组价值观而不是另一组价值观的数据集,从而消除无意的偏见。

看看语音应用程序。 在应用有意识的 AI 方法并利用全球人才库的力量时,开发人员可以考虑语言元素,例如数据集中的不同方言和口音。

从一开始就建立以人为本的设计框架至关重要。 它在确保生成、整理和标记的数据满足最终用户的期望方面大有帮助。 但在整个产品开发生命周期中让人类参与其中也很重要。 

循环中的人类还可以帮助机器为每个特定受众创造更好的 AI 体验。 在文思海辉,我们遍布全球的 AI 数据项目团队了解不同的文化和环境如何影响可靠 AI 培训数据的收集和管理。 在基于 AI 的解决方案上线之前,他们拥有标记问题、监控问题和修复问题所需的必要工具。

Human-in-the-loop AI 是一个项目“安全网”,它结合了人的力量——以及他们多样化的背景与机器的快速计算能力。 这种人与人工智能的合作需要从项目一开始就建立起来,这样有偏见的数据就不会成为项目的基础。 

2. Mindful AI 是负责任的

负责任是为了确保人工智能系统没有偏见并且它们以道德为基础。 这是关于注意数据的创建方式、原因和位置,人工智能系统如何合成数据,以及如何将数据用于做出可能具有道德影响的决策。 企业这样做的一种方法是与代表性不足的社区合作,以提高包容性和减少偏见。 在数据注释领域,新的研究强调了将每个注释器的标签视为单独子任务的多注释器多任务模型如何帮助缓解典型地面实况方法中固有的潜在问题,其中注释器分歧可能是由于代表性不足和在将注释聚合到单个基本事实时可能会被忽略。 

3. 值得信赖

可信度来自企业在 AI 模型的训练方式、工作方式以及他们推荐结果的原因方面透明且可解释。 企业需要 AI 本地化方面的专业知识,以使其客户能够使其 AI 应用程序更具包容性和个性化,尊重本地语言和用户体验中的关键细微差别,这些细微差别可能会影响一个国家/地区到另一个国家/地区的 AI 解决方案的可信度. 例如,企业应针对个性化和本地化上下文设计其应用程序,包括基于语音的应用程序中的语言、方言和口音。 这样,应用程序为每种语言(从英语到代表性不足的语言)带来了相同级别的语音体验复杂性。

公平与多元化

最终,有意识的人工智能确保解决方案建立在公平和多样化的数据集上,在解决方案进入市场之前,监控和评估特定结果的后果和影响。 通过在解决方案开发的每个部分都保持谨慎并让人类参与进来,我们帮助确保 AI 模型保持干净、偏差最小且尽可能合乎道德。

你觉得呢?

本网站使用Akismet来减少垃圾邮件。 了解您的数据如何处理.