Meta发布FACET数据集，用于评估AI公平性

9月4日消息，Meta日前发布了一款名为FACET的开源数据集，旨在帮助研究人员审核计算机视觉模型中的偏差。

在一篇博客文章中，Meta详细说明，使用目前的基准测试方法很难评估人工智能的公平性。根据Meta的说法，FACET将通过提供一个大型评估数据集来简化这项任务，研究人员可以使用该数据集来审核几种不同类型的计算机视觉模型。

Meta研究人员在博客文章中详细介绍说：“该数据集由32,000张包含50,000人的图像组成，由专家人类注释者标记人口统计属性，如感知的性别表现，感知的年龄组，额外的身体属性，如感知的肤色、发型，以及与人相关的类别，如篮球运动员，医生等。FACET还包含SA-1B中69,000个口罩的人、头发和服装标签。”

研究人员可以通过让计算机视觉模型在FACET中处理照片来检查公平性问题。从那里，他们可以进行分析，以确定模型结果的准确性是否因照片而异。这种准确性的变化可能是人工智能有偏见的迹象。

研究人员可以使用该数据集来检测用于分类优化的神经网络中的偏差，这是将相似图像分组在一起的任务。此外，它使评估目标检测模型变得更容易。这种模型的设计目的是自动检测照片中感兴趣的项目。

FACET还可以审计执行实例分割和视觉接地的AI应用程序，这是两个专门的对象检测任务。实例分割是在照片中突出显示感兴趣的项目的过程，例如在它们周围画一个框。反过来，视觉基础模型是一种神经网络，它可以扫描照片，寻找用户用自然语言描述的对象。

Meta的研究人员表示：“虽然FACET仅用于研究评估目的，不能用于训练，但我们发布数据集和数据集浏览器的目的是使FACET可以成为计算机视觉模型的标准公平性评估基准。”