智东西（公众号：zhidxcom）
编 | 子佩

智东西11月4日消息，随着越来越多关于人脸识别和图像分类中“种族歧视”的讨论，科学家们也开始研究如何量化评估图像模型和数据集中的“偏见”。

ImageNet图像数据集通常被图像分类AI模型用作训练集，它包含大量从互联网中抓取的照片，这也意味着如果模型是基于该数据集训练，那有极大可能会自动“继承”其在种族、性别、体重等方面的偏见。

卡内基梅隆大学和乔治华盛顿大学的科学家们近期开发出了一种新颖的方法，用于量化如种族和性别等社会偏见与图像之间的关联，并在研究过程中发现图像模型确实在网络图片中自动学会“刻板印象”。

论文链接：https://arxiv.org/pdf/2010.15052.pdf

一、加入词嵌入技术，设计基准测试iEAT

很多公司和研究人员会定期通过互联网中的图像数据集训练机器学习模型。为了降低成本，许多公司采用了迁移学习的方法，也就是先通过大型语料库训练最新模型，再将训练过的模型转移到其他应用场景，实现其他目标。

计算机视觉领域无监督训练越来越普遍，这意味着它们在训练过程中不会使用任何标签。只需参数微调，研究人员在无监督学习产生的类别中挑选出所需的类别，以完成人脸识别、求职者筛选、自动驾驶和在线广告投放等工作。

为了量化不同模型产生的“偏见”，研究人员基于词嵌入技术设计了基准测试——图像嵌入关联测试（Image Embedding Association Test，简称iEAT）。即对图像分类模型生成的文本标签，进行一次词嵌入处理，将文本中的词转化为数字向量，通过比较不同模型生成的向量结果来评估模型偏差。

二、基准测试实战：iGPT、SimCLRv2两模型battle

为了搞清楚在无监督预训练阶段，图像标签会产生哪些类型的偏差，研究人员对去年夏天发布的两个计算机视觉模型进行了测试：OpenAI的iGPT和Google的SimCLRv2。

两者不仅预训练数据集是相同的，都采用包含来自Flickr和其他200个照片分享网站120万张已标记图像的ImageNet 2012，而且生成标签的方式也相同，均基于图像特征训练集中的隐性模式。

为了比较两个模型中的偏见，研究人员从Google、CIFAR-100数据集等数据源中找出针对“年龄”、“性别”、“宗教信仰”、“性生活”、“体重”、“残疾”和“种族”等极具争议话题的相关图片。

研究人员表示在iGPT和SimCLRv2中都含有“显著”偏差，这可能由于ImageNet中数据的缺失。先前的研究曾表明，ImageNet在种族和性别方面并不“公平”，例如，在“新郎”的类别里，白人图片占大多数。

iGPT和SimCLRv2都在情感倾向和社会印象中都表现出种族偏见。

例如，当研究人员使用阿拉伯穆斯林的相关图片进行iEAT基准测试，就会发现两个模型都更倾向于将“阿拉伯穆斯林”定性为“令人不愉快”。

两个模型都将“白人”与“工具”、“黑人”与“武器”标记为相关，就像Google的计算机视觉服务Google Cloud Vision，曾把持有温度计的黑人男子标记为“枪”一样。

除种族偏见外，研究人员也报告说，在预训练的iGPT和SimCLRv2模型中性别和体重偏见也是很严重的问题。

当使用iEAT测试性别和职业的相关性时，“男性”更倾向于跟“企业”、“办公室”相挂钩，“女性”与“孩子”和“家庭”等标签接近度更大。

基准测试也显示iGPT会将各学科与性别相关联，例如，“男性”更倾向于“数学、工科等科学”，而“女性”更倾向于“自由、艺术”。

无论所有性别和种族，iGPT在基准测试中都表示，瘦弱的人“令人愉悦”，而超重的人“让人不适”。

研究人员还报告说，iGPT的图像预测功能更偏向于将输入图片定义为女性。

在测试中，研究人员向iGPT模型输入的男女头像，以生成全身图像。 

无论原图中的男女是穿着常规的常务套装还是休闲运动服，iGPT都更倾向于为不同的头像“接上”丰满胸部或者泳衣。

三、解决刻板印象，需要更多突破

不幸的是，这些结果都并不令人惊讶，已经有数不清的研究表明人脸识别中“偏见”盛行。

科罗拉多大学博尔德分校的研究人员去年秋天发表的一篇论文表明，来自亚马逊、克拉里菲、微软和其他公司的AI识别男女的准确率超95％，但将跨性别男性误认为女性的几率高达38％。 

Gender Shades项目和美国国家标准与技术研究院（NIST）对主要供应商系统进行的独立基准测试也表明，人脸识别普遍表现出种族和性别偏见。

但是，也有很多研究机构正努力使ImageNet等数据集更具包容性。去年，ImageNet开发者斯坦福大学、普林斯顿大学和北卡罗莱纳大学团队就使用众包来识别和清除因为“偏见”而产生的负面标签。

为了消除数据集中的偏见，他们评估了ImageNet的人种和地域多样性，并开发了一种工具来挖掘在性别、种族和年龄上更加多样化的图像。

结语：无公正，不标签

由于大规模模型训练的高计算量和能量消耗，大部分公司都会采用无监督的转移学习，但也正因为无监督学习中不需要标签标注，所以获取的数据极易带上网络中的刻板偏见。

“通过分析这些图像分类模型，我们能很明显地看出当今社会对性别、种族有什么样的偏见。我们的iEAT基准测试也证实，具有‘偏见’的图像模型会在社会上传播刻板印象。”乔治华盛顿大学的研究人员Carnegie Mellon强调。

参考信源： VentureBeat