2020年12月，美国参议院的10位参议员致信平等就业机会委员会（EEOC），质询该机构是否有能力对使用人工智能算法进行招聘的公司进行足够的审查和监管，从而避免可能存在的招聘歧视和偏见。这对美国政府的“算法审计（Algorithmic Auditing）”能力提出了要求。“算法审计”这个新名词模拟了财务会计领域的“财务审计”，是指独立机构针对一个公司所使用的人工智能算法进行审查，来评估算法对数据的处理过程是否符合规范性标准。美国布鲁金斯学会研究员、乔治敦大学麦考特公共政策学院兼职教授Alex Engler日前发布报告，认为现有的第三方算法审计业务带有不够透明、不够彻底、缺乏行业标准等问题，而政府等公共力量应该设定相应的行业标准，规范市场中存在的算法审计服务。

这是一个人工智能当面试官的时代

人工智能算法目前普遍应用于劳动力市场。统计数据表明，在美国约55%的人力资源主管在招聘过程中使用预测算法。求职者会在诸如LinkedIn、Monster和Indeed之类的网站上寻找工作机会，公司也会使用算法系统来分析简历。JobScan、VMock等公司还会使用算法帮助求职者优化简历，从而帮助其更好地被其他算法认可。有一些公司，比如Pymetrics会利用面部识别等一系列AI算法来帮助普华永道、摩根大通等大公司面试雇员；类似的公司还有PredictiveHire，甚至能在招聘时预测应聘者将在工作岗位上表现如何、是否容易跳槽等等。此外，这些公司还会用算法来监测工作岗位上的员工，从而部分决定员工的留用、工资和晋升。

这些算法的普遍特点是会收集求职者的数据，并通过“机器学习（machine learning）”技术，用大数据不断训练算法模型。公司建立和使用算法工具来提高效率和减少招聘成本，也希望潜在地提高雇员的多元性和工作表现。但是随之而来的则是有关伦理的忧虑：个人求职者一旦没能符合算法设定的条件就会被自动排除；算法的空前普及也引发了劳动力市场中关于系统性歧视的担忧。

求职者可能遭到人工智能排挤和歧视

研究表明，一些自然语言分析模型，在分析简历或者面试表现时，会展现出针对女性和残疾人的偏见；一些语音识别模型显现出了针对非裔美国人和操区域方言口音人士的明显偏见；人工智能面部分析的商业化应用，不仅是非常伪科学的，还表现出了肤色歧视；传播招聘信息的算法可能会无意间歧视从事理科工作的年轻女性和年龄较大的候选人。即便是在单个算法中的很小偏差，在算法的广泛使用中也很容易累积到更大的结构性问题。

但很多证据表明，不使用算法也并不是一个好的解决办法，因为早在算法时代之前，歧视和偏见也是存在的，比如应用很久的智商测试等等。如今人们期待通过对算法的设计，来改善和避免招聘中可能出现的歧视，比如设计专门的程序来隐藏种族、性别等信息。此外，人们开始利用“算法审计”来让独立机构对算法系统进行评估，从而检验算法是否能够排除偏见，以及是否有足够的准确性、鲁棒性、可解读性、私密性等等。

现行算法审计业务的缺陷

为了研究现行市场中的算法审计情况，作者专门考察了两个案例。一个是奥尼尔风险咨询和算法审计公司（ORCAA）与HireVue的算法审计合约，另一个是西北大学独立研究人员对Pymetrics的审计。作者从审计机构的独立性、审计分析的彻底性和结果透明性等多个角度研究了这两个案例，发现与传统财务审计相比，当前的算法审计业务仍是不成熟的：

1.缺乏行业规范。美国财务会计标准委员会要求执行一套通用的原则，即公认会计准则（GAAS），规定了独立机构应当如何进行财务审计。但是在算法审计行业中暂时没有此类规范。

2.缺乏可问责性。在现行的财务审计模式下，当审计机构客户出现信用危机时，审计机构自身要承担法律和道德上的责任。但在算法审计市场中，还暂时无法要求算法审计机构承担相应责任，因为算法带来的损害非常个别化且难以识别——即便一个算法是充满歧视性的，甚至这种歧视性的证据被公开，也很难对相关的公司造成损失或者使其承担成比例的后果。

重新制定算法审计的行业标准

作者建议政府应该承担相应的责任，督促算法审计形成行业规范和可问责性。为此，作者设定了一系列技术性标准来规范算法审计，包含审计流程注意事项、建模依赖性和存档、模型审查三个方面。

1、审计流程注意事项：比如要求审计师有足够的独立性和专业性，要求审计中选取的模型有充分的数量和代表性等。

2、建模依赖性和存档：比如要求算法审计主动考虑到数据收集和擦除过程；要求获得用以训练算法的数据中有关种族统计数据的信息；要求依赖性分析，比如要考虑被审计公司的算法使用了那些软件包和软件库；要求存档审查，算法审计要审查算法模型的存档，并确保这些存档能够准确地表达出算法模型的实际功能等。

3、模型审查：比如要求算法审计能够彻底检验求职者是如何被一个算法系统排序的，以及这种排序与种族、性别等统计数据的关系，以检验是否存在偏见；要求算法审计师能够使用假设性数据来检查算法模型的建造过程，来检视是否有自动或者人力疏忽的因素造成了有问题的被训练模型；要求算法审计能够检查模型的升级版本，评价模型的改造是不是会带来更糟的表现，从而为模型审计的频率提供建议等。

作者认为，提出上述标准只是一个开始，更多细节有赖于有关算法审计的更充分讨论。联邦政府机构有责任认真考量算法审计，比如平等就业机会委员会（EEOC）要开展符合标准的算法审计工作，劳工部联邦合同合规办公室要确保联邦政府只与那些能够排除偏见的算法雇佣公司开展合同关系等。只有政府在拥有相应的算法审计能力时，才有办法应对这些问题，从而才能更好的适应算法系统日趋泛滥的现状。

参考文献：

https://www.brookings.edu/research/auditing-employment-algorithms-for-discrimination/

编译 | 张吉泰 复旦发展研究院国际合作和重大活动办公室

排版 | 刘宣

图源 | 摄图网

往期回顾