算法偏见是AI系统由于数据、设计或实施缺陷而系统性地产生不公平或歧视性结果的倾向。
算法偏见发生在AI系统复制、放大或引入歧视性模式时。可源于不具代表性的训练数据、与受保护属性相关的代理变量或偏向某些群体的设计决策。ISO 42001和ISO 23894将其作为关键AI风险进行管理。
有偏见的历史数据、不具代表性的样本、主观标注、代理变量和反馈循环。
需要公平性指标、定期模型审核、开发团队多样性和持续结果监控。
欧盟AI法案将有歧视风险的系统归类为高风险，要求合规评估和技术文档。
不是。大多数是无意的，源于反映现有不平等的历史数据。因此在部署前评估训练数据至关重要。
通过公平性指标（人口统计平等、机会平等、校准）、独立第三方模型审核和生产结果监控。
需要此领域的评估？