当算法开始分配机会:我们还能说"我不同意"吗

【导语】当算法开始决定谁该获得贷款、谁该优先就医、谁的刑期该长一些,我们正在见证一场权力的无声转移。这不是科幻,而是已经有完整证据链的现实——而且它最危险的部分,恰恰在于运转得无声无息。

先看一个已经被彻底调查清楚的真实案例。2019年,《科学》杂志发表了一项震动医疗界的研究:美国一款被广泛使用的人口健康管理算法,用"患者以往花了多少医疗费"来推断"患者有多需要额外护理"。听起来顺理成章——病得重的人自然花得多。但历史数据显示,同等病情下黑人患者获得的治疗花费平均少了约1800美元。于是算法得出了致命的结论:花得少,说明病得轻。同分值的名单上,黑人患者实际上比白人患者病重得多。算法影响的参保人规模约为每年两亿人。研究者与厂商合作修复后,被识别应获额外护理的黑人患者比例从17.7%升至46.5%——这几乎是把被悄悄关掉的水龙头重新拧开。最细思极恐的细节是:这套算法上市运行多年,内部质检从未发现异常——因为每一次质检,用的都是同一把有问题的尺子。

一、三个领域,同一条裂缝

医疗之外,裂缝早已蔓延。

信贷领域,算法信用评分已是基础设施。中国人民银行2021年发布的《征信业务管理办法》为信用信息的采集与使用划出了法律边界,这说明监管层早已意识到:评分即权力。司法领域,中国的智慧法院建设与类案检索在推进,国际上则有写进判决书的先例:2016年,美国调查机构ProPublica发布《机器偏见》调查,披露COMPAS再犯风险算法把黑人被告误标为高风险的比率约为白人的两倍;同年,威斯康星州最高法院在Loomis案中裁定——算法风险分可以作为参考,但不得作为判决的唯一依据,法官必须被告知它的局限与潜在偏见。一个耐人寻味的共同点:这些系统的开发者都以"商业机密"为由拒绝公开细节,外部审计长期无从介入。

这三件事共享同一条裂缝:决策越来越自动化,而理解、质疑、纠正这些决策的通道,没有跟上。

二、三重权力与"客观"的幻象

沿着这条裂缝看下去,是清晰的权力重排。技术公司握着定义权——模型用哪些变量、各配多大权重,本质上是一套价值选择。生物伦理学界对Optum案有一句精辟的总结:标签是藏价值观的地方。预测"花费"还是预测"病情",从来不是技术决策,而是穿着技术外衣的伦理决策,只是做出它的时候,会议室里没人认为伦理在议程上。政府握着执行权,收获了前所未有的治理效率。而个体让渡了决策参与权,独自承担算法误判的全部后果——申诉时面对的第一堵墙,往往是"系统自动判定"。

为算法辩护的最强理由是效率与客观:机器没有情绪、没有偏袒、永不知疲倦。这个理由有真实的分量——Optum的模型在预测"花费"这件事上精准无比,Loomis案中的风险分也确实整合了人力难以穷举的变量。但"客观"的幻象也正藏在这里:模型忠实地复现了它被要求的指标,而指标本身从未经过公共讨论。Obermeyer修复偏差的方法简单得出人意料——不换数据、不换模型,只换"让它预测什么"。这恰恰证明:错的一直是目标函数背后的价值设定。

三、柯林格里奇困境与真实存在的制度锚点

此刻正是柯林格里奇困境描述的窗口:算法系统还在扩展期,调整的成本仍然可控;等它长进社会的承重墙,代价就将高到无人敢动。

制度层面并非空白。欧盟GDPR规定,个人有权不受对其产生重大影响的纯自动化决定的支配;欧盟AI法案为高风险系统设定了人工监督义务;纽约市在2021年立法要求对招聘算法做强制偏见审计。Loomis案给出的司法版本同样清晰:算法的输出是参考,不是裁决——"不得作为唯一依据"这一句话,就是法庭上"我不同意"四个字的法律形态。

四、如果不做点什么

维持现状的推演不必依赖虚构的数字:评分体系若不经矫正地固化,教育、信贷、医疗的机会将越来越多地被前置的隐形分数决定;而责任会在技术方、数据方、使用机构之间循环摆渡,最终沉淀为无人认领的"解释权黑洞"。裂缝的可怕之处不在它已经出现,而在它被默认为正常。

五、三个可以随身携带的问题

作为被算法评估的人,手里并非没有工具。遇到重大算法决定时,坚持问三件事:这个决定用了我的哪些数据?如果它错了,我的申诉入口在哪里、流程要多久?最终,哪个具体的人或机构为它签字负责?这三个问题对应着三项已经在真实世界立住的权利——免于纯自动化决定的权利、获得有效人工复核的权利、要求责任主体现身的权利。问的人多了,权利才从文本走进日常。

结语

回到急诊室的深夜。问题的关键从来不是算法能否帮我们做出更好的决定——Optum的修复证明它确实能,甚至修起来比想象中容易。关键在另一件事:当算法做出决定时,我们是否还保有说出"我不同意"的权利和通道。

我们创造了比自己更快的决策系统,却不必因此交出判断的决定权。裂缝已经查明,尺子已经找到,修复所需的只是意愿——在算法无声接管之前,把"人必须在场"从一句口号,变成一条条可以执行的规则。这大概是智能时代,智人最重要的一次自我提醒。

展开阅读全文

更新时间:2026-09-29

标签:科技   算法   分配   机会   裂缝   患者   权利   格里   黑人   系统   模型   权力   偏见

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight All Rights Reserved.
Powered By 61893.com 闽ICP备11008920号
闽公网安备35020302034903号

Top