01 / CONTRIBUTION第一章 绪论与文献的核心学术贡献

在医疗辅助诊断、征信评级以及企业招聘等现代算法应用中,如何在追求算法预测准确性(Accuracy)的同时兼顾不同社会群体(如不同种族、性别、收入阶层)之间的组群公平性(Group Fairness),是机器学习与公共规制政策领域的核心矛盾之一。直觉上,决策者往往倾向于采取诸如”群体盲测(Group-blind)“等简单一刀切的反歧视干预。然而,这种直觉在数学凝视下常常是低效甚至适得其成、拉低全社会总体福祉的。

本报告旨在深度总结由经济学顶尖期刊《Journal of Political Economy》(JPE)在 2026 年发表的奠基性文献 —— 《Algorithm Design: A Fairness-Accuracy Frontier》(由四位顶尖学者 Annie Liang, Jay Lu, Xiaosheng Mu, Kyohei Okumura 撰写)。该文献在理论上对”算法公平性-准确性”的物理极限做出了里程碑式的核心贡献:

  • 提出公平-准确性前沿(FA Frontier)概念:首次将帕累托支配(Pareto Dominance)推广为公平-准确性支配(FA Dominance),刻画了任意数据环境下无法在不损害一维的前提下提升另一维的所有可行解边界。

  • 发现组偏斜(Group Skew)性质:证明了只有在底层数据存在”组偏斜”时,为了实现绝对公平而”主动降低两个群体的准确率(双输 Pareto-suboptimal)“才具备福利学上的理性基础。

  • 引入信息设计(Information Design)视角规制自利代理人:构建了”设计者(委托人)- 算法训练者(代理人)“的博弈框架。在此规制架构下,设计者即使无法控制代理人的算法底层黑盒代码,亦能通过在输入端设计出巧妙的非对称”特征捏合(Information Garbling)“机制,诱导仅关注准确性的代理人自愿做出最符合社会公平福祉的决策。证明了在组平衡数据下,该信息规制机制可达成”无损(Lossless)“的全局帕累托最优境界。

02 / MODEL第二章 基础数理模型的构建与概率空间形式化

为了给算法前沿奠定牢固的分析基石,文章在严格的测度论框架下构建了如下的微观模型:

2.1 个体属性概率空间

社会中的每一个体均由以下三元随机变量形式化描述:

(G,X,Y)P\left( G_{,\ X,\ Y} \right)\ \sim \ P

其中:

  • 敏感属性/组身份(Group Identity):Gr,bG \in r,b,代表个体的社会身份(如红色组 r 和蓝色组 b),在总人口中比例分别为 pr=P(G=r)p_{r} = P(G = r)pb=P(G=b)p_{b} = P(G = b)

  • 特征协变量(Covariates):X𝒳X \in \mathcal{X},代表算法可观测的特征(如标准化考试分数 SAT、医疗体检数据等),𝒳\mathcal{X} 为有限集。

  • 真实类型(True Type):Y𝒴=0,1Y \in \mathcal{Y} = 0,1,代表待预测的真实状态(如是否按期还款、是否患病等)。

2.2 随机化分类器与组期望误差

算法(分类器)定义为从协变量空间 𝒳\mathcal{X} 到二元决策空间 D = {0, 1} 的映射,全体映射集合记为 A。由于允许策略进行随机化混合,实际可用的算法定义为决策规则的概率分布 aΔ(A)a \in \Delta(A),其对应的组群 g 内的期望组误差(Group Error)定义为:

eg(a)EDa(X)(𝓁(D,Y)|G=g)e_{g}(a)\ ≔ \ E_{{D \sim a(X)}_{}}\left( \mathcal{l}(D,\ Y)\ |\ G\ = \ g \right)

其中,𝓁:D×𝒴\mathcal{l}:D \times \mathcal{Y} \rightarrow \mathbb{R} 表示决策结果的损失函数。对于任何算法 a,均对应一个两维的组误差对:

e(a)(er(a),eb(a))R2e(a)\ ≔ \ \left( e_{r}(a),\ e_{b}(a) \right)\ \in \ R^{2}

2.3 可行误差集 X\mathcal{E}_{X} 及其数学性质

当给定可观测的协变量 X 时,全体可实现的误差对集合定义为可行误差集:

EX{e(a):aΔ(A)}R2E_{X}\ ≔ \ \{\ e(a)\ :\ a\ \in \ \Delta(A)\ \}\ \subset \ R^{2}

性质一:凸性与紧致性。可行误差集具有以下两个极佳的数学性质,为后续的凸分析奠定了基础:

  • 由于组误差对算法 a 呈线性关系,且决策规则集合 Δ(A)\Delta(A) 是单纯形,因而其在算子 e(·) 映射下的像 X\mathcal{E}_{X} 必然是 \mathbb{R}² 中闭合且紧致的凸多边形(Convex Polytope)。这意味着,前沿上的任意点都可以通过极少数的极端算法(分类器)通过随机化线性混合而得到。

03 / FRONTIERS第三章 帕累托支配、公平支配与前沿分类

在引入公平偏好前,首先需要对比两种不同的福利支配关系。

3.1 帕累托支配(Pareto Dominance)

对于两个误差对 e,ee,e' \in \mathbb{R}²,定义帕累托支配:

ePDeererebebe\ \geq_{PD}\ e'\ \Leftrightarrow \ e_{r}\ \leq \ {e'}_{r}\ \ 且\ \ e_{b}\ \leq \ {e'}_{b}

其帕累托前沿(Pareto Frontier)为不被任何可行误差支配的下边界:

PX{eEX:eEX使ePDeee}P_{X}\ ≔ \ \{\ e\ \in \ E_{X}\ :\ \nexists\ e'\ \in \ E_{X}\ 使得\ e'\ \geq_{PD}\ e\ 且\ e'\ \neq \ e\ \}

3.2 公平-准确性支配(FA Dominance)与 FA前沿

一旦监管者兼顾公平性(要求缩小两组误差差距),定义 FA支配:

eFAeePDe(ereb)(ereb)e\ \geq_{FA}\ e'\ \Leftrightarrow \ e\ \geq_{PD}\ e'\ \ 且\ \ \left( e_{r}\ - \ e_{b} \right)\ \leq \ \left( {e'}_{r}\ - \ {e'}_{b} \right)

此时,定义公平-准确性前沿(FA Frontier)为:

FX{eEX:eEX使eFAeee}F_{X}\ ≔ \ \{\ e\ \in \ E_{X}\ :\ \nexists\ e'\ \in \ E_{X}\ 使得\ e'\ \geq_{FA}\ e\ 且\ e'\ \neq \ e\ \}

3.3 三大核心基准点与底层数据分类

设 r-最优误差对为 rXargmin_{eEX}err_{X}\ ≔ \ argmin\_\{ e\ \in \ E_{X}\}\ e_{r}

(在保障组 r 最优下极小化组 b 误差);对称地设 b-最优误差对为 bXargmin_{eEX}ebb_{X}\ ≔ \ argmin\_\{ e\ \in \ E_{X}\}\ e_{b}

;公平最优误差对为 fXargmin_{eEX}(ereb)f_{X}\ ≔ \ argmin\_\{ e\ \in \ E_{X}\}\ \left( e_{r}\ - \ e_{b} \right)

。由此定义两类底层数据环境:

  • 组平衡(Group Balanced):rXr_{X}bXb_{X} 分布在对角线(er=ebe_{r} = e_{b})的两侧。在几何上表现为 (rX)r<(rX)b\left( r_{X} \right)_{r} < \left( r_{X} \right)_{b}(bX)b<(bX)r\left( b_{X} \right)_{b} < \left( b_{X} \right)_{r}

  • 组偏斜(Group Skewed):rXr_{X}bXb_{X} 分布在对角线的同侧(假设为 r-偏斜,即 rXr_{X}bXb_{X} 均位于对角线上方,满足 er<ebe_{r} < e_{b})。

04 / THEOREM 1第四章 定理 1(前沿几何定理)的严格数理推导与证明

定理 1 是整篇论文的几何基石,它不仅决定了前沿的拓扑结构,而且深刻揭示了追求算法公平性对两个不同群体预测准确率的”社会净损失”:

定理 1(FA前沿的分类几何特征)

(a)XFX=PX(b)XgrFX=PXLine(bX,fX)(a)\ 若\ X\ 是组平衡的,则\ F_{X}\ = \ P_{X}\ ;(b)\ 若\ X\ 是\ g - 偏斜的(假设为\ r - 偏斜),则\ F_{X}\ = \ P_{X}\ \cup \ Line\left( b_{X},\ f_{X} \right)\ 。

【定理意义】(a) 说明在群体平衡的环境下,公平和准确率是一致的零和帕累托权衡;(b) 揭示了在群体偏斜环境下,为了逼近绝对公平,决策者不得不选择”正斜率”段,即强迫让两个群体的准确率都严格变差(即双输的 Pareto-suboptimal),才能收缩公平差距。

4.1 边界曲线 kdk_{d} 参数化推导

首先,我们将可行集 X\mathcal{E}_{X} 的下边缘使用两组误差差距 d 进行参数化表示。设最大和最小可行差距分别为 dmaxd_{m}axdmind_{m}in。对任意差距 d,极小化单组误差:

kdargmin_{eEX:eber=d}erk_{d}\ ≔ \ argmin\_\{ e\ \in \ E_{X}\ :\ e_{b}\ - \ e_{r}\ = \ d\}\ e_{r}

随着差距参数 d 连续变化,点 kdk_{d} 在可行集 X\mathcal{E}_{X} 的下边缘描绘出一条连续的下边界曲线 KXK_{X}(如图 1 所示)。

4.2 (a) 组平衡情况的推导与证明 (X=𝒫X)\left( \mathcal{F}_{X} = \mathcal{P}_{X} \right)

若 X 是组平衡的,由于 rXr_{X}bXb_{X} 分布在对角线两侧,自然有两端的最优差距满足:dr0dbd_{r} \geq 0 \geq d_{b}。我们通过反证法证明其等价性:

  • 假设存在一个点 e=kde = k_{d} 属于 X\mathcal{F}_{X},但它不属于 𝒫X\mathcal{P}_{X}。由帕累托前沿的区间定义,这必然要求其对应的差距参数 d>dr0d > d_{r} \geq 0(小于 dbd_{b} 的情况对称成立)。

  • 我们将点 e 与 r-最优特征点 rXr_{X}(即 kdrk_{d_{r}})进行对比:由 rXr_{X} 的第一维定义,e 必然具有更大的组 r 误差:(kd)r(rX)r\left( k_{d} \right)_{r} \geq \left( r_{X} \right)_{r}

  • 而由于其对应的参数满足 d>dr0d > d_{r} \geq 0,这意味着 e 处的误差差距严格大于 rXr_{X} 处的绝对差距:|(kd)b(kd)r|>|(rX)b(rX)r|\left| \left( k_{d} \right)_{b} - \left( k_{d} \right)_{r} \right| > \left| \left( r_{X} \right)_{b} - \left( r_{X} \right)_{r} \right|

  • 由于 d>dr0d > d_{r} \geq 0,意味着在对角线上方且差距变大,两式相加必然导致:(kd)b>(rX)b\left( k_{d} \right)_{b} > \left( r_{X} \right)_{b}

  • 由此,rXr_{X} 不仅实现了更小的组群偏误(准确性更高),同时实现了更小的绝对差距(公平性更佳),即 rXFAer_{X} \geq_{F}Ae。这与 e 属于 FA前沿 X\mathcal{F}_{X} 的设定直接矛盾!

  • 因此,在组平衡时,任何帕累托退化的点均不可能留在 FA前沿中,X=𝒫X\mathcal{F}_{X} = \mathcal{P}_{X} 成立。

4.3 (b) 组偏斜情况的推导与证明

当底层数据为 r-偏斜时,组最优特征点落在对角线的同侧,即满足:drdb0d_{r} \geq d_{b} \geq 0。此时:

  • 首先,当 d>drd > d_{r} 时,其被 rXr_{X} 支配(证明同上);当 d<dfd < d_{f} 时,由于对角线的对称性,可证明这些点将被 dfd_{f} 处的公平最适点所 FA 支配。

  • 证明 d[df,db)d \in \lbrack d_{f},d_{b}) 区间的边界点(即正斜率段)未被支配:在这一段正斜率段上,如果某边界点 kdk_{d} 被另一个点 kdk_{d}' 所支配,由更佳的公平性,必然要求其对应的差距参数 d<dd' < d 。由于可行集是凸多边形,我们可以将 d 唯一写为 d' 与 dbd_{b} 的凸组合:d=λd+(1λ)dbd = \lambda d' + (1 - \lambda)d_{b}(其中 λ(0,1)\lambda \in (0,1))。根据凸多边形几何性质,两组误差在相同差距 d 下,凸组合产生的混和点所带来的组 b 误差应该不大于 kdk_{d} 的组 b 误差。但这与 kdk_{d} 自身作为该差距下”唯一能够极小化误差的最优边界解”定义直接相悖,产生矛盾。

综上,在组偏斜时,连接 b-最优误差点到公平最优误差点的正斜率线段也是不被 FA支配的可行解,因此必须被吸纳进 FA前沿中。

论文总结中的公平—准确性前沿图示

图 1: 组平衡 (左) 与组偏斜 (右) 下的可行误差集 X\mathcal{E}_{X} 与公平-准确性前沿 X\mathcal{F}_{X} 的几何演化

05 / CONSTRUCTION第五章 算法的构造性求解:一维单调阈值分类器序列

在建立理论后,如何将高维的协变量特征构造性地求解出前沿上的算法?这就是命题 1 的意义。

命题 1(单调阈值分类器的完备性定理)

h(x)ΔxbΔxrh(x1)...h(xn)a_i沿h_{(x)}\ ≔ \ \frac{\Delta_{x_{b}}}{\Delta_{x_{r}}}\ ,排序满足\ {h(x}_{1})\ \leq \ ...\ \leq \ {h(x}_{n})\ 。所有阈值分类规则\ a\_ i\ 随机化凸混合构成前沿。

【命题意义】命题 1 将原本在无限高维机器学习分类器空间中寻找最优算法的极难问题,降维简化为了一个在相对边际误差比率一维有序序列上的单调阈值截断问题。这极大简化了算法公平性的构造复杂度。

5.1 相对边际误差比率的数理推导

对每个协变量具体实现值 x𝒳x \in \mathcal{X},定义当决策 D 从 0 切换到 1 时,组群 g 的边际误差期望变化量为:

ΔxgP(X=x|G=g)E(𝓁(1,Y)𝓁(0,Y)|X=x,G=g)\Delta_{x_{g}}\ ≔ \ P\left( X\ = \ x\ |\ G\ = \ g \right)\ E_{}\left( \mathcal{l}(1,\ Y)\ - \ \mathcal{l}(0,\ Y)\ |\ X\ = \ x,\ G\ = \ g \right)

由于总体误差可分解为各个协变量局部实现下的期望误差之和:

eg(a)=x𝒳Δxga(x)+Constante_{g}(a)\ = \ \sum_{x\ \in \ \mathcal{X}}^{}\Delta_{x_{g}}\ a(x)\ + \ Constant

保持误差线性分解,极小化总体线性期望损失 ebλere_{b} - \lambda e_{r} 的最优分类规则 aλa_{\lambda} 在每个特征点 x 上的取值,必定取决于两组边际误差变化的比率:

h(x)=ΔxbΔxrh_{(x)}\ = \ \frac{\Delta_{x_{b}}}{\Delta_{x_{r}}}

通过将协变量的所有实现值按照 h(x) 从小到大单调排序,我们可以构造出一维阈值分类器序列 aia_{i},通过对其在相邻分类器间进行线性随机化混合,即可完美复刻前沿上所有的误差对点。

06 / GROUP IDENTITY第六章 差别对待:敏感属性 G 可用时的矩形直积前沿

当规制政策放开,允许算法针对不同组群显式使用敏感标签 G 时的变化是显著的。这就是命题 2 的推导背景。

命题 2(群体标签可用时的矩形可行集与 FA前沿)

EX,G=Er×Eb[ermin,ermax]×[ebmin,ebmax]E_{X,G}\ = \ E_{r}\ \times \ E_{b}\ ≔ \ \lbrack e_{r_{\min}},\ e_{r_{\max}}\rbrack\ \times \ \lbrack e_{b_{\min}},\ e_{b_{\max}}\rbrack\ 。

【命题意义】(a) 指出当允许差别对待(Affirmative Action)时,两组的预测决策彻底解耦,可行误差集从非规则多边形直接演化为完美的矩形;(b) 此时,若数据存在偏斜,FA前沿退化为一条组 b 的水平线段,该群体可以恒定保持其误差绝对物理最小值,而仅通过降低优势群体的准确率来实现公平。

论文总结中的公平—准确性前沿图示

图 2: 允许使用群体敏感属性 G 时的正交矩形可行误差域与水平 FA前沿线段

6.1 命题 C1(简单偏好完备性定理)

文章在 Appendix C 中进一步推导了命题 C1:对于前沿 X,G\mathcal{F}_{X},G 上的任意误差点,设计者持有如下形式的”简单偏好(Simple Preference)“均能使其合理化成立:

W(e)grergbebgf(ereb)W(e)\ ≔ \ - g_{r}e_{r}\ - \ g_{b}e_{b}\ - \ g_{f}\left( e_{r}\ - \ e_{b} \right)

简单偏好完美契合了社会公平中”效率优先(极小化各组误差)“与”分配正义(缩小群体绝对差距)“的双重规制追求。

07 / INFORMATION DESIGN第七章 规制信息设计与代理人服从半空间约束

本章正式引入信息设计视角。由于算法决策者(代理人)通常仅关注预测准确性,其目标函数为:

w(e)arerabebw(e)\ ≔ \ - a_{r}e_{r}\ - \ a_{b}e_{b}

为了让代理人乖乖服从推荐的算法决策,设计者通过特征捏合(Information Garbling)机制 T:𝒳Δ(𝒯)T\ :\ \mathcal{X}\ \rightarrow \ \Delta\left( \mathcal{T} \right)

改变喂给代理人的信号精度。这诱导了如下代理人的 obedience 约束:

引言与引理 1(服从约束半空间定理)

E*_X=EXHH{eR2:arer+abebe0}E_{*\_ X}\ = \ E_{X}\ \cap \ H\ \ ,其中\ H\ ≔ \ \{\ e\ \in \ R^{2}\ :\ a_{r}e_{r}\ + \ a_{b}e_{b}\ \leq \ e_{0}\ \}\ 。

【引理意义】信息设计的作用等价于在原可行集上切一刀,切刀方向完全取决于代理人的相对重要性权重 (ar,ab)\left( a_{r},a_{b} \right)。只有落在此服从半平面 H 内的误差对,监管者才能通过特定的信息机制欺骗代理人自愿接受。

论文总结中的公平—准确性前沿图示

图 3: 规制信息设计下,代理人服从约束半空间 H 诱导下的受约束可行误差域 *X\mathcal{E}*_{X} 的凸相交边界

7.1 命题 4(信息设计无损规制判定)

基于该凸几何划分,文章推导出了设计者能够实现”零福利损失”的充要条件:

  • 若 X 是组平衡的,设计者仅通过特征捏合就能实现不留遗憾的全局最适 FA 决策,当且仅当两端的组最优特征点均满足:rX,bXHr_{X},b_{X} \in H

  • 若 X 是组偏斜的,设计者仅通过特征捏合就能完美实现全局最适 FA 决策,当且仅当最适特征点满足:gX,fXHg_{X},f_{X} \in H

08 / GROUP-BLIND POLICY第八章 政策大辩论一:色盲政策与禁用组标签的福利双输定理

社会舆论往往本能地推崇”盲测(Race-blind)“,即立法直接禁用组标签 G。然而,命题 5 用数学狠狠打击了这一天真政策。

命题 5(群体盲法对公平和准确率的双输支配定理)

G沿F*_X使GF*_X,GF*_X,G>FAF*_X在严格组平衡和代理人参与的温和假设下,禁用敏感属性\ G\ 时的受规制前沿\ F_{*\_ X}\ 与允许使用\ G\ 时的\ F_{*\_ X,G}\ 绝不相交,且满足:F_{*\_ X,G}\ >_{FA}\ F_{*\_ X}\ 。

【命题意义】命题 5 在数理上宣告了”色盲规制”的彻底失败。只要数据是严格平衡的,盲目封杀组标签不仅会让算法准确率受损,还会同时扩大组群之间的不公平绝对差距,无情地将所有人推入帕累托最差处。

8.1 命题 5 的几何不相交证明

该命题的核心代数推导依赖于引理 B1 的不相交判定:

  • 由于数据是严格组平衡的,特征点 bXb_{X} 必须严格位于 45° 对角线的下方(满足组 b 误差严格小于组 r,即 eb<ere_{b} < e_{r})。

  • 在禁用 G 且信息无损(bXHb_{X} \in H)的情况下,原 FA前沿 *X\mathcal{F}*_{X} 上纵坐标能达到绝对物理最小组 b 误差 ebmine_{b_{m}}in 的唯一对应点即为 bXb_{X}

  • 相反,在允许使用 G 时,由于解耦机制,其前沿 *X,G\mathcal{F}*_{X},G 是一条横贯在对角线上方(组 b 误差 ebere_{b} \geq e_{r})且高度为组 b 物理最小误差 ebmine_{b_{m}}in 的水平线段。

  • 两几何区域对组间误差大小关系的定义产生绝对冲突(一个要求 eb<ere_{b} < e_{r},另一个要求 ebere_{b} \geq e_{r}),因此两前沿不可能相交!

  • 由引理 B1,两前沿绝不相交直接导出了严格的 FA 支配关系,盲测政策被数学无情枪决。

09 / INFORMATIVE INPUTS第九章 政策大辩论二:标准化测试等预测特征的保留价值定理

当前教育与信贷公平中,常有废除标准化考试分数(如 SAT、高考等)的呼声,认为其偏袒优势群体。命题 7 对此做出了强力回击。

命题 7(决策相关特征的绝对保留定理)

GX沿退F*_X,X,G>FAF*_X,G若敏感标签\ G\ 允许保留,那么对任何决策相关的预测特征\ X',禁用它必定导致受规制前沿的帕累托退化:F_{*\_ X,X',G}\ >_{FA}\ F_{*\_ X,G}\ 。

【命题意义】命题 7 指明,在机制设计充分的前提下,任何有预测价值的变量(哪怕由于社会先天不平等而存在对优势群体的严重倾斜,如标准化考试成绩)都不应该被禁用。信息设计有充足的能力去净化特征并重塑公平。

9.1 命题 7 的严格凸几何证明

由于 X' 是决策相关的,引入 X' 必然使所有群体的最小可行物理误差发生严格的单调单调下降(引理 B2):e*bmin<ebmine*_{b_{m}}in < e_{b_{m}}in

同样应用引理 B1,因为在允许使用 G 下的前沿是一条在弱势群体最小误差高度上的水平线段:

  • 在不使用 X' 的前沿 *X,G\mathcal{F}*_{X},G 上,所有点的高度恒定为 ebmine_{b_{m}}in

  • 在使用 X' 的新前沿 *X,X,G\mathcal{F}*_{X},X',G 上,其线段高度变成了更低的 e*bmine*_{b_{m}}in(若新系统仍偏斜),或者整体落在了更低更左侧的区域(若系统转为 r-偏斜)。

  • 由于 e*bmin<ebmine*_{b_{m}}in < e_{b_{m}}in,两个水平前沿高度绝对平行且不交叠,从而绝不相交。

  • 根据引理 B1 的不相交性质,瞬间证明了 *X,X,G\mathcal{F}*_{X},X',G 严格 FA 支配 *X,G\mathcal{F}*_{X},G。这在数理上无声宣告了:废除标准化考试成绩(SAT)将使整个教育筛查系统的公平性和准确性两维同时严格退化。

10 / GARBLED INPUTS第十章 规制机制:不对称定向加噪设计(r-shaded garbling)

当设计者确定了前沿上的目标点,信息机制如何具体运作?这就是命题 6 给出的最佳回答。

命题 6(不对称定向加噪机制)

βmax(erHererHerL,0)100%beta\beta_{}\ ≔ \ max\left( \frac{e_{r_{H}}\ - \ e_{r}}{e_{r_{H}}\ - \ e_{r_{L}}},\ 0 \right)\ 。对弱势组\ 100\%\ 高清,对优势组概率\ beta\ 后台混淆(加噪)。

【命题意义】命题 6 给出了落地公平算法的终极信息干预机制:不是对所有人一刀切禁用数据,而是对弱势阶层彻底保持信息透明,从而保证他们中优秀人才被发掘的概率最大化;而对优势群体在后台以一定的 beta 概率注入随机噪音。这种精妙的”降维打击”是实现完美社会公平的唯一无损机制。

11 / ESTIMATION第十一章 经验估计与数值求解算法

在现实世界中,我们如何从具体样本中去测算并逼近这些理论前沿?

11.1 非参数统计检验(Bootstrap 自举法)

为了在 Obermeyer(医疗筛查)与 Strack(糖尿病再入院)数据集上判定底层的偏斜属性,研究者采用了 Auerbach 等人(2024)的统计方法:

  • 1. 样本划分:将样本以 2/3 和 1/3 的比例随机切割为训练集与测试集,重复 K=5K = 5 次。

  • 2. 模型训练:在训练集上寻找极小化单组误差的最优分类器,并计算两组在测试集上的预测误差对差值:

T̂ewbebbT_{\widehat{}}\ ≔ \ e_{w}^{b}\ - \ e_{b}^{b}

  • 3. 蒙特卡洛 Bootstrap 自举:在测试集上抽取 Q=10,000Q = 10,000 次自举样本,拟合经验分布函数并算得一侧自举 p 值。

  • 4. 检验准则:若 K 次重复实验得到的自举 p 值中位数均小于显著性水平的一半,则强烈拒绝零假设,接受组偏斜。实证结果显示,医疗数据集 Obermeyer 的白人偏斜检验 p 值 <0.0001< 0.0001,证实了历史医疗不公带来的严重组偏斜事实。

11.2 Hinge 损失松弛与 0-1 标签翻转(Label Flipping)对偶代数

寻找边界的经验错误率极小化是一个非凸的 NP-Hard 混合整数规划(MILP)。实证中常通过 SVM 的 Hinge 铰链损失进行线性规划(LP)松弛:

eg=1ngi:G_i=gwi+λ(β)1e_{g}\ = \ \frac{1}{n_{g}}\sum_{i:\ G\_ i = g}^{}w_{i}\ + \ \lambda\ (\beta)_{1}

wi1(2Yi1)XiTβw_{i}\ \geq \ 1\ - \ \left( 2Y_{i}\ - \ 1 \right)X_{i^{T}}\beta

然而,当我们需要估计可行误差集最上方的非帕累托边界时,线性外法线系数 αr\alpha_{r}

会变成负数(追求最差预测),这导致 wiw_{i} 趋向于正无穷,LP 直接发散崩溃。

文章在 Appendix D 中给出了一个极其精妙的标签翻转(Label Flipping)变量代换技巧:

  • 1. 设拟合权重 αr&lt;0\alpha_{r}\ \& lt;\ 0

。我们定义新正系数 ãrαr&gt;0ã_{r}\ ≔ \ - \alpha_{r}\ \& gt;\ 0

,以及对应的新准确率变量 r1erẽ_{r}\ ≔ \ 1\ - \ e_{r}

  • 2. 重新表达准确率 rẽ_{r}。因为错误率翻转即为准确率,根据代数变换:

r=1nri:G_i=r1{Yîi}ẽ_{r}\ = \ \frac{1}{n_{r}}\sum_{i:\ G\_ i = r}^{}1\{ Y_{i_{\widehat{}}}\ \neq \ Ỹ_{i}\}

其中,新真实标签为原标签的取反翻转:i1YiỸ_{i}\ ≔ \ 1\ - \ Y_{i}

  • 3. 数理结论:对于任何在 LP 优化中具有负拟合权重的群体,我们只需要直接将其样本对应的真实标签进行”0-1 翻转”,同时将拟合权重替换为其绝对值 |αg|\left| \alpha_{g} \right|,即可完美且不发散地使用原有标准线性松弛求解器,极其稳健地解出高维的可行误差域。

12 / PROPOSITION MATRIX第十二章 全景命题对比矩阵表

本章对全书所有核心命题、数理表达形式、推导突破点以及对反歧视政策/规制经济学的核心意义进行一览式全景归纳总结。

命题/定理 数理条件与核心公式 关键推导步骤 规制与现实意义
Theorem 1 几何特征定理 FX=PXF_{X} = P_{X} (组平衡); FX=PXLine(bX,fX)F_{X} = P_{X} \cup \text{Line}\left( b_{X},f_{X} \right) (组偏斜). 构造边界线 kdk_{d}; 反证法证明在平衡时超出 Pareto 前沿的点必被 rXr_{X} 支配; 偏斜时利用凸性证正斜率段不被支配. 组平衡下任何损害双组准确度的所谓”公平”算法在经济学上均属于不可接受的退化.
Prop 1 阈值算法构造 h(x)=Δxb/Δxrh(x) = \Delta_{x}^{b}/\Delta_{x}^{r}; ai=ar*a_{i} = a_{r}^{*} (若 j>ij > i); Ψ={(b,i)}\Psi = \{(b,i)\} 混合. Lagrangian 乘子法极小化 ebλere_{b} - \lambda e_{r}; 通过点点最优控制确定在 h(x)h(x) 处决策翻转的最优阻力值结构. 将高维协变量沿相对边际损失比 h(x)h(x) 排序,仅调节阈值截断点即可扫描出全部公平解.
Prop 2 显式群条件定理 EXE_{X} 是矩形; FXF_{X} 是水平/垂直线段. 由于 𝒜=𝒜r×𝒜b\mathcal{A =}\mathcal{A}_{r} \times \mathcal{A}_{b}, 组误差可独立极小化; 误差集呈现 Minkowski 和性质; 左下顶点 rX=bXr_{X} = b_{X}. 若允许”差别化对待”,则可在弱势组利益零损耗下,通过单一调抬优势组误差实现完美公平.
Prop 3 独立性特例 (a) G(X,Y)FXG\bot\bot(X,Y) \rightarrow F_{X} 唯一点; (b) GYXFXG\bot\bot Y \mid X \rightarrow F_{X} 均为正斜率. (a) 证明任意算法下两组期望误差恒等; (b) 点点最优决策对两组同时达成,使 rX=bXr_{X} = b_{X} 成立. 证实了当群体特征高度对称时,公平-准确折中可能会恶化为没有帕累托权衡的强冲突状态.
Lemma 1 服从设计引理 EX*=EXHE_{X}^{*} = E_{X} \cap H; H={e:arer+abebe0}H = \{ e:a_{r}e_{r} + a_{b}e_{b} \leq e_{0}\}. 引入启示原理,将 obedience constraints 展开; 等价于遵从决策比零信息期望损失 e0e_{0} 更好. 给出了输入规制的可行域边界,约束了监管者无法突破商业代理人的基本利润红线.
Prop 5 禁用组身份 FX,G*>FAFX*F_{X,G}^{*} >_{\text{FA}}F_{X}^{*} 当且仅当 XX 严格组平衡. 利用 Lemma B1; 证明严格组平衡下 FX*F_{X}^{*} 跨越 45 度线,与使用 GG 时的水平 FX,G*F_{X,G}^{*} 绝不相交. 在数学上批判了”群体盲”的反歧视政策,证明禁用组身份在组平衡时会导致公平准确双输.
Prop 6 简单偏好捏合 grgfTX,Gg_{r} \geq g_{f} \rightarrow T_{X,G} 最优; grgfTX,Grg_{r} \leq g_{f} \rightarrow T_{X,G}^{r} (shaded) 最优. 在水平 FX,GF_{X,G} 上极大化 w(e)w(e); 偏导数符号取决于 gfgrg_{f} - g_{r}; TrT^{r} 构造对红组按 β\beta 概率加噪. 对注重公平的设计者而言,最优规制是针对优势群体精准”降噪”,而非一刀切地封锁高价值特征.
Prop 7 相关特征定理 FX,X,G*>FAFX,G*F_{X,X',G}^{*} >_{\text{FA}}F_{X,G}^{*}XX' 具有决策相关性. 由 Lemma B2,XX' 使底层误差底线 ege_{g} 严格下降; 新水平/垂直前沿与旧前沿由于差值变化不相交. 只要能公开组身份 GG,任何高预测价值特征(如标准化考试)均不应被禁用,设计者可完美对冲其不平等.

EMPIRICAL METHODS实证估计中的数理检验与数值松弛方法

除了在理论上给出完美的解析刻画,论文在第五部分通过两个经典数据集——Obermeyer 医疗分配数据与 Strack 糖尿病 readmission 数据——展示了 FA前沿 的可计算性。

1. 检验组偏斜与组平衡的 Bootstrap 非参数推导

如何在有限样本中科学、稳健地检验一个数据集到底属于组偏斜(Skewed)还是组平衡(Balanced)?论文采用了 Auerbach et al. (2024) 的非参数 Bootstrap 样本分割方法:

• 零假设设计 (以检验白人偏斜 w-skewed 为例):

零假设 H0:ewbebbH_{0}:e_{w}^{b} \geq e_{b}^{b} (在最倾向预测黑人 b 的算法下,白人 w 的误差仍不小于黑人误诊率)。对立假设 H1:ewb<ebbH_{1}:e_{w}^{b} < e_{b}^{b} (白人误诊率严格小于黑人)。

• 检验算法步骤:

  1. 样本分割:将总体样本随机划分为训练集(2/3)与测试集(1/3),重复 K=5K = 5 次以消除单次划分偏误。

  2. 模型拟合:在训练集上,分别训练预测算法(如随机森林)使其最小化黑人群体误差,得到 ab(k)a_{b}^{(k)}

  3. 统计量计算:在测试集上评估两组分类误差,计算测试统计量 T̂=ewbebb\widehat{T} = e_{w}^{b} - e_{b}^{b}

  4. Bootstrap 重采样:从测试集的经验分布中进行 Q=10,000Q = 10,000 次有放回的自主重采样,估计 T̂*{\widehat{T}}^{*} 的自举分布。

  5. p值决策:计算单侧自举 p 值。如果 5 次随机划分计算出的 p 值中位数 Median(p)<0.025\text{Median}(p) < 0.025,则在 5% 显著性水平下拒绝零假设,接受偏斜假设。

2. 经验前沿的数值规划与标签翻转(Label Flipping)技巧

由于直接求解 0-1 分类错误率的混合整数线性规划(MILP)属于 NP-Hard 问题,大规模实证拟合在计算上是不可行的。论文采用了 hinge surrogate 损失函数 max{1(2Y1)Xβ,0}max\{ 1 - (2Y - 1)X'\beta,\, 0\} 将其松弛为标准的凸线性规划(LP)。

然而,当我们需要描绘整个可行域(特别是当外法线权重 ar<0a_{r} < 0 变为负数以扫描那些非 Pareto 最优的上边界点时),标准的凸 LP 会因为松弛变量 wiw_{i} 无穷发散而崩溃。为此,论文在 Appendix D.2 中给出了一个极具智慧的标签翻转代换方法:

Appendix D.2:负权重下的”标签翻转”(Label Flipping)代换推导
设组别 r 的拟合权重 ar<0a_{r} < 0。定义新正系数 ãr=ar>0{\widetilde{a}}_{r} = - a_{r} > 0,及对应的新准确率变量 ẽr=1êr{\widetilde{e}}_{r} = 1 - {\widehat{e}}_{r}
原始极小化目标等价于:
minarêr+abêbminãrẽr+abêbãr\min\ a_{r}{\widehat{e}}_{r} + a_{b}{\widehat{e}}_{b}\quad \Leftrightarrow \quad\min\ {\widetilde{a}}_{r}{\widetilde{e}}_{r} + a_{b}{\widehat{e}}_{b} - {\widetilde{a}}_{r}
观察 ẽr{\widetilde{e}}_{r} 的经验均值表达式:
ẽr=1êr=1nri:Gi=r𝟏(Ŷi=Yi)=1nri:Gi=r𝟏(ŶiỸi){\widetilde{e}}_{r} = 1 - {\widehat{e}}_{r} = \frac{1}{n_{r}}\sum_{i:G_{i} = r}^{}\mathbf{1}\left( {\widehat{Y}}_{i} = Y_{i} \right) = \frac{1}{n_{r}}\sum_{i:G_{i} = r}^{}\mathbf{1}\left( {\widehat{Y}}_{i} \neq {\widetilde{Y}}_{i} \right)
where Ỹi=𝟏(Yi=0){\widetilde{Y}}_{i} = \mathbf{1}\left( Y_{i} = 0 \right) 恰好是红组的”翻转真实标签”!
  • 其数理结论极为简洁优雅:当优化问题中的某一组别权重系数变为负数时,研究人员不需要修改任何底层的线性凸松弛算法,而只需将该组别所有样本的真实标签进行二进制 0-1 翻转(Label Flipping),同时将该组别的权重系数替换为其绝对值 |ag|\left| a_{g} \right|,即可原封不动地套用标准的线性规划求解器。这一变量替换法在计算上展示了高超的数据规划技巧。

CONCLUSION结论与微观公共规制启示

Liang, Lu, Mu & Okumura (2026) 这篇里程碑式的文献,通过严密的数学证明和优雅的几何图形,清晰地为社会如何制定负责任的、科学的算法管理法规指明了道路。其政策启示主要体现在以下三个核心方向:

• 彻底反思”算法色盲/群体盲”立法的盲区:

当前世界各国的立法和司法界普遍存在一种根深蒂固的误区,即认为通过绝对剥夺预测模型中的种族、性别、宗教等特征(即强制群体盲目化)就能带来分配公平。本研究通过 Proposition 5 给出了理论批判:一旦数据输入本身在群体间是严格组平衡的,群体盲策略将导致”两败俱伤”——不仅算法的预测精度大幅下滑,群体间的数据歧视和不平等不仅没有被削弱,反而可能恶化。正确的做法是,应允许使用”群体敏感型(Group-aware)“的信息设计机制。

• 重新审视对”决策相关高价值特征”一刀切式禁止的弊端:

本研究所证明的 Proposition 7 从理论上捍卫了高价值增量特征(如高考 standardized 测试分数、肾脏病肾小球过滤率检测等)在系统中的合理地位。一刀切地在招生和诊断模型中禁用这些核心特征,是牺牲整体社会技术福利的拙劣做法。政策制定者完全可以通过”只对优势群体的信号施加精准加噪(TX,GrT_{X,G}^{r} 机制)“这一更为温和、精准的信息捏合机制,在不剥夺全社会共享准确率红利的前提下,达成完美的公平。

• 构建从”算法规制”走向”数据/信息规制”的新框架:

本研究从信息设计(Information Design)的角度证明了,政策制定者完全不需要拥有直接控制商业公司核心决策代码的权力;只要能够制定出精妙的数据采集、授权和传输法规,通过管理输入特征的捏合程度,就已经足够诱导仅追求准确性的商业机构去实现完全合乎社会正支的公平前沿。

综上所述,该论文将博弈论、贝叶斯说服、信息设计与现代人工智能伦理进行了深度重构,为未来世界各国的算法规制法、反数据歧视法案的订立提供了理论指南。

REFERENCES参考文献

1. Liang, Annie, Jay Lu, Xiaosheng Mu, and Kyohei Okumura. (2026). "Algorithm Design: A Fairness-Accuracy Frontier." *Journal of Political Economy*, 134(5), 1401-1467.
2. Auerbach, Eric, Annie Liang, Kyohei Okumura, and Max Tabord-Meehan. (2024). "Testing Fairness-Accuracy Improvability." *Working Paper*.
3. Obermeyer, Ziad, Brian Powers, Christine Vogeli, and Sendhil Mullainathan. (2019). "Dissecting Racial Bias in an Algorithm Used to Manage the Health of Populations." *Science*, 366(6464), 447-453.
4. Kamenica, Emir, and Matthew Gentzkow. (2011). "Bayesian Persuasion." *American Economic Review*, 101(6), 2590-2615.
5. Chouldechova, Alexandra. (2017). "Fair Prediction with Disparate Impact: A Study of Bias in Recidivism Prediction Instruments." *Big Data*, 5(2), 153-163.

论文信息

Liang, Annie, Jay Lu, Xiaosheng Mu, and Kyohei Okumura. 2026. “Algorithm Design: A Fairness-Accuracy Frontier.” Journal of Political Economy 134(5): 1401–1467. DOI: 10.1086/739826.

DISCUSSION · 留言与互动

围绕这篇论文继续讨论

您如何评价《Algorithm Design: A Fairness-Accuracy Frontier》的研究问题、模型设定或管理启示?欢迎留下观点,也可用快捷互动表达阅读感受。

表情图(选填)
0/500

读者留言

正在读取留言…