JOURNAL OF POLITICAL ECONOMY · SEQUENTIAL INFERENCE

Optimal Tests Following Sequential Experiments

序贯实验后的最优检验:高斯扩散极限与充分统计量降维

Karun Adusumilli | Journal of Political Economy 134(9), 2026, 2778–2823

DOI 10.1086/742418 ↗

VIDEO EXPLAINER · 中文视频讲解

序贯实验后的最优检验

9 分 22 秒 · 758×480 压缩视频

AUDIO EXPLAINER · 中文音频讲解

序贯实验后检验

17 分 47 秒 · 压缩音频

序贯实验后的最优检验

——基于高斯扩散极限实验与充分统计量降维的因果推断统一理论

论文原名 Optimal Tests Following Sequential Experiments
论文作者 Karun Adusumilli(University of Pennsylvania,宾夕法尼亚大学)
发表期刊 Journal of Political Economy (JPE), Vol. 134, No. 9, September 2026, pp. 2778–2823
出版信息 Electronically published July 29, 2026; DOI: 10.1086/742418
JEL 分类号 C12(假设检验:一般方法);C14(非参数与半参数方法);C44(运筹学与统计决策理论);C90(实验设计)
核心关键词 序贯实验(Sequential Experiments);自适应实验(Adaptive Experiments);多臂老虎机(Multi-armed Bandits);充分统计量降维(Dimension Reduction);高斯扩散极限(Gaussian Diffusions);一致最大功效检验(UMP Tests);α-支出控制(α-Spending)

【核心结论要点全览】

1. 核心困境:多臂老虎机和自适应临床试验通过动态调整样本分配来最大化实验期内福利(减少患者风险、降低商业损失),但这种内生自适应性打破了传统假设检验的独立同分布前提,导致常规双样本 t 检验的假阳性率从名义 5% 剧增至 35% 以上!

2. 极限等价:Karun Adusumilli 通过局部备择假设 θ0+hn 和扩散渐近理论,证明了任何复杂的有限样本序贯检验均可在由高斯漂移扩散构成的连续时间极限实验中找到功效完全相同的对应检验。

3. 降维突破:事后最优检验无需记录历史数据轨迹,仅需两组固定维度的充分统计量——每个处理臂的采样时间比例(qa 或停时 τ)与最终累积得分/影响函数过程值(xa)。在分批实验中,统计量维度直接从 Hirano & Porter (2023) 的 2dJ+1 坍缩至常数维 2d+2。

4. 完备最优性:论文首次全面刻画了参数与非参数环境下的渐近功效包络(Power Envelope),并在无偏性、加权平均功效以及 α-支出/条件检验水准约束下导出了显式最优检验族。

5. 范式应用:成本敏感型抽样中,最优无偏检验惊人地退化为纯时序检验(停时小于分位数即拒真);分组序贯试验中给出了最优置信区间;多臂老虎机中揭示了分流机制造成的内在非对称功效包络。

一、 全文概述与研究背景

1.1 序贯与自适应实验的广泛兴起与现实需求

近年来,随着互联网平台经济、大数据智能算法以及现代精准医学的迅猛发展,序贯实验(Sequential Experiments)与自适应实验(Adaptive Experiments)在工业界与学术界获得了极为广泛的应用。与传统的固定样本量随机对照试验(Randomized Controlled Trials, RCTs)不同,序贯实验允许实验者在数据收集过程中,根据已经显现的中间结果,动态调整实验决策:

• 互联网广告与推荐系统:在数字营销与流媒体分发中,平台普遍采用多臂老虎机(Multi-armed Bandit)算法(如汤普森采样 Thompson Sampling),实时减少向转化率低下的广告创意分流,最大化点击率与商业变现(Russo et al., 2018)。

• 电商动态定价与收益管理:平台根据前序批次消费者的需求弹性反馈动态调整定价梯度,避免静态定价造成的无谓福利损失(Ferreira, Simchi-Levi, and Wang, 2018)。

• 生物医药与疫苗临床试验:自 2006 年美国食品药品监督管理局(FDA)发起“关键路径倡议”(Critical Path Initiative)以来,监管机构积极鼓励在临床试验中采用分组序贯设计(Group Sequential Designs)。例如在新冠 mRNA 疫苗临床试验中(Baden et al., 2021),一旦中期分析表明药物疗效极为显著或存在不可耐受的毒副作用,试验可立即提前终止,以保护受试者生命安全并加速救命药物上市。

• 高成本科学勘探与公共政策干预:在发展经济学实地干预试验或样本获取成本极高的场景中,实验者必须在“继续采集样本获取额外信息”与“尽早做出采纳决策以节约成本”之间寻求帕累托最优平衡(Kasy and Sautmann, 2021;Adusumilli, 2025a)。

1.2 “实验中福利最大化”与“实验后假设检验”的双重目标冲突

尽管序贯实验的主要设计动机是优化实验过程中的累积福利(Welfare Maximization)或最小化后悔度(Regret Minimization),但在实验执行完毕后,决策者通常不可避免地面临严苛的事后因果推断需求:

1. 监管合规与科学实证:制药企业即便出于人道主义和成本考虑采用了自适应入组规则,FDA 等监管机构仍强制要求提交确证性假设检验结果,证明新药的平均处理效应(Average Treatment Effect, ATE)在统计上严格显著大于零(FDA, 2019)。

2. 商业决策的全局推广风险:互联网企业管理层在全量上线由老虎机算法挑选出的新算法前,必须确证该算法并非由于短期噪声偶然胜出,而是具备稳健的长期正向因果效应。

然而,现存的统计学与计量经济学工具库中,关于序贯实验后如何开展最优假设检验的理论几乎处于空白状态。实验者既不知道应当基于哪些样本统计量进行检验,也不知道何种检验能在控制假阳性率的同时达到最高的统计功效。

1.3 传统统计检验失效的深层数理机理:自适应偏误与第一类错误膨胀

如果对序贯实验的数据简单套用传统固定样本检验方法(如常见的两样本学生氏 t 检验),将会产生灾难性的推断错误。论文在第 II 节通过谷歌分析(Google Analytics)网站转化率优化的经典情境进行了严格的数值模拟证明:

• 模拟设定:设已有旧网站的转化率为已知基准值 θ0=0.05(服从伯努利分布),企业测试未知转化率为 θ 的新网站。实验采用汤普森采样算法(Beta 先验)动态分配流量,预设最大实验总样本量 n 从 2,500 变化至 10,000。实验结束时检验零均值处理效应:H0:θ=θ0 对抗 H1:θ≠θ0。

ϕt(x‾n)≔𝕀{n(x‾n−θ0)σ0≥1.96}

模拟结果显示,名义显著性水平设定为 5%(α=0.05)的朴素 t 检验,在原假设为真时的实际第一类错误(拒真概率)高达约 35%!

【机理剖析】:自适应分流算法会根据历史均值动态调整流量。当新版本在初期由于随机抽样波动偶然出现略低于 θ0 的样本均值时,算法会迅速惩罚性地下调该版本的流量配比。这意味着该劣质信号在后续试验中缺乏足够的样本量来进行“均值回归”,使得实验终止时的标准化样本均值系统性偏负。这种采样历史的内生相关性彻底粉碎了样本的独立同分布(i.i.d.)假定,导致 t 统计量发生严重的非对称左偏,使得双尾拒绝域被大量错误触发。

1.4 现有文献的瓶颈梳理与对比

在 Adusumilli (2026) 之前,学术界针对自适应实验的事后推断主要进行了以下探索,但均未解决最优性问题:

1. 随时有效推断(Anytime-Valid Inference):以 Ramdas et al. (2023)、Howard et al. (2021)、Johari et al. (2022) 为代表,基于鞅论和超鞅测度,构造在任何未知、任意停止时刻均有效的置信序列。然而,这种无条件的时间一致性要求过于苛刻,是以牺牲巨大的检验功效为代价的,导致实验极难检测出细微但具有实际价值的处理效应。

2. 倾向得分逆概率加权法(Reweighted Estimators):Zhang, Janson, and Murphy (2020) 与 Hadad et al. (2021) 尝试通过对观测值赋予自适应逆倾向得分权重来消除均值偏差,建立渐近正态检验。然而,这种加权方法人为放大了估计方差,在任何具体场景下均非最优检验。

3. 分批自适应渐近表示理论:Hirano and Porter (2023) 开创性地将极限表示定理引入分批序贯实验。但其局限在于:充分统计量维度随批次 J 呈线性增长(高达 2dJ+1 维),未能实现维度约简,且仅讨论了参数模型,未给出一致最大功效或无偏检验的具体结构。

二、 论文的核心理论贡献

Karun Adusumilli 在本篇 JPE 论文中,突破了长期困扰序贯推断领域的“路径依赖”与“非正态性”屏障,建立了一套完备、优美且极具操作性的序贯实验事后最优检验理论体系,其核心学术贡献可归结为以下五个维度:

2.1 创立高斯扩散极限实验的渐近等价表示理论

针对自适应实验中样本量不确定、分流比例动态变动的非平稳特性,作者引入了局部平移备择假设(Pitman Local Alternatives, θ0+hn)与扩散渐近(Diffusion Asymptotics)分析方法。论文在测度论和经验过程框架下严格证明了:任意有限样本序贯实验(包括停时完全自适应的连续监测实验和分批调整实验)中候选检验的渐近功效函数,必然能够在由高斯布朗漂移扩散过程构成的连续时间极限实验中找到功效完全相同的对应检验。这一等价性定理将极为复杂离散的有限样本动态博弈,精炼映射为一个优雅可解的布朗运动控制与漂移推断问题。

2.2 颠覆性的统计量维度约简:充分统计量有限化

在经典非序贯统计中,费雪因子分解定理是降维的核心基石。然而在序贯实验中,由于停止时间和采样决策内生依赖于全部历史轨迹,费雪因子分解定理失效,整个历史路径直觉上似乎都是推断所必需的(无限维对象)。

本文做出了颠覆性的重大理论突破:利用序贯局部渐近正态性(SLAN)下的对数似然比鞅性质,结合扩展的勒卡姆第三引理(Le Cam's Third Lemma)与测度变换技术,论文证明了在原假设测度下进行条件期望投影后:

• 在停时实验中,检验仅需依赖标量停时 τ 与最终标准化得分 x(τ) 两个变量;

• 在分批多臂自适应实验中,检验仅需依赖各处理臂的最终样本时间份额 qa 与最终累积得分向量 xa;

• 在两处理臂分批实验中,检验所必需的统计量维度从 Hirano and Porter (2023) 随批次 J 线性膨胀的 2dJ+1 维,断崖式暴跌至与批次数完全无关的常数 2d+2 维(或 2d+1 维)。这不仅为理论推导扫清了维度诅咒,更在工业界工程实践中免去了存储千万级细粒度用户行为时序日志的沉重负担。

2.3 严密刻画渐近功效包络与最优检验族

论文首次系统导出了序贯自适应实验在局部备择假设下的“渐近功效包络”(Asymptotic Power Envelope),即任何合法显著性水平 α 的检验所能达到的理论功效绝对天花板。在此基础上,论文针对不同的实践约束条件,给出了显式的最优检验构造:

• 点备择假设:由奈曼-皮尔逊引理直接推导一致最大功效(UMP)检验;

• 线性组合假设:在单侧检验中构造出消除冗余干扰的标量 UMP 检验;

• 无偏性约束(Unbiasedness):证明了任何无偏检验必须与终止得分过程保持正交(E0(x(τ)ϕ)=0),并由此导出一致最大功效无偏(UMPU)检验;

• 加权平均功效(Weighted Average Power):在双侧复杂备择集上,基于局部先验权重函数给出了一体化积分显式最优解;

• 临床 α-支出约束(α-Spending)与条件水准:为多阶段临床试验量身定制了满足各阶段错误支出预算的分段阈值最优检验。

2.4 从参数模型向非参数正则泛函的统一推广

以往关于自适应推断的研究几乎全部依赖特定的参数分布假定(如正态分布或伯努利分布)。Adusumilli 运用泛函分析、半参数有效影响函数(Efficient Influence Function, EIF)与希尔伯特切空间(Tangent Space)理论,将全部渐近表示定理与最优检验结果完整推广至非参数环境。涵盖了总体均值、中位数、分位数等任意平滑标量正则泛函,使得该理论能够直接应用于具有厚尾、长尾、双峰或未知偏态的真实复杂商业与医疗数据中。

2.5 三大经典应用场景的最优解构与实证落地

论文并非停留于抽象数学定理,而是将理论体系彻底扎根于三大核心实践领域:

1. 成本敏感型抽样(Costly Sampling):证明在瓦尔德水平边界设计下,最优无偏检验完全退化为“纯时序检验”——仅凭实验是否快速提前终止即可做出最优决断!

2. 分组序贯临床试验(Group Sequential Trials):在经典的 O'Brien-Fleming 设计下构造了超越传统偏序经验排序的最优置信区间,填补了长期以来的医学统计空白。

3. 互联网多臂老虎机(Multi-armed Bandits):完整揭示了汤普森采样算法导致的非对称功效包络成因,并验证了基于有限样本代入统计量的高精度收敛性。

三、 核心概念、定义与模型符号体系

为确保数学逻辑的严谨性与前后呼应,本节对全文涉及的关键概念、测度论定义与模型符号进行系统梳理与标准化界定,所有符号与公式均采用原生数学架构表达。

3.1 实验观测数据与自适应停时系统

• 观测变量 Yi∈ℝk:在实验各阶段观测到的多维或标量结果变量。若实验包含外生协变量 Xi(如情境老虎机 Contextual Bandit 中患者的年龄、基础疾病),则可将 Yi 扩展定义为 Yi=(Zi,Xi⊤)⊤。

• 标度样本量 n 与双重视角渐近:

- 容量上限渐近(Maximal Sample Size):在有预设最大容量限制的实验中(如商业 A/B 测试、多批次老虎机),n 代表最大允许测试的总用户数,实际停时以 n 的比例计量,τ̂∈[0,1]。

- 小成本渐近(Small-Cost Asymptotics):在开放式连续抽样实验中(如深海勘探或昂贵新药研发),单位抽样边际成本为 c,随着成本趋于零 c→0,样本量以 n=c−2/3 为自然度量单位(Adusumilli, 2025a),从而保证经验停时的极限分布非平凡地收敛(既不退化至 0,也不发散至无穷大)。

• 经验停时 τ̂ 与信息流 ℱt:停时 τ̂ 必须严格适应于由历史观测数据生成的自然 σ-代数流 ℱt=σ(Y1,...,Y⌊nt⌋,U),其中 U∼Uniform[0,1] 为外生随机化变量。

• 分批实验分流规则 π̂j(a):在分批实验中,整个实验被划分为 J 个连续批次,每批包含 n 个观测单位。π̂j(a) 表示在第 j 批中分配给处理臂 a∈{0,1} 的样本份额,满足 ∑aπ̂j(a)≤1(可提前终止抽样),且该分配决策只能基于前 j−1 批的全部历史数据做出。

3.2 局部备择假设(Pitman Local Alternatives)

在假设检验中,若固定备择假设下的参数 θ≠θ0,随着样本量 n→∞,任何一致检验的拒绝概率都会平庸地收敛至 1,无法对不同的候选检验进行优劣细分。因此,本文遵循现代计量经济学经典范式(van der Vaart, 2000, 第 14 章),引入以 1n 速率收敛向原假设的局部扰动备择假设:

{θ0+hn:h∈ℝd}

其中 h 为局部漂移向量。这精确模拟了真实商业场景中新旧版本之间往往仅存在微小差异(通常转化率差异在 1% 以内)的实际情况,从而能够严密比较不同统计检验在面对微弱真实信号时的鉴别功效。

3.3 均方可微性(QMD)、得分过程与序贯局部渐近正态性(SLAN)

• 假设 1(均方可微性, Quadratic Mean Differentiability):设 ν 为分布族 {Pθ} 的主导测度,pθ=dPθdν。要求存在均值为零的得分函数 ψ(⋅) 使得:

∫[pθ0+h−pθ0−12h⊤ψpθ0]2dν=o(∥h∥2)

该假设非常平和,正态分布、柯西分布、泊松分布、伯努利分布等绝大多数指数族和经济学常用分布均严格成立。费雪信息矩阵定义为 I=Eθ0[ψ(Y)ψ(Y)⊤],为对称正定矩阵。

• 标准化得分过程 xn(t):以标准化方式累加各阶段的得分函数:

xn(t)=I−1/21n∑i=1⌊nt⌋ψ(Yi)

• 序贯局部渐近正态性(SLAN):均方可微性直接保证了对数似然比过程在原假设测度下具有关于得分过程与时间的均方一致二次展开:

∑i=1⌊nt⌋lndpθ0+h/ndpθ0(Yi)=h⊤I1/2xn(t)−t2h⊤Ih+oPnT,0(1)

3.4 极限高斯漂移扩散实验(Gaussian Diffusion Limit Experiment)

由泛函中心极限定理(FCLT),在原假设 h=0 下,标准化得分过程弱收敛至 d 维标准布朗运动 W(⋅)。在局部备择假设 h 下,由吉尔萨诺夫测度变换定理(Girsanov Theorem),极限过程表现为一个带有确定性线性漂移的高斯扩散过程:

x(t)≔I1/2ht+W(t),t∈[0,T]

决策者在极限实验中观测到停时 τ 与停止时刻的高斯扩散状态 x(τ)。整个原序贯实验的统计推断问题,从而被等价重构为利用终止状态 (τ,x(τ)) 来检验布朗运动的未知漂移参数 h。

3.5 非参数正则泛函、希尔伯特切空间与有效影响函数(EIF)

当数据生成分布 P 形式未知时,研究目标通常是推断标量正则泛函 μ=μ(P)(例如期望均值、中位数或因果处理效应):

• 希尔伯特切空间 T(P0):围绕基准分布 P0 的平滑一维参数子模型 {Ps,h} 的对数似然导数集合,是 L2(P0) 空间的闭子空间,内积为 ⟨f,g⟩=EP0[fg],范数为 ∥f∥=(EP0[f2])1/2。

• 有效影响函数 ψ∈T(P0):满足正则泛函路径可微性:μ(Ps,h)−μ(P0)s−⟨ψ,h⟩=o(s)。方差标量记为 σ2=EP0[ψ2]。

• 非参数影响函数过程:以 ψ(Yi) 替代经典参数得分,定义非参数标准化过程:xn(t)=1σn∑i=1⌊nt⌋ψ(Yi)。

3.6 分批序贯实验降维统计量 (qa, xa)

在多处理臂(a∈{0,1})、分批 J 进行的复杂实验中,定义每个处理臂的两类核心汇总标量:

• 累计分配时间份额 qa≔∑j=1Jπj(a):反映算法向处理臂 a 分流的总体时间力度;

• 累计标准化得分向量 xa≔∑j=1Jzj(a)(πj(a)):反映处理臂 a 在其被分流期间所积累的全部有效证据;

极限实验中,各臂的累积得分满足独立的受控布朗运动:xa∼Ia1/2haqa+Wa(qa)。

3.7 检验性能评估指标与漂移原假设(Drifting Null)构建

• 检验函数 ϕ∈[0,1]:拒绝原假设的决策规则;有限样本功效函数记为 βn(h)=EnT,h[ϕn]。

• 渐近显著性水平 α:要求在原假设 h=0 下,limsup(n→∞)βn(0)≤α。

• 无偏性约束(Unbiasedness):要求在任意备择假设下,拒真概率不低于显著性水平,即对所有 h≠0,均有 β(h)≥α。

• 漂移原假设(Drifting Null Formulation):在老虎机等非对称实验中,若原假设设在极端劣势点(如 θ‾<0.05),算法会导致新版本完全得不到分流,停时退化至 0。为此,必须将原假设围绕非退化参比点 θ0 构造为漂移序列 H0:θ=θ0+n−1/2h0,其中校准局部常数为 h0=n(θ‾−θ0),以保障渐近推断的非退化性。

四、 理论定理、命题与引理的逐一精解与具象化案例

本节对论文中的全部核心定理(Theorems)、命题(Propositions)与引理(Lemmas)进行逐一深度解析。根据学术规范与指令要求,正文完全省略复杂的测度论与鞅论证明推导过程,重点聚焦于其严密的数理逻辑表达、统计学直觉阐释,并通过现代科技互联网、医药临床试验、数字金融等真实商业管理中的生动案例进行具象化解释。所有数学符号与统计公式均基于 Word 原生公式架构构建。

4.1 定理 1(Theorem 1):停时实验的渐近表示定理(参数模型)

【理论阐述】:假设均方可微性(假设 1)与停时一致弱收敛性(假设 2)成立。设 ϕn 为基于样本 (Y1,...,Y⌊nτ̂⌋) 构建的任意候选检验序列,βn(h) 为其在局部备择假设 PnT,h 下的功效。则:

1. (Le Cam 1979)存在极限实验中适应于信息流 ℱt 的停时 τ,使得样本统计量对弱收敛:(τ̂,xn(τ̂))→d(τ,x(τ))。

2. (Adusumilli 2026 核心突破)若 βn(h) 逐点收敛,则在极限高斯扩散实验中,必然存在仅依赖于最终停时 τ 与最终得分 x(τ) 的检验函数 ϕ(τ,x(τ)),使得对任意局部备择参数 h∈ℝd,有限样本功效均收敛于极限功效:βn(h)→β(h)≔Eh[ϕ(τ,x(τ))]。

定理 1 的对数似然比投影关系式:lndPnτ̂,hdPnτ̂,0(Ynτ̂)→dh⊤I1/2x(τ)−τ2h⊤Ih

【具象化案例 1:短视频平台推荐引擎的自适应提前停止实验】

• 业务背景:某千万级短视频 App 研发了一套深度强化学习预加载模型,衡量核心指标为用户人均停留时长 θ(基准旧版本为 θ0=60 分钟)。为了防止新算法发生灾难性故障,数据科学团队设定了动态监控规则:每采集 500 名用户就自动重新计算均值,一旦发现留存率暴跌或新模型表现超出预期阈值,算法立即提前终止测试(停止时间 τ̂ 是高度数据驱动的随机变量)。

• 定理内涵对应:在过去,数据工程师认为要想在实验终止后严格检验新模型是否真的显著优于 60 分钟,必须将数万名用户在每一个时间片刻的跳出微观流水全部保存下来进行时空联合建模。定理 1 给出了颠覆性的结论:事后最优假设检验完全不需要回溯全量流式轨迹,它仅仅需要两个数字——实验最终运行了多久才停下来(τ̂)以及停机那一刻所有已测试用户的标准化留存总得分(xn(τ̂))。基于这两个指标设计的检验,其统计鉴别力完全等价于调取全量千万级时序数据所能做出的最好检验。

4.2 命题 1(Proposition 1):线性组合参数的一致最大功效检验(UMP Test)

【理论阐述】:当参数为向量 θ∈ℝd 时,研究者通常只关心其某一特定标量线性组合 a⊤θ(例如原假设 H0:a⊤θ=0 对抗 H1:a⊤h=c>0)。定义一维有效方差标量 σ2=a⊤I−1a 及投影标量布朗运动 x̃(t)=σ−1a⊤I−1/2x(t)。若极限停时 τ 仅适应于标量历史流 ℱ̃t=σ(x̃(s),U1;s≤t),则在极限实验中存在全局唯一的一致最大功效(UMP)检验:

ϕ*c(τ,x̃(τ))=𝕀{cx̃(τ)−c22στ>γc}

其实际有限样本检验功效序列上界严格受制于理论功效包络:limsup(n→∞)βn(h)≤β*(a⊤h)。

【具象化案例 2:电商平台“折扣让利与包邮门槛”复合营销策略的单侧最优鉴别】

• 业务背景:某电商巨头同时测试“商品直接打折力度 θ1”与“降低包邮门槛补贴 θ2”(参数为二维向量 θ=(θ1,θ2)⊤)。财务与运营部门最为关心的核心指标不是单个参数,而是综合单位净利润的线性提升指标 a⊤θ=θ1−0.4θ2 是否显著大于零。实验监控系统也是基于此净利润指标的表现来触发自动停机。

• 命题内涵对应:即使打折与包邮对销量的拉动机制各不相同且具有复杂的二维相关性,命题 1 指出,研究者根本不需要解高维多元检验,只需要将复合净利润标准化得分 x̃(τ) 扣除时间惩罚项 c22στ,与通过模拟算出的临界值 γc 比较,就能构建出全行业理论上功效最强的单侧 UMP 检验。在严格控制 5% 误判率的同时,以最大概率检测出真能盈利的营销方案。

4.3 命题 2(Proposition 2):极限实验中无偏检验的正交性充要条件

【理论阐述】:针对双侧原假设 H0:h=0 对抗 H1:h≠0,若一个显著性水平为 α 的检验被称为无偏检验(Unbiased Test),则其在任意备择假设下的功效必须不低于显著性水平(β(h)≥α)。命题 2 指出,在极限扩散实验中,任何无偏检验必须在原假设测度 P0 下严格满足与终止得分的一阶正交性约束:

E0[x(τ)ϕ(τ,x(τ))]=0

此时最优无偏检验可通过求解带正交约束的变分优化问题得到:maxϕEh[ϕ] 满足 E0[ϕ]≤α 且 E0[x(τ)ϕ]=0。

【具象化案例 3:量化金融高频做市策略的双向无偏异常熔断审计】

• 业务背景:一家量化私募测试新型自动化做市算法,原假设是该算法对买卖价差收益率 θ 无显著影响(无系统性套利),备择假设是产生统计异常(θ≠0,不论是产生暴利还是产生异常滑点亏损)。由于高频系统内嵌了止损和止盈的自动停机熔断,实验采样过程高度内生。

• 命题内涵对应:无偏性要求审计检验绝不能出现“当算法实际产生微弱正收益时,拒绝无异常原假设的概率竟然比完全无套利时还要低”的逻辑倒错。命题 2 揭示了无偏检验的底层数学铁律:在基准常态下,检验的拒绝行为必须与最终的收益得分完全解耦(协方差为零)。这为设计绝对公平、杜绝方向性偏袒的金融监管审计规则奠定了理论基石。

4.4 定理 2(Theorem 2):α-支出与条件检验水准下的渐近表示定理

【理论阐述】:在多阶段离散序贯试验中,停时取离散值 t∈{1,2,...,T}。决策者预设一个 α-支出向量 α=(α1,...,αT),满足 ∑t=1Tαt=α,要求每一阶段消耗的第一类错误受控:EnT,0[𝕀{τ̂=t}ϕn]≤αt。定理 2 证明,在此严苛约束下,有限样本条件功效 βn(h|t) 依然能够完全收敛至高斯极限实验中的条件功效 Eh[ϕ(τ,x(τ))|τ=t]。

基于定理 2,论文进一步推导了两个具有极高实用价值的最优检验结构:

• 推论 1(UMP-α 最优单侧检验):针对 H0:h=0 对抗 H1:h=h1,各阶段最优单侧检验直接呈现为条件阈值规则:

ϕ*h1(t,x(t))={1(若P0(τ=t)≤αt);𝕀{h1⊤I1/2x(t)>γ(t)}(若P0(τ=t)>αt)}

• 推论 2(各阶段条件无偏双侧检验):施加条件无偏约束 E0[x(t)(ϕ−α)|τ=t]=0,则最优双侧检验在各阶段表现为非对称双侧拒绝域:

ϕ*̌(t,x̃(t))={1(若P0(τ=t)≤αt);𝕀{x̃(t)∉[γL(t),γU(t)]}(若P0(τ=t)>αt)}

【具象化案例 4:创新抗癌靶向药三期临床试验的分期中期审批】

• 业务背景:某制药巨头开展重磅抗癌新药的 III 期临床试验,预设 3 个评估阶段(T=3),总假阳性率严格锁死在 5%(α=0.05)。为兼顾早期神药加速获批与平庸药物尽早止损,监管部门批准的 α-支出计划为:第一阶段消耗 α1=0.001(门槛极严苛),第二阶段 α2=0.014,第三阶段 α3=0.035。

• 定理内涵对应:定理 2 及其推论向临床申办方证明:根本不需要担心跨阶段自适应分析会造成多重比较的“概率污染”。只要在方案中预先锚定 αt 额度,无论患者在各阶段以何种复杂速度入组或中途脱落,各阶段的最优检验都表现为一个清晰明了的分段临界值 γ(t)。只要累积疗效得分跨过了该阶段的阈值,就可以立即向 FDA 申请批准上市,且整个临床研发周期的总审评风险严格守住了 5% 的红线。

4.5 命题 3(Proposition 3):非参数单样本正则泛函检验的渐近功效包络

【理论阐述】:在非参数设定下(假设 3 成立),研究未知分布的标量泛函 μ(P)(原假设 H0:μ=0)。若停时是有效影响函数过程 xn(⋅) 的连续泛函(τ̂=gn(xn(⋅))),则任何渐近水平 α 的非参数检验在局部备择假设下的功效上界,完全等价于高斯极限实验中的最优奈曼-皮尔逊功效 β*(η):

ϕ*η(τ,x(τ))=𝕀{ησx(τ)−η22σ2τ>γ}

其中标度参数 η=δ⟨ψ,h⟩≈nμ(P)。该命题确立了未知分布假设下不可逾越的绝对统计鉴别力极限。

【具象化案例 5:重度偏态、极端长尾的手游大 R 玩家付费优化实验】

• 业务背景:某大型开放世界手游测试新的抽卡与限定皮肤机制,评估指标为全服玩家人均充值额(ARPU)μ。众所周知,手游付费分布极端不符合正态分布——95% 的零氪玩家充值为 0,而 0.1% 的“超级大 R(鲸鱼玩家)”单笔充值数万,方差极大且具有极其严重的厚尾特征。

• 命题内涵对应:研究团队无需强行假设充值金额服从帕累托或对数正态分布。命题 3 指出,通过使用影响函数转化后的累积和替代朴素算术平均值,我们能够精准描绘出在这一极端长尾数据下,任何非参数统计检验所能达到的最高功效天花板。如果某套自研检验算法宣称功效超过了该包络线,必然是在假阳性率上发生了隐性造假。

4.6 命题 4(Proposition 4):非参数模型下的最优无偏检验

【理论阐述】:在非参数框架下,针对双侧原假设 H0:μ=0 对抗 H1:μ≠0,若要求检验对切空间 T(P0) 内的所有局部子模型扰动均保持渐近无偏(即功效恒大于等于 α),则该检验的局部渐近功效严格以极限无偏最优检验 ϕ*̌ 的功效 β*̌(η) 为上界,且该检验在极限下同样严格满足正交性约束 E0[x(τ)ϕ*̌]=0。

【具象化案例 6:重工业园区地下水污染指标的自适应环保在线监控】

• 业务背景:生态环境局对某大型化工园区排污口地下水的多环芳烃浓度中位数 μ 建立自动化动态采样井。若检测到指标发生轻度恶化,系统自动加密采样频率;若水质清洁则延长监测间隔。企业与监管方共同要求:双侧检验必须绝对无偏,既不能因自适应加密抽检而冤枉合规企业,也不能放过违规偷排者。

• 命题内涵对应:即使化工污染物的真实化学扩散分布完全未知且极难参数化,命题 4 保证了可以通过经验影响函数构造出在非参数环境下兼顾动态抽检与双向公平的最优无偏检验,且该检验在查获违规排放上具有理论最大命中率。

4.7 命题 5(Proposition 5):非参数加权平均功效最优检验与乘积可分先验

【理论阐述】:在非参数切空间 T(P0) 上,将扰动正交分解为主效应与冗余分量 h=(⟨ψ/σ,h⟩)ψ/σ+h̃。引入乘积可分先验分布 m(⋅)=w(η)×ρ(h̃),其中 w(η) 为目标参数 η 的先验分布,ρ 为无穷维冗余干扰的先验。命题 5 证明,冗余参数对大样本功效毫无干扰,最大化加权平均功效的最优非参数检验为:

ϕ*w(τ,x(τ))=𝕀{∫exp(ησx(τ)−η22σ2τ)dw(η)>γ}

【具象化案例 7:跨境电商全球新结算页面的转化率商业加权综合评估】

• 业务背景:某跨境电商巨头在全球 30 个国家自适应测试新版购物车结算页面。管理层根据十年行业实战经验判定,新版本带来的真实订单转化率提升 η 极大概率落在 [0.2%, 1.5%] 这个狭窄但高价值的商业区间内(赋予均匀先验 w),而各国消费者的网络设备差异、支付习惯偏好构成了复杂的非参数背景噪声(对应高维冗余参数 h̃)。

• 命题内涵对应:数据科学家无需耗费算力去对数十个国家的无穷维异质性进行联合建模。命题 5 从数理上证明,直接将全部精力聚焦于对商业核心增量区间 w(η) 进行积分,就能构造出一个能把所有统计鉴别力集中在“高概率盈利区间”的最优加权检验,取得最优的实际商业收益回报。

4.8 命题 6(Proposition 6):非参数两样本处理效应差异的最优检验

【理论阐述】:在包含两组处理臂(a∈{0,1})的非参数实验中,处理组分配比例为固定常数 π。令 ψa 为各组正则泛函的有效影响函数,方差为 σa2。构造两样本差异化有效影响函数过程:

xn(t)≔1σ(1πn∑i=1⌊nπt⌋ψ1(Yi(1))−1(1−π)n∑i=1⌊n(1−π)t⌋ψ0(Yi(0)))

其中等效联合标准差 σ=σ12π+σ021−π。命题 6 证明,针对处理效应差异 H0:μ1−μ0=0,任何渐近水平 α 检验的功效上界完全受制于标量极限定理中的最优单维高斯包络 β*(η)。

【具象化案例 8:双盲抗肿瘤创新药与标准疗法的非等比采集中期检验】

• 业务背景:在新一代免疫检查点抑制剂(组 1)对比标准放化疗(组 0)的临床试验中,为了让更多危重患者接受前沿治疗,试验采用了奈曼最优配比抽样(π1*=σ1σ1σ0≠0.5),且临床终点生存期呈现非参数右偏特征。

• 命题内涵对应:虽然两组入组人数完全不同且数据分布未知,命题 6 指出,只需按照两组样本量倒数进行影响函数加权对消,即可将两路复杂数据流提纯压缩为一条单一的一维高斯扩散轨迹 xn(t)。针对处理效应差值的假设检验,能够以极其优美的形式完全复用单样本最优检验的全部理论。

4.9 定理 3(Theorem 3):分批序贯实验的渐近表示定理(维度暴跌)

【理论阐述】:在多臂(以 K=2 为例)、分 J 批执行的自适应实验中,决策者在每批动态调节分流比例 π̂j(a)。定理 3 证明:

1. 有限样本实验中各批次的分流决策与观测过程序列,弱收敛于极限受控布朗运动实验;

2. (降维核心定理)任意候选检验 ϕn 的极限功效,在极限实验中**仅仅依赖于 2d+2 维统计量**:各处理臂的最终时间份额 qa 与最终累积得分 xa(若固定总样本量则进一步降至 2d+1 维)。这从本质上打破了 Hirano and Porter (2023) 中状态变量随批次线性爆炸至 2dJ+1 维的技术瓶颈。

ϕ*h‾=𝕀{∑a∈{0,1}(h‾a⊤Ia1/2xa−qa2h‾a⊤Iah‾a)>γh‾}

【具象化案例 9:在线教育平台个性化教学路径分批分流试验】

• 业务背景:某在线教育平台开展为期 10 周(J=10 批)的自适应教学实验,动态比对两套自适应出题算法 A 与 B。每周日晚,算法根据过去一周数万名学生的做题正确率与知识点掌握度,重新计算胜率并动态上调优胜算法的分流比例。

• 定理内涵对应:按照传统理论,要在第 10 周结束时做因果显著性检验,数据系统必须把前 9 周每周分别给 A、B 分了多少学生、每周各自产生多少得分等 20 多个中间状态全部送入检验模型。定理 3 证明,中间 9 周的离散动态轨迹全是多余噪音!统计学家只需要知道:整整 10 周下来,算法 A 一共分走了百分之多少的总时间(q1)、算法 B 分走了百分之多少(q0),以及 A 和 B 最终的总累积得分(x1,x0)。仅凭这 4 个最终汇总数字,就能构造出百分之百不损失任何大样本信息的最优假设检验!

4.10 命题 7(Proposition 7):分批多臂实验中无偏检验的正交性约束

【理论阐述】:在分批多臂自适应实验中,检验函数形式为 ϕ(q1,q0,x1,x0)。若该检验对于原假设 H0:h=0 对抗 H1:h≠0 是渐近无偏的,则必须对每一个处理臂 a∈{0,1},分别在原假设下满足一阶正交约束:

E0[xaϕ(q1,q0,x1,x0)]=0,∖quad∀a∈{0,1}

【具象化案例 10:互联网数字银行多套反欺诈风控模型分批竞技】

• 业务背景:互联网银行分批次测试两套反洗钱风控规则 A 和 B。由于信贷审批策略会根据违约反馈动态调整分流比例,无偏检验必须保证:无论哪套模型在初期展现出优势,最终裁决绝不能对任何一个模型产生系统性包庇或过度苛责。

• 命题内涵对应:命题 7 指明,在多臂交互场景下,无偏检验的正交性约束必须在处理臂之间“逐一解耦独立满足”。只要规则 A 和规则 B 的累积得分与拒绝决策在原假设下均不相关,就能从数学上根除因动态分流偏好引发的算法歧视与评估偏倚。

4.11 命题 8(Proposition 8):分批非参数多臂实验的功效包络

【理论阐述】:在分批非参数设定下,若采样规则仅依赖于当前的状态变量 sn(j)=(q1̂(j),q0̂(j),x1̂(j),x0̂(j))(绝大多数流行算法如汤普森采样均严格满足此条件),则针对原假设 H0:(μ1,μ0)=(0,0),由奈曼-皮尔逊引理导出的极限检验:

ϕη‾1,η‾0=𝕀{∑a∈{0,1}(η‾aσaxa−qa2σa2η‾a2)≥γη‾1,η‾0}

构成了不可突破的非参数渐近功效包络 β*(η‾1,η‾0)。

【具象化案例 11:社交电商拼团裂变发券算法的综合非参数评估】

• 业务背景:电商平台测试两套社交裂变算法,用户裂变人数与消费金额呈现高度非线性的零膨胀混合分布。运营团队按周分批调整两套算法的分发权重。

• 命题内涵对应:命题 8 为这类业务场景中检验两套算法是否均无实质效果设立了理论上限。它向管理层客观量化了自适应分批算法所能提供的最高置信证据水平。

4.12 引理 1(Lemma 1):水平边界设计(成本抽样)下的 UMP 渐近无偏检验

【理论阐述】:在数据采集存在昂贵边际成本的实验中(Adusumilli, 2025a),决策者遵循奈曼分配比例抽样,并在累积均值差异突破水平边界时立即终止实验:τ̂=inf{t:|xn(t)|≥γ}。针对双侧原假设 H0:μ1=μ0 对抗 H1:μ1≠μ0,一致最大功效渐近无偏(UMP Asymptotically Unbiased)检验具有极度惊艳且反直觉的纯时序形式:

ϕ̂=𝕀{τ̂≤F0−1(α)}

即:**检验统计量完全不需要观察最终的样本均值是多少,只需要观察实验停止得够不够早!当且仅当实际停时 τ̂ 小于原假设下停时分布的 α 分位数时,拒绝原假设**。

【具象化案例 12:深海高风险油气钻探新型助推剂测试——“停时即统计量”】

• 业务背景:某跨国石油巨头在南海深海油田测试新型钻井提速助推剂,每钻探一天的海上作业成本高达数千万元(典型的高成本敏感型抽样)。工程规范设定了瓦尔德水平边界:一旦两口试验井的累积出砂或钻速差异达到预设阈值 γ,立刻紧急终止测试以控制试错成本。

• 引理内涵对应:项目总工程师在停机后,完全不需要再把最终钻速做复杂的数据拟合或计算差值均值。引理 1 揭示了一个极其震撼且实用的管理准则:【停时本身就是最完美的充分统计量】!如果新型助推剂真的威力巨大,它会以极高速度迅速冲破边界,在短短几天内就迫使实验早停;而如果两种助推剂毫无差异,数据就会在边界内缓慢游走很长时间。因此,只要实验“异乎寻常地迅速触发早停”(停机耗时短于常态下的 5% 时间阈值),就可以 95% 的把握断定新助推剂取得显著成功!

五、 序贯实验在三大领域的应用范式与数值模拟剖析

论文在第 VI 节将前述通用的渐近理论体系具象化到三类最具代表性的序贯实验范式中,并通过严格的蒙特卡洛(Monte Carlo)数值模拟验证了有限样本下的优异表现:

5.1 成本敏感型抽样与广义瓦尔德问题(Costly Sampling & Horizontal Boundary Designs)

• 机制特征:抽样伴随显性的单位边际成本 c。Adusumilli (2025a) 证明,最小化最大后悔度(Minimax Regret)的最优策略是采用奈曼分配比例抽样(π1*=σ1σ1σ0),并在差异得分达到水平边界时停止(τ̂=inf{t:|xn(t)|≥γ})。这在数学上等价于经典的瓦尔德序贯概率比检验(SPRT)与生物统计中的全序贯线性边界设计(Whitehead, 1997)。

• 传统推断失效:在停机时刻,样本差值恰好固定在边界 γ 附近。如果直接套用固定样本均值检验,由于停时的内生过滤效应,名义 5% 水准的双样本检验其实际假阳性率接近 9%,造成严重推断失效。

• 本文检验与数值验证:应用引理 1 的最优无偏检验 ϕ̂=𝕀{τ̂≤F0−1(α)}。在误差服从 3×Uniform[−1,1] 的非正态模拟中,模拟结果(图 2A、2B)表明:即使在中小样本量下,本文检验的第一类错误完美贴合名义 5% 水平,且其实际功效曲线高度逼近理论渐近无偏功效包络线。

5.2 临床试验与 O'Brien-Fleming 分组序贯设计(Group Sequential Trials)

• 机制特征:在医学临床实践中,频繁连续监控不可行,通常采用预设阶段的离散中期分析(如著名的 O'Brien and Fleming 1979 设计,在临床广泛用于心脏病和疫苗试验)。设 T=2 阶段,第一阶段接受域为 I1=[−2.797,2.797]。

• 传统推断瓶颈:以往构建置信区间的方法依赖于在二维空间 ({1,...,T},ℝ) 上主观指定偏序规则(Wassmer and Brannath, 2016),学界长期不存在何种排序最优的共识。

• 本文检验与数值验证:通过反演定理 2 中的 UMP-α 最优单侧检验(公式 26),直接构建了具备理论最优性保证的置信区间。模拟表明(图 3A、3B),尽管阶段阈值会随局部漂移参数 η0 产生非平平凡交叉,但在名义 α 支出预算下,有限样本总第一类错误在极小样本量(如 n=50)时即表现出极佳的逼近收敛性。

5.3 互联网多臂老虎机与汤普森采样(Multi-Armed Bandits & Thompson Sampling)

• 机制特征:在 K=2 个处理臂、分 J=10 批的分批老虎机实验中,采用加权欠平滑先验(Under-smoothed Prior,Kuang and Wager, 2024)的汤普森采样算法。

• 深刻发现:非对称功效包络(Asymmetric Power Envelope)。如图 4 所示,区分 (a,0) 与 (0,0) 的统计功效显著高于区分 (−a,0) 与 (0,0)(对任意 a>0)。【底层机理】:当处理臂 1 的真实效应为负(−a)时,算法极其“聪明”地迅速剥夺了其流量,将绝大部分样本分配给了处理臂 0。然而,处理臂 0 在原假设与备择假设下的分布完全相同,无法提供任何用于“证伪原假设”的有用信息!这导致算法因过度利用而陷入信息匮乏,使得负向处理效应极难被显著检验出来。

• 本文检验与数值验证:基于公式 (25) 的加权平均检验,数值模拟(图 5A、5B)显示,即使在每批样本仅 n=20(总观测数仅 200 个单位)的微型数据规模下,有限样本检验功效已基本与渐近理论包络重合。

六、 经济学与管理决策启示

Karun Adusumilli 本文不仅是序贯统计学与微观计量经济学方法论的重大理论飞跃,更为现代数字经济平台治理、大数据架构设计、医药临床政策以及算法机制管理提供了四重极具战略价值的实务启示:

6.1 平台数字化运营与 A/B 测试治理:杜绝“假阳性欺诈”,守护真实商业回报

在现代科技互联网大厂(如电商交易、信息流推荐、在线广告与搜索引擎),以汤普森采样为代表的强化学习和老虎机算法已被普遍嵌入底层的实时流量分流系统。然而,一个普遍存在的严重管理漏洞是:前台业务和算法团队在向上级管理层汇报产品改版效果时,依然习惯性地套用常规看板自带的“双样本 t 检验”进行显著性声明。

【管理警示】:本文的研究明确揭示:在自适应分流下,未经修正的 t 检验会产生高达 35% 的真实假阳性率!这意味着在所谓“通过统计检验并全量上线”的新功能中,有超过三分之一纯属算法自适应偏差所制造的“虚假统计幻觉”。盲目全量推广这些无用甚至有害的功能,将给企业带来隐蔽而巨大的长期用户体验折损与财务亏损。管理层必须在数据基础设施中强制升级事后因果推断底座,采用本文提出的加权平均最优检验或重抽样校准临界值,彻底挤出虚假繁荣的水分。

6.2 企业级大数据架构与数据资产管理:告别全量时序冗余,迈向极致充分统计量轻量化

在数据工程和云计算成本日益高昂的背景下,此前业界普遍误以为:因为自适应实验具有动态历史依赖性,要想进行可靠的事后因果回溯,就必须对每个用户在毫秒级的每一次曝光流水、每一次中间分流决策进行全量落盘和长期归档。这给跨国平台带来了数以 PB 计的冷热存储成本与沉重的离线计算延迟。

【架构启示】:定理 1 与定理 3 提供了极具说服力的“工程减负”理论支撑——对于因果假设检验而言,细粒度的微观历史轨迹完全是冗余的!数据管线只需在流计算引擎(如 Apache Flink 或 Spark Streaming)中实时维护两组计数器:**每个处理臂的累计样本时间份额(qa)**与**最终累积影响函数得分(xa)**。这一维度约简使得千万级用户的复杂实验能够被高度压缩为常数级元数据,使因果分析的算力与存储成本降低数个数量级,甚至能够在算力受限的智能硬件和边缘设备中直接运行前沿因果检验。

6.3 生物医药研发与合规监管:以“前置预注册承诺”换取统计功效与伦理福利的兼得

长期以来,医药创新研发在“受试者伦理福利”与“确证性统计功效”之间承受着巨大的权衡折磨。一些申办方为了避免统计违规,不得不采用极度保守的随时有效推断(Anytime Inference),导致大量有潜力的重磅创新药因统计功效不足而惨遭淘汰或被迫耗费巨资扩大样本规模。

【政策启示】:本文从数理上雄辩地证明,**只要企业或科研机构在实验启动前严格遵守“前置预注册”(Pre-registration)制度,对停时规则和自适应分流协议建立不可篡改的契约锁定,便完全可以在严格守住第一类错误红线的前提下,将统计检验功效榨取至理论极限(达到功效包络线)**。这为美国 FDA、中国国家药监局等监管机构建立更加现代化、高包容度的自适应临床试验审批与审计标准提供了最具权威性的数理准绳。

6.4 现代算法机制设计:打破“探索-利用”与“因果推断”的零和博弈

多臂老虎机模拟所展示的“非对称功效包络”揭示了一个发人深省的管理权衡:算法对劣质版本的快速惩罚和止损(利用 Exploitation),本质上是以“剥夺识别该版本到底有多差”的因果信息量(探索 Exploration)为代价的。

【机制启示】:在企业管理实践中,产品研发负责人必须清晰界定当前实验的战略核心定位:

• 若当前试验的目标是短期利润收割,则应激进分流并主动接受负向处理效应鉴别力低下的现实;

• 若试验的核心目标是为企业长期知识库沉淀高质量因果数据(例如为了理解用户对特定价格或UI特征的敏感弹性),则算法策略必须人为注入探索保护下限(例如 ϵ-贪心策略或欠平滑先验分配),以维护统计量分布的对称性,从而在商业变现与知识沉淀之间达成更高级别的长期动态平衡。

七、 参考文献

Adusumilli, Karun. 2025a. “How to Sample and When to Stop Sampling: The Generalised Wald Problem and Minimax Policies.” Review of Economic Studies 93 (1): 1–34.

Adusumilli, Karun. 2025b. “Risk and Optimal Policies in Bandit Experiments.” Econometrica 93 (3): 1003–29.

Adusumilli, Karun. 2026. “Optimal Tests Following Sequential Experiments.” Journal of Political Economy 134 (9): 2778–2823.

Adusumilli, Karun. 2026. “Replication Data for: ‘Optimal Tests Following Sequential Experiments.’” Harvard Dataverse, https://doi.org/10.7910/DVN/SSMQDS.

Athey, Susan, K. Bergstrom, V. Hadad, J. C. Jamison, B. Özler, L. Parisotto, and J. D. Sama. 2023. “Can Personalized Digital Counseling Improve Consumer Search for Modern Contraceptive Methods?” Science Advances 9 (40): eadg4420.

Baden, Lindsey R., H. M. El Sahly, B. Essink, K. Kotloff, S. Frey, R. Novak, D. Diemert, et al. 2021. “Efficacy and Safety of the mRNA-1273 SARS-CoV-2 Vaccine.” New England Journal of Medicine 384 (5): 403–16.

BHAT Research Group. 1982. “A Randomized Trial of Propranolol in Patients with Acute Myocardial Infarction.” JAMA 247 (12): 1707–14.

Choi, Sungsub, W. J. Hall, and Anton Schick. 1996. “Asymptotically Uniformly Most Powerful Tests in Parametric and Semiparametric Models.” Annals of Statistics 24 (2): 841–61.

Deng, Alex, Ya Xu, Ron Kohavi, and Toby Walker. 2013. “Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data.” In Proceedings of the Sixth ACM International Conference on Web Search and Data Mining (WSDM), 123–32.

Fan, Lin, and Peter W. Glynn. 2021. “Diffusion Approximations for Thompson Sampling.” Working paper, arXiv:2105.09232.

FDA (US Food and Drug Administration). 2019. “Adaptive Designs for Clinical Trials of Drugs and Biologics: Guidance for Industry.” Silver Spring, MD: FDA.

Ferreira, Kris Johnson, David Simchi-Levi, and He Wang. 2018. “Online Network Revenue Management Using Thompson Sampling.” Operations Research 66 (6): 1586–602.

Gordon Lan, K. K., and David L. DeMets. 1983. “Discrete Sequential Boundaries for Clinical Trials.” Biometrika 70 (3): 659–63.

Grünwald, Peter, Rianne de Heide, and Wouter M. Koolen. 2020. “Safe Testing.” In 2020 Information Theory and Applications Workshop (ITA), 1–54. Piscataway, NJ: IEEE.

Hadad, Vitor, David A. Hirshberg, Ruohan Zhan, Stefan Wager, and Susan Athey. 2021. “Confidence Intervals for Policy Evaluation in Adaptive Experiments.” Proceedings of the National Academy of Sciences (PNAS) 118 (15): e2014602118.

Hall, W. J. 2013. “Analysis of Sequential Clinical Trials.” In Modern Clinical Trial Analysis, edited by W. Tang and X. Tu, 81–125. New York: Springer.

Hirano, Kei, and Jack R. Porter. 2023. “Asymptotic Representations for Sequential Decisions, Adaptive Experiments, and Batched Bandits.” Working paper, arXiv:2302.03117.

Howard, Steven R., Aaditya Ramdas, Jon McAuliffe, and Jasjeet Sekhon. 2021. “Time-Uniform, Nonparametric, Nonasymptotic Confidence Sequences.” Annals of Statistics 49 (2): 1055–80.

Johari, Ramesh, Pete Koomen, Leo Pekelis, and David Walsh. 2022. “Always Valid Inference: Continuous Monitoring of A/B Tests.” Operations Research 70 (3): 1806–21.

Kasy, Maximilian, and Anja Sautmann. 2021. “Adaptive Treatment Assignment in Experiments for Policy Choice.” Econometrica 89 (1): 113–32.

Kuang, Xu, and Stefan Wager. 2024. “Weak Signal Asymptotics for Sequentially Randomized Experiments.” Management Science 70 (10): 7024–41.

Lattimore, Tor, and Csaba Szepesvári. 2020. Bandit Algorithms. Cambridge: Cambridge University Press.

Le Cam, Lucien. 1979. “A Reduction Theorem for Certain Sequential Experiments. II.” Annals of Statistics 7 (4): 847–59.

Lehmann, Erich L., and Joseph P. Romano. 2005. Testing Statistical Hypotheses. 3rd ed. New York: Springer.

O’Brien, Peter C., and Thomas R. Fleming. 1979. “A Multiple Testing Procedure for Clinical Trials.” Biometrics 35 (3): 549–56.

Ramdas, Aaditya, Peter Grünwald, Vladimir Vovk, and Glenn Shafer. 2023. “Game-Theoretic Statistics and Safe Anytime-Valid Inference.” Statistical Science 38 (4): 576–601.

Romano, Joseph P. 2005. “Optimal Testing of Equivalence Hypotheses.” Annals of Statistics 33 (3): 1036–47.

Russo, Daniel, and Benjamin Van Roy. 2016. “An Information-Theoretic Analysis of Thompson Sampling.” Journal of Machine Learning Research 17 (1): 2442–71.

Russo, Daniel J., Benjamin Van Roy, Abbas Kazerouni, Ian Osband, and Zheng Wen. 2018. “A Tutorial on Thompson Sampling.” Foundations and Trends in Machine Learning 11 (1): 1–96.

van der Vaart, Aad W. 2000. Asymptotic Statistics. Cambridge Series in Statistical and Probabilistic Mathematics. Cambridge: Cambridge University Press.

van der Vaart, Aad W., and Jon A. Wellner. 1996. Weak Convergence and Empirical Processes: With Applications to Statistics. New York: Springer.

Wald, Abraham. 1947. Sequential Analysis. New York: John Wiley & Sons.

Wassmer, Gernot, and Werner Brannath. 2016. Group Sequential and Confirmatory Adaptive Designs in Clinical Trials. New York: Springer.

Whitehead, John. 1997. The Design and Analysis of Sequential Clinical Trials. New York: John Wiley & Sons.

Zhang, Kelly, Lucas Janson, and Susan Murphy. 2020. “Inference for Batched Bandits.” In Advances in Neural Information Processing Systems (NeurIPS) 33: 9818–29.