近年来，机器学习模型在自动化流程和生成洞察力方面成为了社会各个领域不可或缺的工具。除了模型类型和架构的选择之外，数据是学习过程中的关键组成部分，训练数据的质量和数量对模型性能有着重大影响。然而，当前的研究主要集中在提出高性能的模型架构或学习方法，而将训练数据保持不变。然而，很明显，并非训练集中的每个样本都能增强模型性能。此外，同一个数据样本可能对不同类型的模型产生不同的影响，有的对性能有利，有的则有害。因此，本文旨在回答“哪些数据对特定方面的学习模型有益？”这个问题，并选择合适的训练数据来提高模型性能。
影响力数据选择：理解数据对模型的影响
本文的核心思想是利用影响力函数来评估数据对给定凸分类器（或非凸模型的代理模型）在效用、公平性和鲁棒性方面的贡献。影响力函数衡量的是训练样本对模型参数的影响，从而反映了样本对模型性能的影响。
影响力函数： 影响力函数可以有效地估计数据在各个方面的影响。为了进一步提供解释，本文利用决策树来揭示哪些样本特征对模型性能（以效用、公平性和鲁棒性等评估函数衡量）产生积极或消极影响。
树模型解释： 为了解决树深对可解释性的影响，本文利用层次收缩来正则化树模型。通过对每个训练样本计算其对模型在验证集上的影响力，并将其作为响应变量，训练一个回归树模型。这个树模型可以帮助我们理解哪些特征值对模型的影响最大，以及它们是正向影响还是负向影响。
数据修剪： 基于影响力函数的解释，本文提出了一种数据修剪策略，即从训练集中移除那些对模型性能有负面影响的样本。通过移除这些样本，可以提升模型的效用、公平性和鲁棒性。
超越传统分类：应用场景与实验结果
本文不仅验证了算法在合成数据集上的正确性，还将其应用于四个真实世界数据集，包括两个表格数据集（Adult 和 Bank）、一个视觉数据集（CelebA）和一个文本数据集（Jigsaw Toxicity）。实验结果表明，本文提出的数据修剪方法能够显著提高模型的公平性和鲁棒性，同时在某些情况下也能提升模型的效用。
公平性提升： 数据修剪方法能够有效地减轻数据分布偏移带来的公平性问题。在分布偏移的情况下，训练集和测试集之间敏感属性的分布可能存在差异，导致模型在测试集上表现出不公平。本文提出的方法可以帮助识别那些对公平性有负面影响的样本，并将其从训练集中移除，从而提升模型的公平性。
对抗攻击防御： 数据修剪方法可以有效地防御针对公平性的中毒攻击。中毒攻击是指攻击者在训练数据中注入恶意样本，以降低模型的公平性。本文提出的方法可以帮助识别这些恶意样本，并将其从训练集中移除，从而防御中毒攻击。
自适应对抗攻击防御： 数据修剪方法可以有效地防御自适应对抗攻击。自适应对抗攻击是指攻击者能够根据模型的防御策略调整攻击方式。本文提出的方法可以帮助识别那些对模型鲁棒性有负面影响的样本，并将其从训练集中移除，从而防御自适应对抗攻击。
在线学习： 数据修剪方法可以应用于在线学习场景，即模型在收到新的数据样本后进行更新。在在线学习中，数据样本通常以批次的形式到达，本文提出的方法可以帮助识别每个批次中对模型性能有负面影响的样本，并将其移除，从而提高模型的性能。
主动学习： 数据修剪方法可以应用于主动学习场景，即模型主动选择哪些未标记样本需要进行标注。在主动学习中，标注样本的成本很高，因此需要选择那些对模型性能有最大贡献的样本进行标注。本文提出的方法可以帮助识别那些对模型性能有最大贡献的未标记样本，并将其选择进行标注，从而提高模型的性能。
结论与未来展望
本文提出了一种基于影响力函数的数据选择方法，该方法能够有效地识别哪些数据对模型性能有益，并通过数据修剪来提升模型的效用、公平性和鲁棒性。实验结果表明，该方法在各种应用场景中都取得了显著的性能提升，为机器学习模型的开发和部署提供了新的思路。
未来研究可以进一步探索以下方向：
- 开发更强大的可解释性机制，以超越决策树规则集的优势。
- 开发更先进的数据修剪或选择方法，以提高方法的效率和性能。
- 将该方法应用于深度学习模型，例如 Transformer，并研究其在更多非凸深度学习任务和用例中的应用。
参考文献
- [1] Koh, P. W., & Liang, P. (2017). Understanding black-box predictions via influence functions. In International Conference on Machine Learning (pp. 1885-1894). PMLR.
- [2] Li, P., & Liu, H. (2022). Towards fairness-aware influence functions. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 36, pp. 8825-8833).
- [3] Liu, H., Li, P., & Wang, J. (2021). Influence-based active learning for deep neural networks. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 35, pp. 5824-5831).