基于对本站和几个WordPress站的持续优化，有以下的技巧值得尝试：
警告：本文包含可能具有冒犯性或令人不安的偏见示例。
大型语言模型（LLM）正在改变我们与信息互动的方式，但它们也反映了人类社会中存在的偏见。这些偏见是如何形成的？LLM 又如何体现这些偏见呢？本文将深入探讨 LLM 中社会偏见的形成机制，并介绍一种新方法来量化和分析这些偏见。
社会偏见源于人们对不同群体和个体的刻板印象，这些刻板印象可能是积极的，也可能是消极的。例如，认为“女性天生柔弱”是一种负面刻板印象，而认为“男性天生强壮”则是一种正面刻板印象。这些刻板印象因人而异，受个人社会身份、个人信仰等因素影响，形成每个人独特的社会感知。
心理学家认为，社会偏见源于不同个体对同一目标的集体社会感知。因此，本文将社会偏见定义为社会感知的综合影响。就像图1所示，社会偏见就像一张社会感知的网络，每个节点代表一个群体，连接线代表不同群体之间的社会感知，这些感知可能是积极的，也可能是消极的。
近年来，研究人员发现，旨在模仿人类语言和社会规范的语言模型，也存在着现实世界中的偏见。一些研究通过间接评估模型生成文本中对人口统计特征的感情倾向，或衡量模型与给定刻板印象的吻合程度来评估 LLM 的偏见。然而，这些方法无法直接量化不同群体视角下的社会偏见。
为了更直观地量化社会感知，本文提出了一种新的方法，通过问答（QA）格式，直接量化 LLM 对不同目标的感知，并通过聚合这些感知来评估 LLM 内部的社会偏见。
问答格式：从角色扮演到感知量化
该方法通过为 LLM 分配不同的角色（persona）来收集其对特定目标的感知。例如，我们可以问一个被赋予“老年人”角色的 LLM：“老年人会如何看待年轻人？”通过分析 LLM 的回答，我们可以量化其对年轻人的感知。
三项指标：多维度评估社会偏见
为了更全面地评估 LLM 中的社会偏见，本文提出了三个新的指标：
通过综合运用这些指标，我们可以更细致地分析 LLM 中的社会偏见，并揭示不同角色下 LLM 对同一目标的差异化感知。
研究人员对五个大型语言模型（LLM）进行了实验，包括 GPT3.5、GPT4 和三个不同规模的 LLaMA-2-Chat 模型。实验结果表明：
本文提出的新方法为量化和分析 LLM 中的社会偏见提供了一种新的思路。通过这项研究，我们可以更深入地理解 LLM 的社会态度，并为构建更公平、更负责任的 LLM 提供参考。
局限性
本文的研究存在一些局限性，例如：
未来方向
未来的研究方向包括：
伦理声明
本文提出的研究方法旨在帮助我们更深入地理解 LLM 的社会偏见，并为构建更公平、更负责任的 LLM 提供参考。然而，我们不主张任何特定的偏见缓解策略，也不认为本文提出的三个指标是最佳的偏见缓解指标。这些问题需要在未来的研究中进一步探讨。
致谢
这项研究得到了韩国国家研究基金会（NRF）的资助，该基金由韩国政府（MSIT）提供（编号：RS-2023-00208054）。
参考文献
Here’s a breakdown of the paper’s key aspects:
1. Motivation:
2. AlignEZ Approach:
3. Experiments and Results:
4. Key Findings:
5. Limitations and Future Work:
In conclusion, AlignEZ presents a promising step towards free self-alignment, offering a cost-effective and potentially scalable approach to aligning LLMs with human preferences.
大型语言模型（LLM）正在改变我们的世界，但它们也存在着一些问题。比如，它们有时会生成不准确、不友善或带有偏见的信息。为了解决这些问题，研究人员一直在努力对齐 LLM，使其更符合人类的价值观和偏好。
传统的对齐方法通常需要大量的标注数据和大量的计算资源，这对于许多研究人员和开发者来说都是一个巨大的挑战。那么，有没有一种更经济、更便捷的对齐方法呢？
AlignEZ：几乎免费的对齐
最近，来自威斯康星大学麦迪逊分校的研究人员提出了一种名为 AlignEZ 的新方法，它可以实现几乎免费的 LLM 自对齐。AlignEZ 的核心思想是利用 LLM 自身生成的偏好数据来修改其内部表示，从而引导模型生成更符合人类期望的输出。
如何实现自对齐？
AlignEZ 的工作流程主要分为三个步骤：
实验结果：显著提高模型性能
研究人员在六个不同的数据集和三种不同的 LLM 架构上测试了 AlignEZ 的效果。结果表明，AlignEZ 可以显著缩小 LLM 与其对齐版本之间的性能差距，平均提高了 31.6%。
更重要的是，AlignEZ 还可以加速更昂贵的对齐方法，例如 DPO。研究人员发现，AlignEZ 可以提高仅使用少量标注数据训练的 DPO 模型的性能。
未来展望：更精准、更个性化的对齐
AlignEZ 的出现为 LLM 对齐领域开辟了新的可能性。研究人员希望未来能够进一步改进 AlignEZ，使其能够更精准地识别人类偏好，并实现更个性化的对齐。
总结
AlignEZ 是一种新颖的 LLM 自对齐方法，它可以利用 LLM 自身生成的偏好数据来实现几乎免费的对齐。AlignEZ 的实验结果表明，它可以显著提高 LLM 的性能，并加速更昂贵的对齐方法。AlignEZ 的出现为 LLM 对齐领域开辟了新的可能性，为未来更精准、更个性化的 LLM 对齐技术奠定了基础。
参考文献
[1] AI@Meta. Llama 3 model card. 2024. URL https://github.com/meta-llama/llama3/blob/main/MODEL_CARD.md.
[2] Chuang et al. Debiasing vision-language models via biased prompts. arXiv preprint 2302.00070, 2023.
[3] Touvron et al. Llama 2: Open foundation and fine-tuned chat models. arXiv preprint arXiv:2307.09288, 2023.
[4] Bender et al. On the dangers of stochastic parrots: Can language models be too big? In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency, pages 610–623, 2021.
[5] Bommasani et al. On the opportunities and risks of foundation models. arXiv preprint arXiv:2108.07258, 2021.
[6] Burns et al. Discovering latent knowledge in language models without supervision. arXiv preprint arXiv:2212.03827, 2022.
[7] Christiano et al. Deep reinforcement learning from human preferences. Advances in neural information processing systems, 30, 2017.
[8] Dalvi et al. Discovering latent concepts learned in bert. arXiv preprint arXiv:2205.07237, 2022.
[9] Cui et al. Ultrafeedback: Boosting language models with high-quality feedback, 2023.
[10] Dettmers et al. Qlora: Efficient finetuning of quantized llms, 2023.
[11] Hoffmann et al. An empirical analysis of compute-optimal large language model training. Advances in Neural Information Processing Systems, 35:30016–30030, 2022.
[12] Jiang et al. Mistral 7b. arXiv preprint arXiv:2310.06825, 2023.
[13] Li et al. Self-alignment with instruction backtranslation. arXiv preprint arXiv:2308.06259, 2023a.
[14] Li et al. Inference-time intervention: Eliciting truthful answers from a language model. Advances in Neural Information Processing Systems, 36, 2024.
[15] Lee et al. Deduplicating training data makes language models better. arXiv preprint arXiv:2107.06499, 2021.
[16] Mangrulkar et al. Peft: State-of-the-art parameter-efficient fine-tuning methods. https://github.com/huggingface/peft, 2022.
[17] McIntosh et al. From google gemini to openai q*(q-star): A survey of reshaping the generative artificial intelligence (ai) research landscape. arXiv preprint arXiv:2312.10868, 2023.
[18] Ouyang et al. Training language models to follow instructions with human feedback. Advances in neural information processing systems, 35:27730–27744, 2022.
[19] Rafailov et al. Direct preference optimization: Your language model is secretly a reward model. Advances in Neural Information Processing Systems, 36, 2024.
[20] Sun et al. Principle-driven self-alignment of language models from scratch with minimal human supervision. Advances in Neural Information Processing Systems, 36, 2024.
[21] Li et al. Alpacaeval: An automatic evaluator of instruction-following models, 2023b.
[22] Limisiewicz et al. Debiasing algorithm through model adaptation. arXiv preprint arXiv:2310.18913, 2023.
[23] Lin et al. The unlocking spell on base llms: Rethinking alignment via in-context learning. arXiv preprint arXiv:2312.01552, 2023.
[24] Loshchilov and Hutter. Decoupled weight decay regularization, 2019.
[25] Raschka. Finetuning llms with lora and qlora: Insights from hundreds of experiments, Oct 2023. URL https://lightning.ai/pages/community/lora-insights/?utm_medium=social&utm_source=twitter&utm_campaign=Education_10132023.
[26] Schulman et al. Proximal policy optimization algorithms. arXiv preprint arXiv:1707.06347, 2017.
[27] Tamkin et al. Understanding the capabilities, limitations, and societal impact of large language models. CoRR, abs/2102.02503, 2021. URL https://arxiv.org/abs/2102.02503.
[28] Tunstall et al. Zephyr: Direct distillation of lm alignment, 2023.
[29] Wang et al. Self-instruct: Aligning language models with self-generated instructions. arXiv preprint arXiv:2212.10560, 2022.
[30] Wu et al. Reft: Representation finetuning for language models. arXiv preprint arXiv:2404.03592, 2024.
[31] Xie et al. Data selection for language models via importance resampling. Advances in Neural Information Processing Systems, 36:34201–34227, 2023.
[32] Zheng et al. Judging llm-as-a-judge with mt-bench and chatbot arena. Advances in Neural Information Processing Systems, 36, 2024.
[33] Zhou et al. Lima: Less is more for alignment. Advances in Neural Information Processing Systems, 36, 2024.
[34] Introducing Meta Llama 3: The most capable openly available LLM to date — ai.meta.com. https://ai.meta.com/blog/meta-llama-3/, 2024.
[35] Adila et al. Zero-shot robustification of zero-shot models with foundation models. arXiv preprint arXiv:2309.04344, 2023.
[36] Fränken et al. Self-supervised alignment with mutual information: Learning to follow principles without preference labels. arXiv preprint arXiv:2404.14313, 2024.
[37] Han et al. Lm-switch: Lightweight language model conditioning in word embedding space. arXiv preprint arXiv:2305.12798, 2023.
[38] Guo et al. Human-instruction-free llm self-alignment with limited samples. arXiv preprint arXiv:2401.06785, 2024.
[39] Kenton et al. Alignment of language agents. arXiv preprint arXiv:2103.14659, 2021.
[40] Sun et al. Principle-driven self-alignment of language models from scratch with minimal human supervision. In A. Oh, T. Naumann, A. Globerson, K. Saenko, M. Hardt, and S. Levine, editors, Advances in Neural Information Processing Systems, volume 36, pages 2511–2565. Curran Associates, Inc., 2023. URL https://proceedings.neurips.cc/paper_files/paper/2023/file/0764db1151b936aca59249e2c13886101-Paper-Conference.pdf.
[41] Zou et al. Representation engineering: A top-down approach to ai transparency, october 2023. URL http://arxiv.org/abs/2310.01405.
近年来，语音合成技术取得了长足进步，合成语音不仅清晰易懂，还拥有丰富的感情和韵律，更接近于人类的表达方式。然而，如何从各种不同的参考语音中提取并编码风格信息仍然是一个挑战，尤其是当遇到从未见过的语音风格时。
StyleMoE：将风格编码空间“分而治之”
为了解决这一难题，研究人员提出了 StyleMoE，一种将风格编码空间划分为多个可处理的子空间，并由专门的“风格专家”负责处理的模型。StyleMoE 将 TTS 系统中的风格编码器替换为一个“专家混合” (MoE) 层。通过使用门控网络将参考语音路由到不同的风格专家，每个专家在优化过程中专门负责风格空间的特定方面。
StyleMoE 的工作原理
StyleMoE 的核心思想是将风格编码空间划分为多个子空间，每个子空间由一个专门的风格专家负责处理。这就像将一个复杂的难题分解成多个更容易解决的小问题，每个专家都专注于解决其中一个问题。
具体来说，StyleMoE 使用一个门控网络来决定哪个专家应该处理当前的参考语音。门控网络会根据参考语音的特点，选择最适合的专家，并为每个专家分配相应的权重。每个专家都拥有独立的参数，在优化过程中只负责处理分配给它的子空间，从而提高模型的效率和准确性。
StyleMoE 的优势
StyleMoE 的优势在于：
实验结果
研究人员在 ESD 和 VCTK 数据集上对 StyleMoE 进行了测试，结果表明，StyleMoE 在各种指标上都优于基线模型，包括：
未来展望
StyleMoE 为语音合成技术的进步开辟了新的方向。未来，研究人员将继续探索不同的门控网络架构，并尝试将 StyleMoE 应用于更复杂的语音合成系统。
参考文献
[1] M. Schr¨oder, “Emotional speech synthesis: A review,” in Seventh European Conference on Speech Communication and Technology, 2001.
[2] A. van den Oord, S. Dieleman, H. Zen, K. Simonyan, O. Vinyals, A. Graves, N. Kalchbrenner, A. W. Senior, and K. Kavukcuoglu, “Wavenet: A generative model for raw audio,” ArXiv, vol. abs/1609.03499, 2016. [Online]. Available: https://api.semanticscholar.org/CorpusID:6254678
[3] Y. Wang, R. J. Skerry-Ryan, D. Stanton, Y. Wu, R. J. Weiss, N. Jaitly, Z. Yang, Y. Xiao, Z. Chen, S. Bengio, Q. V. Le, Y. Agiomyrgiannakis, R. A. J. Clark, and R. A. Saurous, “Tacotron: Towards end-to-end speech synthesis,” in Interspeech, 2017. [Online]. Available: https://api.semanticscholar.org/CorpusID:4689304
[4] N. Li, S. Liu, Y. Liu, S. Zhao, and M. Liu, “Neural speech synthesis with transformer network,” in Proceedings of the AAAI conference on artificial intelligence, vol. 33, no. 01, 2019, pp. 6706–6713.
[5] X. Tan, T. Qin, F. Soong, and T.-Y. Liu, “A survey on neural speech synthesis,” 2021.
[6] S. Takamichi, T. Toda, A. W. Black, G. Neubig, S. Sakti, and S. Nakamura, “Postfilters to modify the modulation spectrum for statistical parametric speech synthesis,” IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 24, no. 4, pp. 755–767, 2016.
[7] H.-T. Luong, S. Takaki, G. E. Henter, and J. Yamagishi, “Adapting and controlling dnn-based speech synthesis using input codes,” in 2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2017, pp. 4905–4909.
[8] Y. Lee, A. Rabiee, and S.-Y. Lee, “Emotional end-to-end neural speech synthesizer,” arXiv preprint arXiv:1711.05447, 2017.
[9] R. Skerry-Ryan, E. Battenberg, Y. Xiao, Y. Wang, D. Stanton, J. Shor, R. Weiss, R. Clark, and R. A. Saurous, “Towards end-to-end prosody transfer for expressive speech synthesis with tacotron,” in international conference on machine learning.
PMLR, 2018, pp. 4693–4702.
[10] Y. Wang, D. Stanton, Y. Zhang, R.-S. Ryan, E. Battenberg, J. Shor, Y. Xiao, Y. Jia, F. Ren, and R. A. Saurous, “Style tokens: Unsupervised style modeling, control and transfer in end-to-end speech synthesis,” in International conference on machine learning. PMLR, 2018, pp. 5180–5189.
[11] K. Akuzawa, Y. Iwasawa, and Y. Matsuo, “Expressive speech synthesis via modeling expressions with variational autoencoder,” arXiv preprint arXiv:1804.02135, 2018.
[12] Y. Ren, C. Hu, X. Tan, T. Qin, S. Zhao, Z. Zhao, and T.-Y. Liu, “Fastspeech 2: Fast and high-quality end-to-end text to speech,” arXiv preprint arXiv:2006.04558, 2020.
[13] A. Ła´ncucki, “Fastpitch: Parallel text-to-speech with pitch prediction,” in ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2021, pp. 6588–6592.
[14] G. Sun, Y. Zhang, R. J. Weiss, Y. Cao, H. Zen, and Y. Wu, “Fully-hierarchical fine-grained prosody modeling for interpretable speech synthesis,” in ICASSP 2020-2020 IEEE international conference on acoustics, speech and signal processing (ICASSP). IEEE, 2020, pp. 6264–6268.
[15] R. Huang, Y. Ren, J. Liu, C. Cui, and Z. Zhao, “Generspeech: Towards style transfer for generalizable out-of-domain text-to-speech,” Advances in Neural Information Processing Systems, vol. 35, pp. 10 970–10 983, 2022.
[16] R. A. Jacobs, M. I. Jordan, S. J. Nowlan, and G. E. Hinton, “Adaptive mixtures of local experts,” Neural computation, vol. 3, no. 1, pp. 79–87, 1991.
[17] S. Masoudnia and R. Ebrahimpour, “Mixture of experts: a literature survey,” Artificial Intelligence Review, vol. 42, pp. 275–293, 2014.
[18] N. Shazeer, A. Mirhoseini, K. Maziarz, A. Davis, Q. Le, G. Hinton, and J. Dean, “Outrageously large neural networks: The sparsely-gated mixture-of-experts layer,” arXiv preprint arXiv:1701.06538, 2017.
[19] C. Riquelme, J. Puigcerver, B. Mustafa, M. Neumann, R. Jenatton, A. Susano Pinto, D. Keysers, and N. Houlsby, “Scaling vision with sparse mixture of experts,” Advances in Neural Information Processing Systems, vol. 34, pp. 8583–8595, 2021.
[20] D. Eigen, M. Ranzato, and I. Sutskever, “Learning factored representations in a deep mixture of experts,” arXiv preprint arXiv:1312.4314, 2013.
[21] D. Min, D. B. Lee, E. Yang, and S. J. Hwang, “Meta-stylespeech: Multi-speaker adaptive text-to-speech generation,” in International Conference on Machine Learning. PMLR, 2021, pp. 7748–7759.
[22] T. H. Teh, V. Hu, D. S. R. Mohan, Z. Hodari, C. G. Wallis, T. G. Ibarrondo, A. Torresquintero, J. Leoni, M. Gales, and S. King, “Ensemble prosody prediction for expressive speech synthesis,” in ICASSP 2023-2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2023, pp. 1–5.
[23] Y. Yan, X. Tan, B. Li, G. Zhang, T. Qin, S. Zhao, Y. Shen, W.-Q. Zhang, and T.-Y. Liu, “Adaspeech 3: Adaptive text to speech for spontaneous style,” arXiv preprint arXiv:2107.02530, 2021.
[24] H. Zen, V. Dang, R. Clark, Y. Zhang, R. J. Weiss, Y. Jia, Z. Chen, and Y. Wu, “Libritts: A corpus derived from librispeech for text-to-speech,” arXiv preprint arXiv:1904.02882, 2019.
[25] J. Yamagishi, C. Veaux, and K. MacDonald, “Cstr vctk corpus: English multi-speaker corpus for cstr voice cloning toolkit (version 0.92),” 2019. [Online]. Available: https://api.semanticscholar.org/CorpusID:213060286
[26] K. Zhou, B. Sisman, R. Liu, and H. Li, “Seen and unseen emotional style transfer for voice conversion with a new emotional speech dataset,” in ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2021, pp. 920–924.
[27] X. An, F. K. Soong, and L. Xie, “Disentangling style and speaker attributes for tts style transfer,” IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 30, pp. 646–658, 2022.
https://arxiv.org/pdf/2406.03637 https://arxiv.org/html/2406.03637v1
财务数据，尤其是来自总账的数据，记录着企业的财务交易，包括收入、支出、资产和负债，对于确保财务记录的真实性和透明度至关重要 [21, 24]。它不仅帮助企业满足监管机构、投资者和金融机构等利益相关者的要求，还通过分析支持决策，而异常检测则是维护数据完整性和可靠性的关键 [37]。
然而，财务数据中的异常，可能是由于错误、欺诈或操纵造成的，会带来巨大的财务损失，损害投资者信心，并需要进行欺诈调查 [24]。因此，及时有效地检测异常对于遵守法规和保护财务安全至关重要 [8, 22]。传统的财务异常检测方法在处理复杂、庞大的数据和不断升级的欺诈手法方面存在困难。早期的做法依赖于人工检查和基于规则的系统，效率低下，漏掉了很多异常，并产生了大量误报，导致财务欺诈难以察觉 [5]。
机器学习 (ML) 在现代财务审计中变得越来越重要，它能够高效地处理大型数据集并识别其中的模式。然而，随着财务欺诈手法变得越来越复杂，需要新的方法来克服数据预处理和模型局限性带来的挑战 [2, 22]。最近的研究表明，自动编码器在异常检测方面有潜力，而大型语言模型 (LLM) 在各种任务中都表现出色，但现实世界数据的稀疏性和复杂性限制了它们的有效性 [26, 36]。
本文着眼于高效检测总账数据中的异常，重点关注特征维度异质性和特征稀疏性这两个问题，它们阻碍了财务审计中的异常检测。我们的方法是利用 Sentence-BERT LLM 的预训练表示来编码日记账分录中的非语义分类数据，从而提高对数据异常的识别能力。
现有的解决方案使用各种矢量化方法，随后对稀疏特征进行降维，但这可能不足以应对现实世界中的日记账分录，因为这些分录在长度和复杂性上往往差异很大。此外，交易异常的非时间性特征限制了可应用的特征编码方法范围。因此，用于检测财务数据异常的机器学习算法在处理异质性和稀疏数据时会遇到困难，导致编码和分类问题，最终导致结果不理想。这会影响财务记录审计的可靠性。
我们提出了一种新方法，如图 1 所示，利用预训练的 Sentence-Transformer 模型来编码非语义财务数据，解决特征异质性和稀疏性问题。这种方法不同于传统的财务异常检测机器学习技术，它提出了一种混合模型，将 Sentence-Transformer 嵌入与机器学习分类器相结合，以提高异常检测性能。准确的异常检测是可靠财务审计的基石。改进处理财务数据中的异质性和稀疏性的方法可以显著提高异常检测流程，有助于更好地进行风险管理和遵守法规。该方法在财务异常检测之外具有更广泛的意义，为跨领域应用高级编码技术处理复杂数据集提供了模板。
在这项工作中，我们提出了以下两个假设：
在制定我们的假设时，我们借鉴了最近的研究发现，这些发现表明 LLM 除了文本任务之外，还可以适应其他任务 [28]。研究表明，最初在文本上训练的 LLM 可以有效地处理和编码非文本、语言非语义数据 [30]。这种能力源于其 Transformer 块的编码功能，促使我们提出了假设 1，建议使用 SBERT LLM 将非语义财务数据集转换为标准化的单一尺寸向量特征。随后，我们的假设 2 建立在 LLM 高效的编码能力基础上，这意味着集成 LLM 嵌入可以增强机器学习模型，特别是在检测财务数据中的异常方面。验证假设 1 将证明一种管理财务记录中特征变异性的新方法，增强异常检测。确认假设 2 将说明将 LLM 嵌入与优化模型相结合在检测财务异常方面的有效性，有可能超越传统方法。
这些发现可以共同改变当前财务异常检测的做法。LLM 的创新应用可以极大地推动该领域的发展，展示其在跨学科应用中的潜力，并改进财务审计和监控系统。
财务异常检测至关重要，欺诈活动对该行业造成了巨大影响。数字金融服务的兴起，尤其是在 COVID-19 大流行之后，需要先进的欺诈检测方法 [43]。深度学习，包括变分自动编码器和 LSTM 架构，在检测日记账分录 [44] 和电子商务 [27] 中的异常方面取得了成功，LSTM 也非常有效 [1]。图神经网络 (GNN) 以其处理欺诈检测中复杂数据关系的能力而著称 [43]。各种机器学习技术，如朴素贝叶斯、逻辑回归、KNN、随机森林和顺序 CNN，已被应用于信用卡欺诈检测 [29]，其中基于 CatBoost 的方法突出了特征工程和内存压缩在提高效率方面的作用 [13]。机器学习在金融领域得到了广泛的应用，从检测日记账分录异常到识别医疗保健和银行业务中的欺诈交易 [29, 38]。虽然案例研究证实了它们的有效性，但也指出了实际应用中的挑战 [7]。
由于欺诈手法不断变化和财务数据的复杂性，在财务欺诈检测中应用机器学习面临着挑战 [11]。准确的建模依赖于高质量的标准化数据，这一点在信用卡行业中也有所讨论 [31]。财务数据的非平稳性、非线性性和低信噪比使模型训练和性能复杂化 [40]，需要先进的方法来预处理复杂数据，提高数据质量和模型性能。增强数据表示和简化特征还可以提高机器学习模型的可解释性，满足金融领域的法规和合规要求 [38]。此外，平衡计算复杂度和高检测精度至关重要 [27]，这强调了需要增强特征集的紧凑性和信息保留能力。有希望的研究方向需要探索各种机器学习方法和混合应用，强调创新的数据预处理和适应性强的机器学习方法，以应对数据质量和模型适应性挑战 [4]。
GPT-3、PaLM 和 LLaMA 等大型语言模型标志着自然语言处理 (NLP) 和人工智能 (AI) 的范式转变，从基于规则的框架发展到复杂的 Transformer 等神经网络架构。这种演变使 LLM 能够将大量语言数据集编码为向量表示，用于各种应用 [41, 42]。BERT 等大型语言模型擅长捕捉语言的复杂语义和句法细微差别，从而产生密集的嵌入。这些嵌入对于节点分类等任务至关重要，例如文本图中的节点分类 [14]，证明了 LLM 能够从大量文本语料库中生成有意义的表示 [32]。LLM 最初是为语言任务而设计的，但它显示出非凡的多功能性，扩展到非语言领域，有效地将各种数据类型（包括非语义元素）编码为顺序格式。例如，Sentence-Transformers 对非语言数据进行矢量化，将 LLM 的使用扩展到计算机视觉 [30]。LLM 在文本摘要和内容推荐等任务中表现出色，从而证明了其广泛的适用性 [25, 41, 42]。LLM 通过有效地管理特征变异性和稀疏性，为数据分析提供了创新方法，从而增强了异常检测。它们可以超越传统的机器学习，处理复杂数据以进行高级分析 [3, 20]。
在财务分析中，LLM 构成了一次重大的方法论飞跃。Sentence-Transformers 强调了 LLM 在处理异常检测中的特征异质性和稀疏性方面的能力，因为它可以生成有意义的向量 [34, 39, 40]。Sentence-BERT (SBERT) 是 BERT 的改进版本，它可以生成语义密集的句子嵌入，从而提高聚类和语义搜索的性能 [34]。SBERT 利用暹罗网络和三元组网络来增强句子语义分析，确保相似的句子在嵌入空间中彼此靠近。这种改进将嵌入生成时间从 BERT 的 65 小时缩短到大型数据集的几秒钟。SBERT 在句子对回归和语义相似性等各种任务中表现出色，证明了它在传统文本任务之外，快速、高质量地嵌入语言和非语言数据应用方面的潜力 [34]。
尽管机器学习和深度学习在财务异常检测方面取得了进展，但这些方法往往由于财务数据的多样性和稀疏性而失败，特别是在日记账分录中，这会损害数据编码和分类的有效性，进而影响财务审计的精度和可靠性 [6]。传统的异常检测技术依赖于矢量化和降维，但这些技术可能不足以应对现实世界中的日记账分录，因为这些分录在长度和复杂性上差异很大。此外，财务交易的非时间性特征限制了一些特征编码策略的使用。
先进的机器学习技术在非语义、分类财务数据方面仍未得到充分利用，传统的异常检测方法在解决非时间性和异质性数据复杂性方面存在不足。Sentence-Transformer LLM 在财务数据分析方面尚未开发的潜力，为处理特征变异性和稀疏性提供了创新机会。通过将 LLM 嵌入与优化的机器学习模型相结合，弥合重要的研究差距，可以显著提高财务异常检测的分类精度和数据编码稳健性，超越传统方法。
在我们的工作中，我们使用了来自各种匿名公司的汇总的真实世界总账数据集，如 Bakumenko 等人所述 [6]。该数据集包含匿名化的日记账分录，涵盖多个行业和时间段的系统特定账户计划。它最初经过预处理，排除了包含超过四个交易的分录，以管理异常值。它包含一小部分带标签的异常，其中包含八种类型的错误，这些错误由财务审计人员创建，以反映财务记录中常见的异常，表明现实世界异常检测中的关键关注领域。该数据集侧重于对异常检测至关重要的属性，例如源系统、账户类别和借贷指示器，简化了数据中异常的识别。
在这项工作中，我们对总账数据集应用了严格的伦理协议，确保彻底的匿名化，以消除任何关于公司或个人的可识别信息。该数据集保持机密，不可共享，防止未经授权的访问。我们避免使用云存储，以最大限度地降低数据泄露风险，维护数据集的完整性。数据处理和分析严格遵守法律和伦理准则。引入的异常经过精心管理，以维护研究目的的伦理数据操纵实践。
该数据集包含 32,100 个日记账分录中的交易级数据点，包括 148 个旨在反映异常模式而没有个体偏差的异常。为了在日记账分录中进行异常检测，将交易汇总成集合 ，其中 表示包含 个交易的日记账分录。汇总集合 是通过对每个 应用汇总函数 形成的，表示为
A = {A(J) | J ∈ J}在 Bakumenko 等人的工作中 [6]，填充将交易长度标准化为统一的特征向量 ，准备机器学习模型输入。交易由 ERP 属性定义，例如账户编号和借贷标志，合并到 特征中。此编码特征在稀疏矩阵中的维度遵循以下公式：
feature_count = max(transaction_amount) * (|unique_values(feature1)| + |unique_values(feature2)|)其中 是所有日记账分录中最大交易金额的乘积，表示为 ，以及 和 特征向量中唯一元素的组合计数（ 和 ）。因此，对于存在 577 个唯一 值和 特征向量中 4 个唯一值的独热编码方法，将导致 2336 个编码特征。此特征空间经过 PCA 降维。
相反，为了将 SBERT 模型应用于每个 JE 中的交易数据编码，我们首先基于 JE 标识符，通过 group-by 操作将交易分类特征连接起来。将每个交易的 和 属性以及交易本身组合在一起的过程如下：
text_8 = "Source: " + feature1_8 + " Account_DC: " + feature2_8 + " " + transaction_8其中 是组 的连接文本， 是组 中的交易数量。 是连接操作，使用逗号和空格作为交易的分隔符。 是组 中第 个交易的 属性， 是组 中第 个交易的 属性。
…
每个 JE 的连接文本 ( ) 被处理为单个句子结构。SBERT 模型的 encode 方法首先将每个字符串标记化为一系列标记。SBERT 然后使用其基于 BERT 的架构为每个标记生成上下文嵌入，这涉及多个 Transformer 层和自注意力机制。平均池化步骤将这些标记嵌入聚合为固定大小的句子嵌入。PCA 等降维没有用于保持嵌入的原始维度，确保精确的评估 [6]。我们将嵌入归一化为零均值和单位方差，以便在机器学习任务中提高一致性并加快收敛速度，这对于基于距离或梯度下降的算法至关重要，可以提高跨模型的性能。SBERT 嵌入为每个日记账分录创建固定大小的密集向量，捕获交易详细信息，通过总结复杂的数据交互，帮助进行异常检测和模式识别。
在机器学习中，类分布不平衡的偏斜数据集会阻碍模型训练中的分类任务，因为它会偏向多数类，并影响异常检测。遵循 [18] 中的指南，我们使用 80/20 分层分割，以确保训练集和测试集中包含比例异常表示，从而减少偏差。我们通过对少数类进行加权来调整不平衡，以提高模型阶段的敏感性，并确保结果一致性和与恒定随机状态的公平比较。在训练和优化中，我们避免了交叉验证，认识到它在不平衡数据集和大型特征集中存在的缺点，这一点由 Rao 等人指出 [33]。交叉验证会增加过拟合风险，尤其是在使用许多模型和广泛的超参数调整时。随着数据维度的增加，它的有效性会下降，导致模型方差更高，难以从复杂的特征交互中获得可靠的评估。不平衡数据集会加剧这一挑战，导致交叉验证折叠偏差，并导致性能评估偏差。
我们选择一致的 80/20 分层分割，以保持跨模型的测试集一致性，这对于准确比较算法性能至关重要，而交叉验证的可变数据子集可能会损害这一点。虽然这种策略可以缓解一些挑战，但它可能会影响模型的泛化能力。为了抵消这一点，我们采用了仔细的指标选择和训练后交叉验证评估，尽管由于数据集的复杂性，直接对少数类进行过采样技术不可行。
在这项工作中，我们评估了三种 Sentence-BERT 模型用于嵌入生成：all-mpnet-base-v2、all-distilroberta-v1 和 all-MiniLM-L6-v2，这些模型因其流行度和性能而被选中，这一点可以通过它们在 HuggingFace 模型中心的高下载率来证明 [16]。每个模型都在超过 10 亿对数据上进行训练，具有不同的优势：all-mpnet-base-v2 在质量方面表现出色，性能得分为 63.30 [35]，all-distilroberta-v1 在效率和性能之间取得平衡，大小为 290 MB，all-MiniLM-L6-v2 速度快，大小为 80 MB，适合实时应用 [35]。有关模型规格的详细信息，请参阅表 1。选择这些模型是因为它们在质量、效率和速度方面的互补优势，有助于这项研究中的全面评估。
我们还使用了五种机器学习分类器：随机森林 (RF)、使用 XGBoost (XGB) 的梯度提升机 (GBM)、支持向量机 (SVM)、逻辑回归 (LR) 和使用 Keras TensorFlow 实现的神经网络 (NN)。RF 以其通过集成决策树来减少过拟合的能力而闻名，GBM 以其通过优化弱学习器来解决数据不平衡问题的能力而闻名，SVM 以其在高维空间中的有效性而闻名，LR 是一种快速高效的基线，而 NN 则用于对复杂关系进行建模，需要仔细调整架构 [10, 12, 15, 17, 19, 23]。
我们的工作使用了一个包含实际异常和人工插入异常的财务数据集，旨在检测后者，同时最大限度地减少前者中的误报。该数据集反映了现实世界条件，具有显著的类不平衡，与 Bakumenko 等人的工作 [6] 中的数据集相同，经过匿名化和细化，只包含必要的分类特征。我们将 8 种类型的异常视为单个异常类，从而将其构建为二元分类挑战，确保我们的训练/测试分割中异常类型的均匀分布。
为了有效地识别财务日记账分录中的异常，这些分录构成一个高维数据集，我们通过使用 SBERT LLM 对非语义分类数据进行编码来进行创新，特别是使用 3 个 Sentence-Transformers 模型将可变长度的分录标准化为一致的特征空间，解决原始工作 [6] 中传统编码方法的局限性。
我们对来自三个 SBERT 模型嵌入的特征集进行了主成分分析 (PCA)（图 3）。PCA 展示了嵌入在数据集中的维度和信息保留能力，尽管进行了降维，但仍然保留了显著的方差。来自 all-MiniLM-L6-v2 模型 (LLM1) 的嵌入需要 63 个成分才能保留 99% 的方差，需要 150 个成分才能保留 99.9% 的方差，而 all-distilroberta-v1 (LLM2) 和 all-mpnet-base-v2 (LLM3) 模型，尽管向量更大（770），但对于相同的方差水平，需要的成分更少（LLM2 为 57 个，LLM3 为 52 个）。
进一步分析表明，最终 0.9% 的方差信息量较少，这表明它可能包含噪声或数据集特定的特征。一项比较研究（图 4）表明，LLM 嵌入在降维方面优于独热编码。LLM 嵌入在维度更少的情况下保持了高方差，这与来自独热编码的稀疏、高维向量形成对比。独热编码数据最初有 2336 个维度，降维到 419 个才能达到 99% 的方差，这仍然高于 LLM 嵌入。
重要的是要认识到 PCA 的线性性质限制了它捕捉非线性复杂性的能力。虽然 PCA 有助于理解结构属性和降维的潜力，但它不能预测下游任务中的性能。我们的扩展分析包括对这些任务中嵌入的经验评估。
总之，LLM 嵌入比独热编码提供更有效的数据表示，对于类似的方差水平，需要更少的维度，这使得 LLM 嵌入更适合复杂任务。
我们使用了各种机器学习分类器，如第 4.3 节所述，包括 SVM、RF、XGBoost、LR、ANN 和 DNN。对于非 ANN/DNN 模型，使用 Hyperopt 库和树形 Parzen 估计器 (TPE) 算法进行贝叶斯优化，在 100 次迭代中进行超参数调整。计算样本权重以解决不平衡数据集问题，并通过转换多类别标签来实现二元分类。模型训练使用 Python 以及 Scikit-learn 和 TensorFlow 库。我们设计了三种具有不同复杂度的神经网络架构，并在 50 个 epoch 上进行训练，并使用早期停止来进行泛化，如表 2 所示。
通过在 NumPy 和 TensorFlow 中固定种子来确保可重复性，并通过自定义回调来监控平均召回宏。ANN 模型包含单个隐藏层，用于快速训练，DNN1 包含多个隐藏层，用于复杂模式识别，DNN2 包含 dropout 层，以防止过拟合，同时保持类似 DNN1 的深度架构。
在这项工作中，我们之前讨论了将 LR 作为基线模型的好处。对于三个 SBERT 模型嵌入中的每一个，我们训练了两个下游 LR 模型：一个使用默认参数的模型和一个经过 Hyperopt 优化的模型。未经优化的模型在平均召回宏方面表现出高性能，分别为 all-MiniLM-L6-v2 为 0.9516，all-distilroberta-v1 为 0.9040，all-mpnet-base-v2 为 0.9520。图 5 显示了经过优化的 LR 模型的学习曲线，使用 函数进行交叉验证，以检查泛化和过拟合。它在不断增加的数据子集上训练模型，并在训练集和验证集上进行评估，使用 5 折交叉验证。我们计算了跨折叠的训练和验证分数的均值和标准差，以评估平均性能和变异性，同时考虑类不平衡。训练分数线（红色）表示训练子集的性能，交叉验证分数线（绿色）表示未见过的验证集的性能，提供了一个可靠的估计，用于评估跨数据子集的模型性能以及通过更多数据进行改进的可能性。
在图 5 中，所有三个模型都展示了积极的学习特征。E3 模型在学习和泛化方面表现出色，展示了强大的数据学习能力。E1 模型虽然性能尚可，但显示出达到学习能力极限的迹象。E2 模型正在改进，但需要更好的正则化策略。Hyperopt 优化的分析显示，E1 的 C 值为 0.07677，表明正则化程度适中。E2 的正则化更强，C 值为 0.01702，并使用 ‘newton-cg’ 求解器。E3 的 C 值最小，为 0.01358，使用 ‘liblinear’ 求解器，显示出最强的正则化。所有模型都使用统一的类权重来提高少数类预测精度，并根据其学习需求调整特定的正则化强度和求解器选择。
图 6 评估了 LR、RF、XGB、SVM 和 NN 分类器的性能，这些分类器经过优化并与来自三个语言模型的嵌入相集成。性能指标基于平均召回宏。所有嵌入都显示出不同程度的有效性，其中 all-mpnet-base-v2 在各种分类器中表现出稳定性和性能。all-MiniLM-L6-v2 也表现良好，尤其是在 LR 和 NN 中，而 all-distilroberta-v1 也很稳固，但没有在 NN 中超过 all-MiniLM-L6-v2。这些差异表明，某些嵌入在下游任务中与特定分类器更兼容，这指导了实际模型选择。
使用不同嵌入的优化模型的混淆矩阵值如表 3 所示。all-MiniLM-L6-v2 嵌入与 LR，以及 NN（如果 FP 减少），可能提供最平衡的性能，而 all-mpnet-base-v2 嵌入在跨模型的 TP 率方面表现出更高的性能。图 7 对比了 LLM 嵌入与传统填充独热编码在 LR、RF、SVM 和 NN 模型中的召回宏分数差异。每个条形图显示了 LLM 嵌入的召回分数差异，方框图总结了每个模型的分布和均值（菱形）。
对于 LR，LLM 嵌入将召回分数提高了 +0.056、+0.030 和 +0.032，分布紧凑，表明在跨嵌入方面的一致增强。相反，RF 模型在使用 LLM 嵌入时表现出下降，差异分别为 -0.066、-0.044 和 -0.021，变异范围适中。SVM 模型在使用 LLM 嵌入时性能下降，差异分别为 -0.085、-0.108 和 -0.015，显示出向更低性能的显著变异。NN 模型受益于 LLM 嵌入，分别增加了 +0.064、+0.050 和 +0.062，变异性最小，表明可靠的积极影响。LLM 嵌入改进的 LR 和 NN 模型性能优于传统的填充独热编码，但通常会降低 RF 和 SVM 模型的有效性。虽然某些模型可能始终受益于 LLM 嵌入，但这突出了在将 LLM 嵌入应用于数据编码时性能的模型特定变异性。
图 8 中的 Bland-Altman 图比较了两个分数集，评估了使用嵌入（all-MiniLM-L6-v2 (E1)、all-distilroberta-v1 (E2) 和 all-mpnet-base-v2 (E3)）的机器学习模型性能与传统方法的对比。红线显示了所有模型的平均召回宏分数差异。蓝线设置在平均差异 ± 1.96 SD，定义了一致性限度，表明大多数分数差异的预期范围。蓝线周围的点分散表明，某些模型的新嵌入与传统方法相比，与预期性能范围一致。性能在跨机器学习模型和嵌入方面有所不同。例如，NN 模型通常表现出改进的结果，这一点由红线上方的正偏差所示，而 SVM 模型显示出有效性降低，这一点由负偏差所示。总体而言，使用 LLM 嵌入的机器学习模型往往与传统方法的预期性能范围相匹配，表明平均结果相当。
对 Sentence-Transformer 嵌入进行的 PCA 分析表明，与传统方法相比，财务数据编码的紧凑性和信息保留能力有所提高，从而证实了假设 1。这突出了嵌入在标准化特征变异性和有效压缩信息方面的优越能力。
对于假设 2，将 Sentence-Transformer 嵌入与优化的 LR 和 NN 模型相结合，显示出改进的异常检测性能，这证实了 LLM 嵌入超越传统方法的潜力。虽然观察到一些性能差异，例如在 SVM 模型中，但这些差异都在预期的范围内。结果强调了这种创新方法的有效性，强调了战略性模型选择的重要性，以最大限度地发挥其优势。
这项工作利用 Sentence-Transformer LLM 对财务数据进行编码，展示了一种增强异常检测的新方法。
对来自三个 SBERT 模型（MiniLM-L6-v2、all-distilroberta-v1 和 all-mpnet-base-v2）的嵌入进行的 PCA 分析表明，与传统编码方法相比，财务数据集的降维和信息保留能力有了显著提高。例如，考虑到下游机器学习性能，all-mpnet-base-v2 模型只需要 52 个 PCA 成分就能保留 99% 的方差，而填充独热编码则需要 419 个。所有 3 个 SBERT 模型的嵌入特征维度在相同比较中明显更低。这种进步解决了财务非语义非时间性分类特征集中特征异质性和稀疏性的关键挑战，这比传统方法有了显著改进。下游机器学习模型的性能证实了 LLM 嵌入在异常检测中的有效性。各种机器学习分类器的使用，包括经过贝叶斯优化的 LR、RF、XGB、SVM 和 NN，以及多种架构和调整的参数，突出了嵌入的多功能性和提高模型性能的潜力。使用所有 3 个 SBERT 嵌入的 LR 和 NN 模型的优越评估指标强调了这些嵌入在增强异常检测方面的潜力。SVM 的表现不佳，即使在预期的范围内，也突出了在未来的应用中需要评估模型嵌入兼容性。
将 Sentence-Transformer LLM 整合到财务异常检测中，代表着从传统方法的飞跃，增强了数据表示和算法对异常的敏感性。这种方法在实际应用中承诺通过提高准确性和最大限度地减少误报来提高欺诈检测效率，从而简化财务操作。这种新方法在某些情况下将成分数量减少了八倍，同时提高了下游模型性能，有效地标准化了特征变异性。它证明了其有效性，并为财务数据编码设定了新的标准。随着这种方法论变得越来越普遍，它可能会在财务分析中建立新的基准，推动该行业机器学习应用的进步。进一步的实证研究和现实世界应用可以巩固其地位并量化其影响。
我们的研究使用了来自各种 ERP 的真实世界数据集，并由财务审计人员添加了八种不同的有意引入和标记的异常。这些异常反映了审计人员对实际异常检测的兴趣，具有合成性质，可能会限制泛化能力。此外，分析现实世界财务数据的挑战在于可能存在的未标记异常，这可能会使机器学习模型验证产生偏差，并增加误报率。此外，PCA 分析是一种线性方法，其能力有限，无法表示特征集中的非线性关系。此外，LLM 对提示工程做出反应，这意味着输入特征连接的变化会改变嵌入，这一点在本研究中没有涉及。最后，我们的方法侧重于分类特征，需要在需要精确数值分析的情况下进行扩展。
我们的研究通过将 LLM 嵌入与机器学习分类器相结合，推动了财务异常检测领域的发展，这是一种新方法，显著缓解了特征异质性和稀疏性问题。利用 Sentence-Transformer 模型对财务数据进行编码，我们的方法不仅在降维和信息保留方面超越了传统的编码技术，而且还展示了在选定的机器学习分类器中增强的异常检测效果。这与特征表示的既定原则相一致 [9]，反映了它们在财务数据环境中的实际应用。在全面的实验设置和展示实际适用性的基础上，我们的工作为自然语言处理和财务分析交叉领域未来的研究提供了宝贵的见解。
大型语言模型 (LLM) 在非语义财务数据上的创新应用解决了高维性和稀疏性问题，为 LLM 在其传统应用之外的领域的使用开创了先例。这反映了 LLM 成功地对视觉标记进行编码的发现 [30]。通过超越传统方法，LLM 嵌入展示了其在语言任务之外的潜力，特别是对于缺乏固有语义的数据类型。这种方法论的进步可以帮助各种具有类似挑战的行业，特别是医疗保健和零售行业，其中复杂的数据集可以从 LLM 增强的数据表示能力中获益。在医疗保健领域，LLM 嵌入可以通过检测主要为数值、缺乏文本清晰度或包含结构化数据（如 MRI、CT 扫描、ICD 代码和实验室值）的数据集中的模式来增强患者数据分析，这些数据需要领域知识才能进行解释。在零售领域，LLM 可以从高维交易数据中提供详细的见解，揭示复杂的产品-消费者交互。这可以增强机器学习模型预测行为、细分市场和推荐产品的能力，从而促进市场分析。
LLM 在非语义数据上的使用扩展了它们的应用范围，并促使人们重新思考数据分析方法，从而推动跨学科研究，探索其在复杂数据集中的潜力。
未来的研究应该将 LLM 嵌入方法扩展到更广泛的财务数据集，评估其可扩展性、对异常检测精度的影响以及响应不断变化的财务欺诈模式的计算效率。将这种方法扩展到跨多个领域的各种非语义数据类型，这些数据类型具有高维和稀疏数据集，并与其他先进的机器学习和深度学习模型相集成，将测试 LLM 嵌入的适应性和有效性。应该探索无监督策略来解决零日异常问题，改进我们的方法，以更好地检测新模式。未来的研究应该调查各种数据预处理策略（包括聚合方法和提示工程）如何提高 LLM 编码效率。对非线性降维技术的重点探索可以补充 PCA，旨在更有效地捕捉 LLM 嵌入中的复杂关系。调查合成异常与现实世界异常对模型性能的影响，将提供对发现的实际适用性的见解。最后，通过测试各种最先进的 LLM 架构来探索模型嵌入兼容性，可能会产生更量身定制的异常检测解决方案。
[1] Yara Alghofaili, Albatul Albattah, and Murad A Rassam. 2020. A nancial fraud
detection model based on LSTM deep learning technique. Journal of Applied
Security Research 15, 4 (2020), 498–516.
[2] A. Alhashedi. 2021. Financial Fraud Detection Applying Data Mining Techniques:
A Comprehensive Review from 2009 to 2019. Computer Science Review 40 (2021),
[3] Abhijit Anand, Jurek Leonhardt, Jaspreet Singh, Koustav Rudra, and Avishek
Anand. 2023. Data augmentation for sample ecient and robust document
ranking. ACM Transactions on Information Systems (2023).
[4] Matin N Ashtiani and Bijan Raahemi. 2021. Intelligent fraud detection in nancial
statements using machine learning and data mining: a systematic literature
review. IEEE Access 10 (2021), 72504–72525.
[5] V. Vlasselaer B. Baesens and W. Verbeke. 2015. Fraud analytics using descriptive,
predictive, and social network techniques : a guide to data science for fraud detection.
Wiley, New York.
[6] Alexander Bakumenko and Ahmed Elragal. 2022. Detecting anomalies in nancial
data using machine learning algorithms. Systems 10, 5 (2022), 130.
[7] Seila Becirovic, Emir Zunic, and Dzenana Donko. 2020. A Case Study of Cluster-
based and Histogram-based Multivariate Anomaly Detection Approach in Gen-
eral Ledgers. In 2020 19th International Symposium Infoteh-Jahorina (INFOTEH).
IEEE, 1–6.
[8] F Belfo and A Trigo. 2013. Accounting Information Systems: Tradition and Future
Directions. Procedia Technology 9 (2013), 536–546.
[9] Yoshua Bengio, Aaron Courville, and Pascal Vincent. 2013. Representation
learning: A review and new perspectives. IEEE transactions on pattern analysis
and machine intelligence 35, 8 (2013), 1798–1828.
[10] Leo Breiman. 2001. Random forests. Machine learning 45 (2001), 5–32.
[11] Longbing Cao. 2022. Ai in nance: challenges, techniques, and opportunities.
ACM Computing Surveys (CSUR) 55, 3 (2022), 1–38.
[12] Tianqi Chen and Carlos Guestrin. 2016. Xgboost: A scalable tree boosting system.
In Proceedings of the 22nd acm sigkdd international conference on knowledge
discovery and data mining. 785–794.
在信息爆炸的时代，如何从海量信息中快速找到我们想要的内容，成为了一个重要的挑战。排序学习（Learning to Rank，LTR）应运而生，它利用机器学习的力量，帮助我们对信息进行排序，将最符合用户需求的结果排在最前面。XGBoost作为一种强大的机器学习算法，在排序任务中也发挥着重要作用。
排序任务广泛应用于搜索引擎、推荐系统、广告平台等领域。例如，当你搜索“美食”时，搜索引擎会根据相关性、受欢迎程度等因素对结果进行排序，将最符合你口味的餐厅排在最前面。
XGBoost（Extreme Gradient Boosting）是一种基于梯度提升树算法的机器学习模型，它在各种机器学习任务中都表现出色，包括排序任务。
XGBoost在排序任务中主要使用pairwise rank方法。这种方法将排序问题转化为成对比较问题，即比较两个文档（doc）与当前查询（query）的相关程度，并根据比较结果对文档进行排序。
XGBoost的打分机制是基于树模型的预测结果。每个对在每棵树上都会获得一个分数，最终的打分结果是所有树上分数的累加。
需要注意的是，XGBoost的打分结果是相关度的一种表示，并不映射到某个具体数值。
假设我们有一个搜索引擎，需要对搜索结果进行排序。我们可以使用XGBoost模型来训练一个排序模型，并利用该模型对搜索结果进行排序。
XGBoost是一种强大的机器学习算法，它在排序任务中表现出色。通过使用XGBoost模型，我们可以构建高效、准确的排序系统，帮助用户快速找到他们想要的信息。
Learning to Rank (LTR) 是一种机器学习技术，用于构建能够对项目列表进行排序的模型，以最佳地满足用户的搜索意图。它在信息检索、推荐系统、自然语言处理等领域都有着广泛的应用。
LTR 的核心思想:
LTR 的核心思想是利用机器学习算法，从标注数据中学习一个排序函数，该函数能够预测不同项目与特定查询的相关性，并根据相关性对项目进行排序。
LTR 的应用场景:
LTR 的工作流程:
LTR 的主要类型:
LTR 算法主要分为三类：
LTR 的优势:
LTR 的挑战:
总而言之，LTR 是一种强大的机器学习技术，可以帮助我们构建更智能、更精准的排序系统。随着技术的不断发展，LTR 将在更多领域发挥重要作用。
使用 XGBoost 来优化搜索结果排序是一个很好的方法。以下是一个简单的步骤:
下面是一个简单的 Python 代码示例,展示如何使用 XGBoost 进行搜索结果排序:
import xgboost as xgb
from sklearn.model_selection import train_test_split
# 假设数据已经准备好,包含搜索结果特征、搜索词特征和用户特征
X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42)
# 创建并训练 XGBoost 模型
model = xgb.XGBRanker(objective='rank:pairwise',
learning_rate=0.1,
max_depth=3,
n_estimators=100,
random_state=42)
model.fit(X_train, y_train,
eval_set=[(X_val, y_val)],
eval_metric='ndcg@5',
early_stopping_rounds=10)
# 对新的搜索结果进行排序
new_X = ... # 新的搜索结果特征、搜索词特征和用户特征
rankings = model.predict(new_X)
sorted_results = new_X[np.argsort(rankings)[::-1]]这只是一个简单的示例,实际应用中可能需要更复杂的特征工程和模型优化。
XGBoost是一种强大的梯度提升算法，可以用于对搜索结果进行排序，从而提升搜索质量。下面将详细说明如何使用XGBoost进行搜索结果优化排序：
1. 数据准备
2. 模型训练
3. 模型评估和部署
示例代码 (Python)
import xgboost as xgb
from sklearn.model_selection import train_test_split
from sklearn.metrics import ndcg_score
# 加载数据
# 假设数据已经处理成特征向量，并存储在 X 和 y 中
# X: 特征矩阵，每行代表一个查询-文档对
# y: 相关性标签，值越大表示相关性越高
# 划分数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 定义 XGBoost 排序模型
params = {
'objective': 'rank:pairwise',
'eval_metric': 'ndcg',
'eta': 0.1,
'max_depth': 6,
'n_estimators': 100,
}
dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)
# 训练模型
model = xgb.train(params, dtrain, evals=[(dtest, 'eval')], num_boost_round=1000, early_stopping_rounds=10)
# 预测排序
y_pred = model.predict(dtest)
# 评估模型
ndcg = ndcg_score([y_test], [y_pred])
print(f"NDCG: {ndcg}")
# 保存模型
model.save_model("xgb_ranking_model.bin")总结
使用 XGBoost 对搜索结果进行优化排序是一个复杂的过程，需要进行数据准备、特征工程、模型训练、参数调优、模型评估和部署等多个步骤。同时，需要根据具体的业务场景和数据特点选择合适的特征、模型和评估指标，才能取得最佳的排序效果。
在信息检索领域，评估排序结果好坏是非常重要的环节。NDCG 和 MAP 是常用的两种评估指标，它们都考虑了文档的相关性和位置信息，但计算方式有所不同。
1. NDCG (Normalized Discounted Cumulative Gain): 归一化折损累计增益
NDCG 是一种衡量排序质量的指标，它考虑了文档的相关性和位置，认为排名靠前的相关文档比排名靠后的相关文档更有价值。
计算步骤:
NDCG 的取值范围是 [0, 1]，值越高表示排序效果越好。
示例:
假设有 5 个文档，相关性等级分别为：[完美, 优秀, 无关, 良好, 较差]，则：
计算 NDCG@3:
2. MAP (Mean Average Precision): 平均准确率均值
MAP 是一种衡量检索系统在所有查询上的平均性能的指标，它考虑了每个查询的平均准确率 (Average Precision)。
计算步骤:
MAP 的取值范围也是 [0, 1]，值越高表示排序效果越好。
示例:
假设有两个查询，每个查询返回 5 个文档，相关性标签如下:
计算 MAP:
总结:
选择哪种指标取决于具体的应用场景和需求。
为了更清晰地解释 NDCG 和 MAP 的计算过程，我们用一个具体的例子来说明。
假设有一个搜索引擎，用户提交了两个查询 Query 1 和 Query 2，每个查询返回了 5 个结果，每个结果的相关性等级已经标注好，如下表所示：
| 查询 | 排名 | 文档 | 相关性等级 | Gain |
|---|---|---|---|---|
| Query 1 | 1 | A | 完美 | 3 |
| 2 | B | 优秀 | 2 | |
| 3 | C | 无关 | 0 | |
| 4 | D | 良好 | 1 | |
| 5 | E | 较差 | 0 | |
| Query 2 | 1 | F | 优秀 | 2 |
| 2 | G | 无关 | 0 | |
| 3 | H | 良好 | 1 | |
| 4 | I | 完美 | 3 | |
| 5 | J | 较差 | 0 |
我们以 NDCG@3 为例，分别计算 Query 1 和 Query 2 的 NDCG@3，然后取平均值。
Query 1:
Query 2:
平均 NDCG@3:
分别计算 Query 1 和 Query 2 的 AP (Average Precision)，然后取平均值。
Query 1:
Query 2:
平均 MAP:
总结:
通过以上例子，我们可以看到 NDCG 和 MAP 都是用来评估搜索结果排序质量的指标，但它们侧重点有所不同。NDCG 更关注排名靠前的结果，而 MAP 则综合考虑了所有相关文档的位置。选择哪种指标取决于具体的应用场景和需求。
近年来，随着生成式大语言模型（LLMs）的广泛应用，其在法律领域也得到了越来越多的关注。然而，对于没有法律背景的用户来说，在面对法律案件时，他们往往难以用专业语言进行提问，也可能在向LLMs陈述案件时忽略关键的法律因素。为了解决这个问题，我们提出了诊断式法律大语言模型（D3LM），它利用类似律师的适应性诊断问题来收集额外的案件信息，并提供高质量的反馈。
D3LM结合了一种创新的基于图的正负样本强化学习（PURL）算法，能够生成关键问题，并增强用户与LLMs的交互。此外，一个集成的基于LLMs的停止准则，可以实现精确的法院观点生成（CVG）。我们的研究还引入了一个新的基于美国案例法数据库的英语CVG数据集，为LLMs研究和部署领域增添了重要维度。D3LM超越了传统LLMs，在法律领域展现出卓越的性能和非凡的用户体验。
传统LLMs在法律咨询中存在局限性，用户往往需要自行组织语言，而LLMs则无法主动引导用户提供更详细的信息。D3LM则不同，它就像一位专业的律师，通过一系列针对性的问题，引导用户提供更多案件细节，从而更准确地预测法律结果。
例如，假设一位客户因酒吧斗殴而被指控故意伤害。传统LLMs可能会基于客户提供的模糊描述，给出笼统的法院观点，但由于信息不足，可能会忽略关键细节。而律师则会通过一系列针对性的问题，深入了解案件细节，例如：”您当时是否处于酒精影响下？“，”酒吧是否有监控摄像头记录了事件？“。D3LM则能够自动生成类似的问题，在不增加额外成本的情况下，更深入地理解案件，并提高法律结果预测的准确性。
D3LM的核心技术在于将LLMs与法律知识图谱相结合，并利用正负样本强化学习（PURL）算法来生成关键问题。
1. 法律知识图谱： D3LM将美国案例法数据库中的案件信息转化为结构化的事实-规则图，并利用“问题、规则、分析、结论”（IRAC）框架，将复杂的案件叙述简化为简洁的表示形式。
2. 正负样本强化学习： D3LM通过随机遮蔽事实节点，生成一系列关于案件的潜在问题。然后，利用LLMs对遮蔽后的案件描述进行重建，并生成相应的法院观点。通过比较重建后的法院观点与真实法院观点，模型可以学习到哪些问题对于预测法律结果更重要。
3. 法院观点生成： D3LM基于PURL算法，能够根据用户提供的案件信息，生成更准确的法院观点。它能够识别案件中的关键因素，并通过一系列针对性的问题，引导用户提供更详细的信息，从而提高法院观点生成的准确性和可靠性。
为了更好地评估D3LM的性能，我们创建了一个全新的英语CVG数据集，该数据集基于美国案例法数据库，并经过法律专业人士的严格审核。该数据集弥补了英语法律分析数据集的不足，为法律AI研究提供了新的基准。
我们对D3LM进行了全面的评估，并将其与其他基准模型进行了比较。实验结果表明，D3LM在生成美国法院观点方面表现出色，在ROUGE和BLEU指标上均取得了最佳成绩。
此外，我们还进行了用户体验测试，结果表明，用户对D3LM的可靠性和满意度评分均高于GPT-4.0。这表明，D3LM的交互式提问方式，更能满足用户对法律咨询的实际需求。
D3LM的出现，为法律AI研究开辟了新的道路。未来，我们将进一步探索D3LM在其他领域，例如医疗和咨询领域的应用，使其能够为更多用户提供更便捷、更精准的服务。
参考文献
在信息爆炸的时代，问答系统（QA）成为了我们获取知识的重要工具。其中，基于检索的问答系统凭借其从外部资源中获取信息的能力，成为了主流方案。然而，当面对需要多步推理或整合多方面信息才能回答的复杂问题时，这些系统就显得力不从心了。
如何判断一个问题是否复杂？ 现有研究大多关注问题本身的结构，例如多跳问题（需要多步推理才能找到答案）或组合型问题（答案需要整合多个信息片段）。然而，这些指标并不能完全反映一个问题在检索问答系统中的实际难度。
检索复杂度：衡量问答系统难度的全新视角
本文介绍了一种名为检索复杂度（RC） 的全新指标，用于衡量问答系统在回答特定问题时的难度。RC 考虑了 检索结果的完整性，即检索到的文档是否包含足够的信息来回答问题。
直观理解： 假设我们想问“狮子比老虎大吗？”，这个问题虽然结构简单，但答案可能只需要从一个描述狮子和老虎大小的文档中找到。而另一个问题“狮子比冰箱大吗？”，则需要整合多个信息片段才能得出答案，因为很少有文档会同时描述狮子和冰箱的大小。
Reference-based Question Complexity Pipeline (RRCP)：揭示检索复杂度
为了量化检索复杂度，研究者们设计了一个名为 RRCP 的无监督管道。它包含三个关键部分：
GenEval：精准评估答案正确性
GenEval 是一种基于编码器-解码器结构的模型，经过训练可以判断检索到的文档是否包含问题的正确答案。与其他评估方法相比，GenEval 具有以下优势：
两个约束：揭示复杂问题的本质
RRCP 通过两个约束来判断问题的复杂程度：
实验验证：RRCP 的优越性
研究者们在多个问答数据集上对 RRCP 进行了评估，结果表明：
未来的方向：突破局限，开拓应用
尽管 RRCP 取得了显著成果，但也存在一些局限性，例如对参考答案的依赖和对检索系统质量的敏感性。未来，研究者们将致力于：
检索复杂度：问答系统发展的新起点
检索复杂度的概念为我们理解问答系统的难度提供了新的视角。通过识别复杂问题，我们可以更好地优化问答系统，提升其在处理复杂问题时的性能。未来，随着技术的不断发展，检索复杂度将成为问答系统发展的新起点，推动问答系统向着更智能、更精准的方向发展。
参考文献：
近年来，大型语言模型（LLM）作为强大的对话式代理，在搜索引擎领域掀起了一场革命。像OpenAI和perplexity.ai这样的公司推出了完全对话式的搜索服务，而谷歌等传统搜索引擎也开始将生成式内容融入其中。这些对话式搜索引擎通过将检索到的网站文本加载到LLM的上下文中，进行摘要和解释，为用户提供更人性化的搜索体验。
然而，这种革命性的搜索技术也带来了一个不容忽视的问题：对话式搜索引擎是否可以被操纵，从而始终推崇某些特定的内容？这个问题在商业领域尤其重要，因为网站排名往往与企业的收入和声誉息息相关。
操纵对话式搜索引擎：一场隐形的“战争”
本文将深入探讨对话式搜索引擎的排名机制，并揭示其在对抗性操纵面前的脆弱性。研究人员发现，通过在网站内容中注入对抗性提示，可以有效地影响LLM的排名结果，从而将某些网站置于搜索结果的顶端。
LLM的“弱点”：对抗性提示注入
LLM虽然强大，但它们也存在一些弱点。近年来，研究人员发现，LLM很容易受到“越狱”和提示注入攻击的影响。这些攻击通过在LLM的输入中插入对抗性字符串，破坏LLM的安全性和质量目标。
对话式搜索引擎的“弱点”：排名机制的脆弱性
对话式搜索引擎通常采用检索增强生成（RAG）架构，通过检索相关文本并将其加载到LLM的上下文中来生成答案。研究人员发现，RAG模型的排名机制容易受到对抗性提示注入攻击的影响。
实验结果：对抗性提示注入的有效性
研究人员通过实验验证了对抗性提示注入的有效性。他们构建了一个名为RagDoll的数据集，包含来自不同产品类别（如个人护理、电子产品、家用电器等）的真实网站。实验结果表明，不同的LLM在优先考虑产品名称、文档内容和上下文位置方面存在显著差异。
更重要的是，研究人员发现，通过使用基于攻击树的“越狱”技术，可以可靠地将排名较低的网站提升到搜索结果的顶端。这些攻击甚至可以转移到像perplexity.ai这样的先进对话式搜索引擎。
未来展望：防御对抗性提示注入攻击
研究人员强调，对话式搜索引擎的脆弱性是一个亟待解决的问题。他们呼吁更多研究人员关注LLM的鲁棒性，并开发有效的防御机制，以抵御对抗性提示注入攻击。
参考文献
总结
对话式搜索引擎的崛起为我们带来了更加人性化的搜索体验，但也带来了新的安全挑战。对抗性提示注入攻击的出现表明，对话式搜索引擎的排名机制存在漏洞，这可能会对企业的利益和用户的搜索体验造成负面影响。因此，加强LLM的鲁棒性，开发有效的防御机制，将成为未来对话式搜索引擎发展的关键。
近年来，大型语言模型（LLM）展现出惊人的能力，引发了人们对它们与人脑相似性的思考。一些研究人员试图通过测量模型预测神经信号的能力，即“脑评分”，来量化这种相似性。LLM 的内部表征在脑评分方面取得了最先进的成果，这让人们猜测它们可能与人类语言处理共享计算原理。然而，这种推断只有在 LLM 预测的神经活动子集反映了语言处理的核心要素时才有效。
本文将对一项关于 LLM 与人脑映射的具有影响力的研究中使用的三个神经数据集进行分析，重点关注参与者阅读短篇文本的 fMRI 数据集。研究发现，当使用与先前研究中相同的数据集进行随机训练-测试分割时，一个编码时间自相关的简单特征不仅优于 LLM，而且解释了 LLM 解释的大部分神经方差。因此，研究人员建议谨慎使用随机训练-测试分割，并使用连续测试分割进行后续分析。
研究人员发现，未经训练的 LLM 在脑评分方面表现出高于预期的水平，这引发了人们对 Transformer 架构是否将计算偏向更像人脑的猜测。然而，研究表明，未经训练的 LLM 预测的神经方差，实际上主要由两个简单的特征解释：句子长度和句子位置。这削弱了 Transformer 架构更像人脑的证据。
进一步研究发现，经训练的 LLM 在该数据集上的脑评分主要由句子长度、句子位置和代词消解后的静态词嵌入解释；一小部分额外的方差由词义嵌入和句子结构的上下文表征解释。
为了深入了解 LLM 与人脑之间的映射关系，研究人员采用了逐步增加特征复杂度的策略，从简单的句子长度和句子位置特征开始，逐步添加词义嵌入、句法嵌入等更复杂的特征。
结果表明，一个包含核心词义消解的简单模型，在解释 LLM 预测的神经方差方面表现出色，甚至超过了 LLM 本身。更复杂的上下文处理，例如词义消歧和上下文句法表征，在解释神经方差方面只起到了一定的补充作用。
研究表明，过度依赖脑评分可能会导致对 LLM 与人脑之间相似性的过度解读。研究人员强调，在使用脑评分进行分析时，需要对神经编码性能进行系统性分解，并与简单且理论上不重要的特征进行比较。只有在进行这种分解之后，我们才能更有把握地认为 LLM 的神经预测能力反映了人类语言处理的核心方面。
参考文献
IPFS（星际文件系统）作为一种去中心化的文件存储和分发协议，正逐渐成为 Web3 世界的基石。而 Helia 作为 IPFS 在 JavaScript 和浏览器端的现代化实现，为开发者提供了更便捷、高效的工具，让他们能够轻松地将 IPFS 集成到自己的应用中。
Helia 的优势
Helia 拥有以下几个关键优势：
Helia 的应用场景
Helia 可以应用于多种场景，例如：
Helia 的使用示例
以下是一些使用 Helia 的示例：
import { createHelia } from 'helia';
import { strings } from '@helia/strings';
const helia = await createHelia();
const s = strings(helia);
const myImmutableAddress = await s.add('hello world');
console.log(await s.get(myImmutableAddress));
// hello worldimport { createHelia } from 'helia';
import { json } from '@helia/json';
const helia = await createHelia();
const j = json(helia);
const myImmutableAddress = await j.add({ hello: 'world' });
console.log(await j.get(myImmutableAddress));
// { hello: 'world' }import { createHelia } from 'helia';
import { dagJson } from '@helia/dag-json';
const helia = await createHelia();
const d = dagJson(helia);
const object1 = { hello: 'world' };
const myImmutableAddress1 = await d.add(object1);
const object2 = { link: myImmutableAddress1 };
const myImmutableAddress2 = await d.add(object2);
const retrievedObject = await d.get(myImmutableAddress2);
console.log(retrievedObject);
// { link: CID(baguqeerasor...) }
console.log(await d.get(retrievedObject.link));
// { hello: 'world' }Helia 的未来
Helia 正在不断发展，未来将会有更多功能和改进，例如：
总结
Helia 是 IPFS 在 JavaScript 和浏览器端的现代化实现，为开发者提供了更便捷、高效的工具，让他们能够轻松地将 IPFS 集成到自己的应用中。随着 IPFS 的不断发展，Helia 将会扮演越来越重要的角色，推动 Web3 世界的构建。
参考文献
互联网正变得越来越中心化。从域名解析到内容托管，再到路由和证书颁发，越来越多的服务都集中在少数几家大型公司手中。这种中心化趋势带来了单点故障风险，一旦这些公司出现问题，整个互联网都可能陷入瘫痪。2013 年亚马逊电商平台的宕机事件就是一个典型的例子，每分钟的损失超过 66000 美元。
为了解决这个问题，近年来兴起了一场“网络去中心化”技术运动，旨在赋予用户更多控制权。IPFS (星际文件系统) 就是这场运动中的重要一员。IPFS 是一个完全去中心化的、内容寻址的媒体对象存储和检索平台。 它将内容的名称与其存储位置分离，并依赖去中心化的对等网络来索引和存储数据，从而避免了单一实体对网络的控制。
IPFS 的核心概念
IPFS 的设计基于四个主要概念：
IPFS 如何工作？
IPFS 通过以下步骤发布和检索内容：
IPFS 的优势
IPFS 带来了许多优势，包括：
IPFS 的挑战
IPFS 也面临着一些挑战，包括：
IPFS 的未来
尽管面临着挑战，IPFS 仍然拥有巨大的潜力。它有可能改变我们存储和访问数据的方式，并为互联网带来更去中心化、更安全、更可靠的未来。
参考文献
近年来，随着人工智能技术的飞速发展，长文本检索成为了一个备受关注的研究领域。传统的检索方法往往难以处理长文本，而新的模型和方法正在不断涌现，为我们提供了更强大的工具。今天，我们将介绍由斯坦福大学 Hazy Research 团队发布的最新成果：LoCoV1 长文本检索基准测试和 M2-BERT 模型的最新进展。
在之前的一篇博文中，Hazy Research 团队曾向社区征求对长文本检索的需求。经过与研究人员和从业者的交流，他们发现法律、编程等领域对长文本检索有着迫切的需求。为了满足这些需求，他们构建了 LoCoV1 基准测试，它包含了来自法律、医学、科学、金融、公司治理、政府报告等多个领域的 12 个任务。
LoCoV1 基准测试使用了多个真实世界的数据集，包括 Tau Scrolls、QASPER、LongBench、Legal Case Reports 等。这些数据集的共同特点是：
Hazy Research 团队在 HuggingFace 上发布了 LoCoV1 的查询和文档，方便研究人员进行测试。
为了更好地应对 LoCoV1 基准测试中的挑战，Hazy Research 团队对 M2-BERT 模型进行了微调，并发布了新的 M2-BERT-V2 模型。这些模型针对 128、2k、8k 和 32k 的输入 token 进行了优化，并可以在 HuggingFace 和 Together 平台上进行推理。
在 LoCoV1 基准测试上，M2-BERT-V2 模型的表现非常出色，甚至超过了更大规模的模型。例如，M2-BERT-80M-32k-Retrieval 模型在 LoCoV1 上取得了 95.2 的得分，超过了 4 倍大小的 E5-Mistral 模型和 85 倍大小的 OpenAI Ada 模型。
LoCoV1 基准测试和 M2-BERT 模型的最新进展，标志着长文本检索领域取得了新的突破。未来，Hazy Research 团队将继续探索如何将神经网络、词汇方法和混合方法相结合，进一步提升长文本检索的性能。
Announcing LoCoV1 and the Latest M2-BERT Models · Hazy Research
引言
近年来，人工智能（AI）在各个领域取得了突破性进展，自然语言处理领域更是如此。大型语言模型（LLM）的出现，让我们看到了AI在理解和生成人类语言方面的巨大潜力。然而，生物学领域却相对落后。DNA作为生命的基本代码，蕴藏着丰富的生物信息，但我们对它的理解还远远不够。
DNA：生物学的语言
DNA就像一门复杂的语言，包含着关于生命运作的全部信息。它由四种碱基（A、T、C、G）组成，排列组合形成基因，进而决定了生物体的性状和功能。然而，与人类语言不同，DNA语言更加复杂，包含着多种模态，例如DNA、RNA和蛋白质。这些模态相互关联，共同构成生命活动的复杂网络。
Evo：一个突破性的DNA模型
为了更好地理解和利用DNA信息，斯坦福大学Hazy Research团队开发了一个名为Evo的生物基础模型。Evo是一个长上下文模型，能够处理超过65万个token的DNA序列，并进行预测和生成任务。
Evo的训练数据来自270万个原核生物和噬菌体基因组，包含3000亿个token。它基于StripedHyena架构，结合了旋转注意力机制，并通过高效的上下文扩展技术，将上下文长度扩展到131000个token。
Evo的亮点
DNA建模的挑战
DNA建模面临着许多挑战，其中最主要的是：
DNA的扩展规律
为了更好地理解DNA模型的扩展规律，Hazy Research团队进行了DNA扩展规律实验。他们训练了300个模型，涵盖了Transformer++、Mamba、Hyen和StripedHyena等多种架构，并通过改变模型大小和数据集大小来观察模型性能的变化。
实验结果表明，Transformer++在DNA建模方面表现较差，而Hyen和StripedHyena则表现出更好的扩展率。这表明，自然语言模型的架构不一定适用于DNA建模。
机械架构设计
为了更好地理解模型架构的选择，Hazy Research团队开发了一种新的框架，称为机械架构设计（MAD）。MAD利用合成任务来测试不同的架构设计选择，并建立了合成任务性能与扩展规律之间的联系。
未来方向
Evo的出现为生物学研究开辟了新的可能性。未来，研究人员将继续努力改进Evo模型，并将其应用于更多领域，例如：
结论
从DNA学习是生物学领域的重大挑战，也是人工智能领域的重要机遇。Evo模型的出现标志着生物学研究进入了一个新的时代。随着人工智能技术的不断发展，我们有理由相信，未来我们将能够更好地理解和利用DNA信息，为人类健康和社会发展做出更大的贡献。
参考文献
日耳曼人，这个曾经让罗马帝国胆寒的民族，如今已成为欧洲文明的重要组成部分。他们的足迹遍布欧洲，他们的语言和文化影响着世界各地。但日耳曼人究竟是谁？他们从何而来？又经历了怎样的历史变迁？让我们一起走进日耳曼人的世界，探寻他们的起源和发展。
“日耳曼人”并非一个单一的民族，而是一些语言、文化和习俗相近的民族（部落社会）的总称。他们从公元前2千年到4世纪生活在欧洲大陆西北部，包括今天的德国、奥地利、瑞士、荷兰、丹麦、挪威、瑞典等地区。
“日耳曼”一词的起源尚无定论，但最可信的理论认为它源于高卢语，意为“邻近的人”。 也有学者认为，这个词在凯尔特语中意为“吵闹的”。 值得注意的是，日耳曼人自己可能并没有将自己看作是同一个民族，直到罗马人开始用“日耳曼人”来称呼他们。
由于缺乏文字记载，我们只能通过考古学和语言学来了解日耳曼人的早期历史。通过比较日耳曼语和其它印欧语言，语言学家们可以重建“前日耳曼语”，即日耳曼语的祖先语言。
研究表明，日耳曼语属于印欧语系，与凯尔特语和古意大利语关系密切。 这三种语言被认为是古欧洲语言，在青铜器时代早期（约公元前3000-2000年）是中欧的通用语言。 日耳曼语与凯尔特语的亲缘关系也体现在一些词汇的借用上。 此外，日耳曼语也对芬兰语等语言产生了影响。
考古学研究则表明，欧洲北部的青铜器时代居民很可能是日耳曼人的祖先。 但关于更早的石器时代居民与日耳曼人的关系，目前尚无定论。
最早关于日耳曼人的记载来自他们与希腊人和罗马人的接触。公元前330年，希腊旅行家皮西亚斯记录了北海地区和当地居民的情况。 公元前200年，东日耳曼人中的巴斯塔奈人入侵了今天的罗马尼亚东部，与马其顿和巴尔干半岛上的其他民族发生战争。
公元前1世纪，日耳曼人开始频繁与罗马发生冲突。辛布里人和条顿人南下，对罗马帝国构成严重威胁。 尽管罗马军队最终战胜了他们，但日耳曼人对罗马边境的威胁从未消失。
公元1世纪，罗马帝国试图将边界扩展到易北河，但最终在公元9年的条顿堡森林战役中惨败。 这场战役是日耳曼人反抗罗马帝国统治的标志性事件，也标志着罗马帝国向东扩张的终结。
从公元2世纪开始，日耳曼人开始大规模迁徙。 他们向南、向西扩张，对罗马帝国的边境造成巨大压力。 公元3世纪，日耳曼人入侵罗马帝国，最终导致了西罗马帝国的灭亡。
日耳曼人的迁徙是多种因素造成的，包括人口增长、气候变化、饥荒以及与其他民族的冲突。 这些迁徙也导致了欧洲民族的重新洗牌，形成了新的民族和国家。
日耳曼人主要以农业为生，但也有一些游牧民族。 他们没有货币，以物易物进行贸易。 他们的社会结构比较简单，以氏族和部落为单位。
日耳曼人信仰多神教，崇拜自然神灵。 他们的神话和传说在北欧神话中得到了传承。 他们也有一些独特的艺术形式，例如卢恩字母。
日耳曼人对欧洲文明的影响是深远的。 他们的语言演化成了英语、德语、荷兰语、瑞典语、挪威语等多种语言。 他们的文化和习俗也对欧洲文化产生了深远的影响。
日耳曼人的历史是一部充满传奇和英雄事迹的历史，也是一部关于迁徙、战争和融合的历史。 他们的故事告诉我们，民族的兴衰更替是历史的必然规律，而文明的传承和发展则是人类共同的追求。
参考文献
AI 计算需求与日俱增，如何让 GPU 充分发挥潜力成为一大难题。斯坦福大学的研究人员最近发布了一个名为“雷猫”（ThunderKittens）的工具，它可以显著提升 GPU 的运行效率，甚至比目前最快的 FlashAttention2 还要快 30%！
雷猫的秘密武器在于它对 GPU 硬件的深度理解。研究人员从“硬件实际需要什么？如何满足这些需求？”这两个问题出发，设计了一个嵌入式 CUDA DSL 工具。雷猫通过操作小型张量块（tile）来简化 AI 内核的编写，并充分利用张量核心、异步数据传输和共享内存等硬件特性。
研究人员以英伟达最新的 H100 GPU 为例，深入探讨了如何优化 GPU。H100 拥有 989 TFLOPs 的半精度矩阵乘法计算能力，但要充分发挥它的能力，关键是保持张量核心持续运算。
然而，要做到这一点并不容易。研究人员发现，H100 硬件具有一些特性，对于保持矩阵乘法的运行至关重要：
为了更轻松地编写所需的内核类型，并充分发挥硬件的全部潜力，雷猫应运而生。它是一个嵌入在 CUDA 中的 DSL，包含四种模板类型：寄存器 tiles、寄存器向量、共享 tiles 和共享向量。雷猫提供了一系列操作来处理这些张量，既可在 warp 级别使用，也可用于多个 warp 协作。
雷猫的优势在于它的小而简单，功能有限，但它符合 AI 和硬件的发展趋势。研究人员认为，AI 的设计理念应该根据硬件特性进行重新定义，例如循环状态应该足够大以适应一个 SM，计算的密度应该不低于硬件的需求。
雷猫的出现，标志着 AI 和硬件深度融合的新方向。研究人员认为，未来需要利用对硬件的了解，设计与之匹配的 AI，从而进一步提升 GPU 的性能，释放 AI 的潜力。
雷猫的未来展望：
雷猫的出现，为 AI 计算领域带来了新的希望。通过深入理解硬件特性，并设计与之匹配的 AI，我们可以进一步提升 GPU 的性能，释放 AI 的潜力，为 AI 技术的进步贡献力量。
参考文献：
[1] https://hazyresearch.stanford.edu/blog/2024-05-12-tk
斯坦福大学的研究人员开发了一款名为“雷猫”的新工具，它被称为GPU性能的秘密武器。这个工具可以提高GPU的运行效率，比使用FlashAttention-2（FA2）还要快。通过使用雷猫，研究人员成功地将H100 GPU的性能提升了30%[1]。
以下是关于斯坦福“雷猫”工具的一些关键信息：
斯坦福大学的研究人员通过这项研究和开发的“雷猫”工具，成功提高了GPU的运行效率，为AI算力资源紧张的时代提供了一种新的解决方案。这项研究对于进一步优化GPU性能和提高AI算力的利用率具有重要意义。
Learn more:
AI 算力资源越来越紧张，如何让 GPU 充分发挥潜力成为一大难题。最近，斯坦福大学的研究人员发布了一个名为“雷猫”（ThunderKittens）的工具，它可以显著提升 GPU 的运行效率，甚至比目前最快的 FlashAttention2 还要快 30%！
雷猫的秘密武器在于它对 GPU 硬件的深度理解。研究人员从“硬件实际需要什么？如何满足这些需求？”这两个问题出发，设计了一个嵌入式 CUDA DSL 工具。雷猫通过操作小型张量块（tile）来简化 AI 内核的编写，并充分利用张量核心、异步数据传输和共享内存等硬件特性。
研究人员以英伟达最新的 H100 GPU 为例，深入探讨了如何优化 GPU。H100 拥有 989 TFLOPs 的半精度矩阵乘法计算能力，但要充分发挥它的能力，关键是保持张量核心持续运算。
然而，要做到这一点并不容易。研究人员发现，H100 硬件具有一些特性，对于保持矩阵乘法的运行至关重要：
为了更轻松地编写所需的内核类型，并充分发挥硬件的全部潜力，雷猫应运而生。它是一个嵌入在 CUDA 中的 DSL，包含四种模板类型：寄存器 tiles、寄存器向量、共享 tiles 和共享向量。雷猫提供了一系列操作来处理这些张量，既可在 warp 级别使用，也可用于多个 warp 协作。
雷猫的优势在于它的小而简单，功能有限，但它符合 AI 和硬件的发展趋势。研究人员认为，AI 的设计理念应该根据硬件特性进行重新定义，例如循环状态应该足够大以适应一个 SM，计算的密度应该不低于硬件的需求。
雷猫的出现，标志着 AI 和硬件深度融合的新方向。研究人员认为，未来需要利用对硬件的了解，设计与之匹配的 AI，从而进一步提升 GPU 的性能，释放 AI 的潜力。
参考文献：
[1] https://hazyresearch.stanford.edu/blog/2024-05-12-tk
[2] https://github.com/HazyResearch/ThunderKittens
[3] https://news.ycombinator.com/item?id=40337936
斯坦福大学的研究人员最近发布了一个名为“雷猫”（ThunderKittens）的工具，它可以显著提升 GPU 的运行效率，比目前最快的 FlashAttention2 还要快30% [1]。雷猫是一个嵌入在 CUDA 中的 DSL 工具，通过操作小型张量块来简化 AI 内核的编写，并充分利用 GPU 硬件的特性，如张量核心、异步数据传输和共享内存等 [1]。
下面是关于雷猫和 GPU 性能提升的一些关键信息：
参考文献：
Learn more:
AI 算力资源越来越紧张，如何提升 GPU 的运行效率成为了热门话题。斯坦福大学的研究人员近日推出了一个名为 ThunderKittens（暂且译为“雷猫”）的嵌入式 CUDA DSL 工具，它能显著提升 GPU 的性能，甚至比目前最快的 FlashAttention-2 还要快 30%。
“雷猫”的秘密武器：小型张量块
“雷猫”的强大之处在于它巧妙地利用了 GPU 的硬件特性。它将 AI 内核的编写简化，并充分利用底层硬件能力。具体来说，它主要抽象了寄存器和共享内存中的小型张量块（tile），这与目前 GPU 中对小矩阵乘法的优化相匹配。通过操作这些 tile，开发者可以相对简单地编写代码，充分利用张量核心、异步数据传输和共享内存等硬件特性。
H100：如何榨干它的潜力？
为了更好地理解“雷猫”的原理，我们以英伟达最新的 H100 GPU 为例。H100 拥有强大的计算能力，但要充分发挥它的潜力，需要克服一些挑战。
“雷猫”：简化代码，提升性能
为了解决这些挑战，斯坦福的研究人员开发了“雷猫”。它包含四种模板类型：寄存器 tiles、寄存器向量、共享 tiles 和共享向量。开发者可以使用这些模板类型和一系列操作来处理张量，并充分利用 GPU 的硬件特性。
“雷猫”的优势：
未来展望：
斯坦福的研究人员认为，小型张量块的设计理念符合 AI 和硬件的发展趋势。他们相信，未来会看到更多基于小型张量块的 AI 设计，以及硬件对小型矩阵乘法的支持。
总结：
“雷猫”是一个强大的工具，它可以帮助开发者更轻松地编写高效的 AI 内核，并充分发挥 GPU 的潜力。它不仅能提升 AI 模型的训练和推理速度，还能促进一系列高吞吐量应用的发展。
参考文献：
[1] https://hazyresearch.stanford.edu/blog/2024-05-12-tk
[2] https://github.com/HazyResearch/ThunderKittens
[3] https://news.ycombinator.com/item?id=40337936
