FindMyText：开源文本查重工具，高效检测大规模语料中的文本复制

近日，arXiv平台发布了一项名为FindMyText的开源Python工具包，专门用于高效检测给定文本是否在大型语料库中出现完全或部分复制。该工具基于文档指纹技术，但创新性地引入了匹配指纹序列的捕获机制。通过识别连续的指纹匹配链，FindMyText能够更准确地发现近乎逐字复制的文本内容，而非仅仅是语义相似。这一特性使其特别适合用于验证语料库中是否存在受版权保护的材料。

FindMyText采用分布式、基于磁盘的索引框架，能够扩展到处理大规模网络爬取数据集。研究人员构建了新的文本查重评估基准，并在三个数据集（ArXiv论文、维基百科和通用网络内容）上进行了测试。结果显示，FindMyText在各项指标上均优于现有方法，展现出更强的鲁棒性和可扩展性。

该工具的开源特性为学术界和产业界提供了实用的文本查重解决方案，有望在版权保护、内容审核和学术诚信等领域发挥重要作用。研究人员表示，未来将继续优化算法性能，并探索在更多场景下的应用可能性。