在数字化时代，数据作为核心资产，其高效处理与利用成为企业和组织发展的关键。然而，大量数据以非结构化文本、传统文档等形式存在，导致数据提取面临巨大挑战。人工智能，尤其是大语言模型（LLMs）的爆发式发展，为大规模自动化数据提取提供了新的可能。它不仅能够处理海量文档，还能应对多种格式的数据，无需预先针对所有可能的格式进行开发，极大地提升了数据处理的效率和灵活性。
但在实际应用中，并非所有LLM模型都能达到预期效果。不同模型在性能、适用场景等方面存在显著差异。本文将围绕数据提取这一具体场景，深入探讨不同LLM模型的表现，分析影响模型性能的因素，并结合实际测试案例，为读者呈现一幅全面的LLM模型对比图景，旨在为相关领域的研究和应用提供参考。
一、LLM模型发展现状与挑战
（一）模型迭代速度与多样性
当前，LLM领域呈现出蓬勃发展的态势，模型更新换代速度极快。以GPT系列为例，其主要版本每年发布多次， minor版本更是每两周左右就有更新。与此同时，开源社区如HuggingFace、LlamaHub等也在不断推动模型的进化，涌现出大量不同类型、不同规模的模型。这种快速发展的局面，为数据提取任务提供了丰富的模型选择，但也带来了巨大的挑战。
开发团队若采用简单粗暴的方式，选择运行最大、最强大的模型，期望借此获得最佳结果，往往会发现事与愿违。同样，花费大量时间对模型进行微调或优化提示词，虽然可能在一定程度上提升性能，但面对如此快速的模型迭代，这种方式难以持续，团队可能会陷入不断更新代码的困境，否则就有被竞争对手超越的风险。
（二）软件架构的新挑战
在传统的软件开发中，UI开发经历了从将模型、视图、控件等混合编码到分层抽象的过程，从而实现了更好的可维护性和扩展性。而在AI编码领域，目前的状况类似于早期的UI开发。像LlamaIndex、LangChain等框架虽然具有一定的模型无关性，但开发人员仍然需要将模型和提示词嵌入到代码中，缺乏清晰的分层结构。
DSPy等框架试图通过模块化方法，将业务逻辑、提示词和AI代理分离，以应对这一挑战。然而，尽管LLMs为数据处理自动化打开了新的大门，但也催生了一种新型的软件架构。在这种架构下，如何确保当前构建的系统在一年后仍能保持更新，目前还缺乏成熟的理解和方法。这意味着开发团队需要探索新的架构模式，以适应LLM模型快速变化的特点。
二、数据提取场景下的模型对比测试设计
（一）测试目标与场景
为了真实评估LLM模型在数据提取任务中的性能，本次测试选择了一个具有代表性的场景：读取简历并回答关于候选人的问题，同时以明确的格式返回答案。这一场景要求模型具备多方面的能力，包括理解人类设计的文档结构、把握文档的语义内容、能够根据从简历中“读取”的信息回答特定问题，以及构建符合严格模式的输出。通过这一测试，可以全面考察模型在实际应用中的表现。
（二）测试框架与工具
本次测试采用LlamaIndex作为调用模型的框架，利用Ollama在本地运行模型，确保测试环境的可控性和稳定性。同时，使用Pydantic定义输出格式，明确数据提取的结构和要求，便于对模型的输出进行验证和评估。
（三）模型组合与测试方法
测试中选取了3种嵌入模型和13种LLM模型进行组合测试。由于语言系统具有统计特性，模型结果会存在波动，因此每种嵌入模型和LLM模型的组合运行10次，通过计算平均值和总分来衡量模型的准确性和一致性。
在评分方面，制定了明确的规则：当系统能够准确从简历中提取信息时加分；若无法提取姓名等必填信息，或错误提取技能、将雇主误判为职位等情况，则进行扣分；如果LLM生成的输出无法映射到Pydantic模式，导致无法通过程序验证，则视为失败。这种评分方式能够全面、客观地反映模型的性能。
（四）数据结构设计
为了使测试结果具有结构化，同时又不过于僵化，定义了ResumeData和WorkExperience等Pydantic模型。这些模型允许大多数字段为null，或接受字符串列表或字典等开放结构，给予LLMs足够的灵活性。在实际处理中，即使许多LLMs返回格式不佳的JSON，也会先检查常见错误并进行纠正，然后再进行解析。此外，模型中包含至少一个嵌套字段，以模拟现实场景中复杂的数据结构，更真实地测试模型的处理能力。
三、测试结果与分析
（一）整体表现与嵌入模型的影响
从整体测试结果来看，大多数模型在使用BAAI/bge-base-en-v1.5嵌入数据时表现更佳。该嵌入模型不仅带来了最佳的平均得分和总分，还使失败次数最少。这表明嵌入模型在扩展LLM知识方面起着至关重要的作用，其性能直接影响LLM在数据提取任务中的表现。不同的嵌入模型与LLM模型之间的交互存在差异，选择合适的嵌入模型是提升整体性能的关键因素之一。
（二）小模型的逆袭：Qwen3与Gemma3
在测试中，令人意外的是，具有40亿参数的Qwen3和Gemma3模型，其表现竟然超过了拥有706亿参数的Llama3.3模型。这两个模型是从更大的模型中提炼而来，并且具备混合语言和推理模式。这种模式使它们能够分析提示词，制定回答策略，并检查结果，从而在更复杂的推理和提取任务中表现出色。
进一步对Qwen系列模型进行测试发现，在本次挑战中，参数规模存在一个拐点，即40亿参数。小于40亿参数的模型表现较差，而超过40亿参数的模型虽然运行速度变慢，但结果并未得到改善。这一发现打破了“模型越大，性能越好”的固有观念，表明在特定任务中，模型的结构和设计比单纯的参数规模更为重要。
（三）模型间交互的复杂性
Gemma3与BAAI/bge-base-en-v1.5嵌入模型搭配时，是得分最高的组合之一。然而，当将嵌入模型切换为nomic-embed-text时，Gemma3甚至无法生成合法的JSON结果。这一现象揭示了即使在简单的RAG设置中，模型之间的交互也可能产生意想不到的结果。不同模型对不同的嵌入方式敏感，这种复杂性使得在实际应用中，仅仅优化单个模型是不够的，还需要充分考虑模型之间的兼容性和协同效应。
四、影响LLM模型性能的关键因素
（一）嵌入模型的选择
嵌入模型负责将人类文本转换为LLM能够处理的向量形式，其质量直接影响LLM对新信息的理解和利用。一个优秀的嵌入模型能够准确捕捉文本的语义特征，使LLM能够更有效地检索和利用相关信息。在数据提取任务中，合适的嵌入模型可以提高信息检索的准确性和效率，从而提升整体性能。因此，在实际应用中，应根据具体的任务需求和数据特点，精心选择嵌入模型。
（二）模型参数规模与结构
虽然传统观念认为模型参数规模越大，性能越好，但本次测试表明，在特定任务中，参数规模并非唯一的决定因素。Qwen3和Gemma3等小模型通过合理的结构设计，如混合语言和推理模式，能够在复杂任务中超越大模型。这说明模型的结构设计，如是否具备分析提示、策略制定和结果检查等功能，对性能有着重要影响。在选择模型时，需要综合考虑参数规模和模型结构，根据任务的复杂度和需求，选择最适合的模型。
（三）模型间的协同效应
模型之间的交互是一个复杂的过程，不同模型的组合可能产生不同的效果。在RAG架构中，LLM和嵌入模型之间的协同工作至关重要。本次测试中Gemma3在不同嵌入模型下的表现差异，充分说明了这一点。在实际应用中，需要对模型组合进行充分的测试和优化，以发现最佳的协同方式。此外，随着代理系统的发展，未来的系统可能包含多个AI和模型，它们之间的交互将更加复杂，因此如何实现模型间的良好协同，是需要解决的关键问题之一。
五、对软件架构的启示
（一）传统模块化模式的局限性
在传统的软件开发中，模块化模式通过将问题分解为简单、独立的组件，实现了系统的稳定性、可扩展性和安全性。然而，在基于代理的系统中，复杂性从传统的设计模式转移到了黑箱AI模型中。传统的模块化模式难以适应这种新的复杂性，因为AI模型的内部工作机制难以理解和预测，模型之间的交互也存在不确定性。
（二）新架构模式的探索
面对LLM模型带来的新挑战，软件架构需要发展新的模式和方法。未来的架构将更少地关注数据交换和格式设计，而更多地关注AI交互点，这些交互点将成为新的API。开发团队需要探索如何管理多个模型和AI代理之间的交互，确保系统的可靠性和安全性。
在构建基于LLM的系统时，可以借鉴传统软件开发中的分层思想，将业务逻辑、模型管理、提示词优化等模块分离，提高系统的可维护性。同时，需要建立有效的模型评估和监控机制，及时发现模型性能的变化，并进行调整和优化。此外，还需要研究如何实现模型的动态替换和升级，以适应快速发展的LLM技术。
六、结论与展望
（一）结论总结
本次对比测试深入探讨了不同LLM模型在数据提取任务中的表现，得出了以下重要结论：
- 嵌入模型对LLM的性能有着显著影响，选择合适的嵌入模型是提升数据提取效果的关键。
- 模型参数规模并非决定性能的唯一因素，小模型通过合理的结构设计，能够在特定任务中超越大模型。
- 模型之间的交互复杂且难以预测，即使在简单的架构中，不同模型组合也可能产生巨大的性能差异。
- 基于代理的系统带来了新的软件架构挑战，传统模块化模式需要更新，以适应AI模型的动态性和复杂性。
（二）未来研究方向
随着LLM技术的不断发展，未来在数据提取领域还有许多值得研究的方向：
- 进一步探索模型组合的优化方法，研究如何通过自动调优技术，快速找到最佳的LLM和嵌入模型组合。
- 开发更高效的模型评估指标，不仅关注准确性，还应考虑模型的运行效率、可解释性等因素。
- 研究如何将领域知识融入LLM模型，提高模型在特定行业数据提取任务中的性能。
- 探索新型的软件架构模式，如基于微服务的AI代理架构，以实现系统的灵活扩展和动态管理。
（三）对实际应用的建议
对于企业和组织在实际应用中选择和使用LLM模型进行数据提取，提出以下建议：
- 不要盲目追求大模型，应根据具体的任务需求和数据特点，选择合适规模和结构的模型。
- 重视嵌入模型的选择和优化，通过实验比较不同嵌入模型的效果，找到与LLM模型最匹配的组合。
- 建立模型测试和验证机制，在部署模型之前，进行充分的测试，评估模型在实际数据中的表现。
- 关注软件架构的适应性，采用模块化、分层的设计思想，便于模型的更新和维护。
LLM模型为数据提取带来了革命性的机遇，但同时也带来了诸多挑战。通过深入的对比分析和持续的研究探索，我们能够更好地利用LLM技术，提升数据处理的效率和质量，为数字化时代的发展提供有力支持。
code:https://github.com/lucasmcgregor/medium__llm_comparison
