你的数据烂摊子，LLM真能一键搞定？深度揭秘数据准备领域的范式血战
原标题：
Can LLMs Clean Up Your Mess? A Survey of Application-Ready Data Preparation with LLMs
论文地址：
https://arxiv.org/abs/2601.17058
代码地址：
https://github.com/weAIDB/awesome-data-llm
简要介绍
数据准备是数据科学中最耗时、最繁琐，却又至关重要的一环。当你的数据一团糟时，大语言模型能像一位超级助理一样，帮你把烂摊子收拾干净吗？
这篇由19位作者合作完成的综述，系统性地审视了LLM如何正在重塑数据准备的整个范式。
这篇综述深入探讨了LLM在实现“应用就绪”数据准备方面的最新进展、核心技术与未来挑战，明确指出我们正经历一场从刚性、规则驱动的传统管道到灵活、语义理解驱动的智能工作流的范式转移。
核心洞察可以概括为三点：
范式转移： 数据准备的核心范式，正从规则与模型特定的管道，转向提示驱动、上下文感知且具备智能体能力的工作流。
任务三分法： LLM赋能的数据准备技术可系统性地划分为三大核心任务：数据清洗、数据集成和数据丰富化，每项任务都因LLM的语义理解能力而得到极大增强。
机遇与挑战并存： LLM方法在泛化性和语义理解上优势明显，但同时也面临着高昂成本、幻觉问题、评估体系薄弱等严峻挑战。
核心矛盾
在数据驱动的决策时代，原始数据往往像一堆未经加工的原材料，充满了噪声、不一致和缺失。
传统的数据准备方法严重依赖手工编写的规则、特定领域的模型以及复杂的ETL管道，它们脆弱、难以维护，且无法理解数据的“语义”。
本文要探讨的核心矛盾是：日益增长的对“应用就绪”数据的需求，与僵化、低效的传统数据准备方法之间的鸿沟。
破局动力
那么，LLM为何能成为破局的关键？ 驱动这一变革的有三大力量：
业务端对即时可用的高质量数据的迫切需求；
LLM技术在自然语言理解和生成上的巨大突破；
支持灵活智能体构建的基础设施（如Databricks Unity Catalog）的成熟。
这三者共同将LLM推上了数据准备舞台的中央。
首先，这篇综述清晰地勾勒了一场根本性的范式转移。
过去，我们构建的是规则驱动、模型特定的管道。
这意味着，每遇到一种新的数据问题或格式，都需要数据工程师手动编写脚本或训练专用模型，流程刚性且扩展性差。
而现在，LLM催生了提示驱动、上下文感知、具备智能体能力的工作流。
数据准备任务可以通过自然语言指令（提示）来灵活定义，LLM能理解表格和文本的上下文，并能以智能体的方式自主调用工具、迭代执行复杂任务。
其次，论文提出了一个清晰的任务中心式分类法，将LLM赋能的数据准备领域划分为三大支柱任务：
数据清洗：包括标准化、错误处理、缺失值填补等。LLM凭借其强大的语义理解能力，能智能地识别和纠正“北京”和“Beijing”实为同一实体，而传统规则可能对此无能为力。
数据集成：包括实体解析、模式匹配等。LLM可以深入理解不同数据源中表头和值的含义，从而更准确地进行关联，解决了长期困扰数据集成任务的语义鸿沟问题。
数据丰富化：包括数据标注、数据画像等。LLM可以自动为数据打上标签、生成描述性摘要，极大地提升了从数据中提取洞察的效率。
优势与局限
对于每一项任务，论文都调研了代表性技术，并犀利地指出了其优势与局限。
优势： 核心在于泛化能力和语义理解。一个训练好的LLM可以处理未见过的数据格式和问题，无需为每个新任务定制开发。
局限： 同样突出。 scaling LLM的成本高昂，处理海量数据时账单惊人；幻觉问题即使在最先进的智能体中依然存在，可能导致数据被错误“修复”；先进的算法与薄弱评估之间的不匹配，如何科学地衡量LLM数据准备的效果本身就是一个开放挑战。
总结
这篇综述的启示在于，LLM确实有能力“收拾我们的烂摊子”，但这并非一蹴而就。
它描绘的是一幅从“手工业时代”迈向“智能化时代”的转型图景。当前我们正处在转型的早期，机遇巨大，但挑战也同样真实。
未来的发展将依赖于可扩展的LLM-数据系统、可靠智能体工作流的原则性设计，以及鲁棒的评估协议这三个支柱的突破。
对于每一位数据从业者而言，理解并拥抱这一范式转移，将是驾驭未来数据浪潮的关键。