上一篇说到,地质行业数据功课的落差,卡在"没有数据集"这三个字上。不少单位的第一反应是:我们数据不少啊,几十年的报告、几十万条监测记录。但这里有个普遍的误会——数据量大,从来不等于数据质量高。一千万条水位记录,如果孔号有五种写法、基准面有三种,对模型来说不是知识,是噪声。这一篇,把高质量数据集的定义和判断标准一次讲清。

先分清三样东西:资料、数据、数据集

用岩芯打比方最直观。资料是岩芯本身,第一手证据,只有受过训练的人能读;数据是岩芯编录表,孔深、岩性、采取率一格一格填好,可以统计、可以入库;数据集则是在此基础上,还知道每一格的依据是什么、谁编的、有没有复核,并按统一口径组织好、能直接拿去训练或评测模型的一批记录。一句话概括:资料是给人看的,数据是给软件算的,数据集是给模型学的。模型靠从大量样例中找规律来学习,所以它需要的不仅是内容正确,还要口径统一、来源可查、对错有人判过——这三件事,恰恰是传统数据库时代没有做的。

多源数据统一组织

四个硬条件,缺一不可

判断一份数据集合不合格,看四条。一是可计算:关键信息结构化、字段化,能用一句查询把"全区揭露某地层的钻孔"拉出来,而不是埋在报告段落里。二是可分析:同一种东西全库一个名字、一套口径,标注齐全,能做跨记录的关联和统计。三是可追溯:每条数据都能回答从哪来、何时采、经过哪些处理——专业说法叫数据谱系,它是判断"这条界线凭什么信"的唯一依据。四是可验证:质量有量化门限,能对照任务效果检验,而不是凭一句"专家看过"。

从形容词到验收单

这四个条件并不是凭空提出。2026年10月,中国信通院联合有关单位发布《面向智能体能力构建的高质量数据集建设指南(2026年)》,给出了可直接引用的量化门限:监督微调阶段数据错误率低于1%,字段完整性高于99%,标注一致性高于95%,数据以近两年为主。这组数字的价值在于,它把"高质量"从一个形容词,变成了一张可以签字的验收单——做内部质控、定验收标准、写招标技术要求,都可以直接拿去用。

还要澄清两个常见误会。其一,"清洗干净"不等于高质量——去重、去噪只是及格线,口径统一、标注齐全、来源可查才是主体工程。其二,"专家看过"不等于有质量依据——签字若没有落到"哪几个字段核过、按什么规则核、核出什么问题、怎么改的",这份质量就不可继承,换个项目同样的错还会再犯。高质量数据集不是清理干净的数据库,也不是更大的语料库,而是有标准、有标注、有质量依据、能支撑任务的数据资产。

地质数据标准化治理

那么,花力气建成数据集,对地勘单位的日常工作到底意味着什么?下一篇从四个最常见的痛点讲起。