针对图谱的质量评估,本文提出了四个痛点:
- 与关联数据不同,图是半结构化的,通常没有模式来指定数据的完整性和语义。异构性和灵活性使得结构更加复杂。
- 语义网和知识图谱通常遵循开放世界假设(OWA),即知识图谱中未包含的语句可能是错误的,也可能是缺失的。因此,很难区分错误的元组和缺失的元组。
- 现实世界的知识图谱通常包含大量噪声,传统技术中广泛采用的“数据基本正确”的假设可能并不成立。
- 由于现实生活中的知识图谱规模通常超出现有方法的处理能力,直接应用这些技术往往会耗费大量时间和精力。因此,迫切需要开发新的知识图谱解决方案。
图谱构建的相关标准
RDF与数据质量评估
W3C 的资源描述框架 (RDF) 2 是一种通用的知识表示数据模型。在 RDF 标准中,每个事实都以 ( 主语,谓语,宾语 ) (SPO) 三元组的形式表示,其中主语和宾语是实体, 谓语反映了它们之间的关系。此外,还有一些谓语的对象是字面值而非实体,用于描述实体的不同属性。例如,“ 中国的首都是北京 ”这一陈述在 RDF 中可以表示为 ( sub:China, pred:capital, obj:Beijing )。每个三元组都是一个原子元素,可以转换为节点和边,从而在视觉呈现中形成图,称为 RDF 图。知识图谱便可以用RDF结构表示。

数据质量维度提供了一种从不同方面评估数据质量的方法,每个方面都与各种待计算的指标和度量相关联。选择哪些维度取决于数据使用者和下游任务。一般来说,它可以分为四类:内在维度、上下文维度、可访问性维度和表示维度 [23] 、 [46] ,如图所示。更本质地说,这些维度又可分为内在维度和外在维度两类 [47] ,前者依赖于数据本身,后者则依赖于应用程序。
<aside>
<img src="/icons/square-alternate_gray.svg" alt="/icons/square-alternate_gray.svg" width="40px" />
数据质量维度
- **准确度:**它衡量数据是否正确反映事实,即数据与实际值接近的程度。
- **一致性:**这意味着数据彼此一致,并且在特定完整性约束方面不存在冲突。
- **完整性:**它描述了数据集是否包含所有相关的感兴趣数据,包括模式级别、属性、类型等。关于完整性,有封闭世界假设 (CWA)、开放世界假设 (OWA) 和部分完整性假设 (PCA) [48] 来解释不存在的三元组。
- **时效性:**它反映了数据的最新程度 [49] ,对于经常动态变化的数据集很有用。
- **冗余:**这意味着数据集中不包含两个名称不同的相同对象(如实体或属性)。
</aside>

数据从生成到最终应用,其生命周期包含多个处理转换阶段,任何阶段都可能出现质量问题。这意味着数据质量的考量应贯穿整个数据流。下图展示了一个包含五个步骤的数据生命周期流水线,分别是:数据生成、信息提取、数据集成、分析和应用。

数据质量管理分为以下三个过程:
- 质量评估。 这是使用预定义的维度和指标对数据质量进行测量和评估的过程,目的是检查数据质量是否能够满足应用程序的要求。
- 问题发现。 与仅着眼于对特定质量问题进行总体感知的评估不同,问题发现致力于找出固有的错误断言,并进一步推导出更高层次的模式来解释这些错误发生的原因。已识别的错误断言可以被移除或修改,而错误模式有助于揭示其根本原因,这两方面都有助于进一步改进质量。
- 质量改进。 这是为了提高数据集的整体质量。考虑到各种质量维度,它可以分为两类:错误纠正,涉及诸如不准确、不一致和过时等各种问题;以及完善,提高数据集的覆盖率。
图谱的评估方案
人工众包