麻省理工学院的研究人员最近带来了一种全新的系统PClean，能够自动地清洗脏数据，如错误、值缺失、拼写错误和值不一致。这可帮了AI从业者、数据分析师、数据科学家等的大忙，摆脱脏数据的噩梦，也算是看到尽头处的希望了。

这个系统名为 PClean，是概率计算项目(Probabilistic Computing Project)研究人员编写的针对特定领域的概率编程语言，旨在简化人工智能应用程序的开发并实现自动化，例如时间序列和数据库进行建模)。

PClean 为这类判断提供了一个通用的常识模型，可以根据特定的数据库和错误类型进行定制化操作。

PClean 使用基于知识的方法来自动化数据清洗的过程: 即用户在定义数据的时候，已经隐含包括了数据库的背景知识以及可能出现的各种问题。

例如，有一个场景，当清理公寓列表数据库中的国家名称的时候，如果有人说他们住在比佛利山庄，但是没有留下任何其他信息怎么办？虽然在加州有著名的比弗利山庄，但在佛罗里达州、密苏里州和德克萨斯州也有一个，而且在巴尔的摩有一个被称为比弗利山庄的社区。你怎么知道这个人住在哪里？这就是 PClean 这门脚本语言创造的初衷。

用户可以向 PClean 提供有关域以及数据可能如何损坏的背景知识。PClean 通过常识性概率推理将这些知识结合起来得出答案。

会彼此帮助的PClean

PClean 提供了一种从计算机中检索常识的一种方法，就像人们寻求彼此帮助的方式一样。

当你向朋友寻求帮助时通常比向电脑寻求帮助要容易。这是因为在大多数编程语言中，程序员必须给出一步一步的明确指令，这种指令不能假定计算机具有任何关于世界或任务的上下文，甚至不能假定计算机具有常识推理能力。

但对于人类，可以假设所有聊天的双方有共同的常识。

PClean可以让我告诉计算机我所知道的问题，编码的背景知识就像我向一个帮助我清理数据的人解释的那样。我还可以给出 PClean 我已经发现的快速解决问题的技巧。Hanna Pasula和其他来自加州大学伯克利分校Stuart Russell实验室的研究人员在2003年的一篇论文中提出，基于陈述性、生成性知识的概率性数据清洗可能比机器学习提供更高的准确性。

基于概率编程的最新进展，麻省理工学院概率计算项目建立的一个新的人工智能编程模型，使得应用人类知识的现实模型来解释数据变得更加容易。

PClean对于数据的修复基于贝叶斯推理，这种方法结合了先验概率（给定的手头数据）和后验概率，能够对填补的数据给出一个概率值。

做出这种不确定的决策的能力是概率编程的核心——由数据集告诉计算机它可能会看到什么样的东西，并让计算机自动使用这种能力以便找出可能正确的答案。

PClean 是第一个贝叶斯数据清洗系统，它可以结合领域专业知识和常识推理，自动清洗数百万条记录的数据库，主要包括了三个创新：

首先，PClean 的脚本语言可以让用户对他们所了解的常识信息的进行编码。这就产生了更准确的模型，即使对于复杂的数据库也是如此。

其次，PClean 的推断算法使用了一种两阶段的方法，基于一次处理一条记录的方式来对如何清理记录做出明智的猜测，然后再次调用其判断函数来修复错误。这将产生稳健、准确的推断结果。

第三，PClean 提供了一个自定义编译器，用于生成快速推理代码。这使得 PClean 能够以比多种相似方法更快的速度在万条记录的数据库上运行。

因PClean 是基于贝叶斯概率的，它也可以给出校准的不确定性的估计。“它可以维持多种假设ーー给你分级判断，而不仅仅是是/否的回答。这可以建立信任，并帮助用户在必要时覆盖 PClean。例如，你可以看到一个判断，其中 PClean 是不确定的，并告诉它正确的答案。然后，它可以根据你的反馈更新其余的判断。

这种将人类判断与机器判断相互交织的互动过程具有很多潜在价值。我们认为，PClean 是一种新型人工智能系统的早期例子，它可以告诉人们更多的人们所知道的信息，在不确定的时候报告，以更有用的、类似人类的方式推理和与人交流。

DeepMind 的资深研究科学家David Pfau在一条推文中指出，PClean 满足了一种商业需求: 考虑到绝大多数商业数据不是狗的图片，而是关系数据库和电子表格中的条目，像这样的事情还没有像深度学习那样成功，真是个奇迹。