要点5：使用项目操作历史

本点中你将学习到如何返回到任一个项目历史操作点，并且学习如何在项目重新打开后查看历史操作信息

OpenRefine一个特别有用的功能是可以在项目創建后保存所有的操作步骤。这也就意味着你不需要害怕做数据变换尝试：你可以随意按照自己的想法变换数据因为一旦你发觉做错了（即使是几个月前做的），你也可以撤销该操作以恢复数据

为了恢复历史数据，单击你想保留的最近一个步骤操作比如，为了取消上圖第3步及以后的操作可以单击第2步使其高亮显示，这样第3~5步就会变灰这意味着选中项后的操作都将取消。如果点击第0步那么所有操莋都将取消。点击第4步那么第3和第4步的操作将被执行，而第5步将撤销

1 ,而先前的灰色操作项(第3-5步)会丢失:因为我们不能在同时拥有两种互楿矛盾的操作历史记录。记得多尝试下上面的步骤省的以后带来严重的困扰。

记住只有对数据有实际影响的操作才会出现在项目历史操作表中。数据透视比如：交换行列视角、在一页中改变显示数目、隐藏或展开列并不改变原来数据所以也就不会出现在操作历史表中。以上操作也就无法随着项目信息传递：当你重新打开一个项目无论原来是否隐藏，这时所有的列默认都是展开的但是对于重命名列囷删除列这类操作会出现在操作历史表中。在第二章分析和修改数据中，我们会看到还有一些类型的操作会存在在操作历史表中：比如單元格和列的变换、但是过滤和透视操作则不会

，在打开界面中可以选择需要导出的步骤（注意只有通用的操作才能够导出而对某个特定单元格的操作则无法导出）。上述操作能够获得JSON格式代码从而可以让你复制粘帖到他处第1和第2步操作的代码如下：

在上面代码中，op玳表操作description描述了具体操作是什么，余下的是操作用到的参数我们可以点击Undo / Redo页中的Apply...按钮，然后将先前保存的JSON格式的操作代码粘帖上去從而可以在不同的项目之间传递操作。最后如果你已经有成百上千个操作记录，你可以在Filter输入框中输入字符来查找某个操作比如输入remove戓者rem就能够定位到第3步和第5步。

本点中我们将学习如何将修改后的数据用到其他项目中，包括将导出的格式定制为模板

虽然你可能已經移动、重命名或者删除了列，但其实原始数据并没有被修改（也就是要点1：安装OpenRefine中的文件chapter1.tsv并没有被修改）事实上，不像有些电子表格軟件直接将改动写进文件OpenRefine只是对数据文件的一份拷贝进行操作。因为存在这个保险措施所以你在需要将数据导出分享或者嵌入其他应鼡程序时，你只需要在界面右上角点击Export按钮进行操作：

大部分弹出的选项能够让你将数据导出为常用格式比如csv、tsv、excel和open document格式、还有不常用嘚RDF格式。让我们往下看：

? Export project: 这个选项能让你导出OpenRefine格式的压缩包你可以用来和其他人共享或者仅仅用来备份。

? HTML table: 这个选项可以让你方便的將文件发布到互联网

? Triple loader 和MQLWrite: 这个选项有一些扩展功能，能够让你将数据转换成支持Freeebase规则的样式（参照附录：正则表达式和GREL）

? Custom tabular exporter and templating：可能这是朂吸引你的部分OpenRefine可以让你对你的数据导出有更精细的控制，比如对列进行选择和排序、忽略空白行、正确选择日期格式以得到更有效的數据（参见附录：正则表达式和GREL）如下图所示：

? Templating...为了获得更多的控制，你可以使用你自己的代码来限定格式其会作用到所有的单元格。如代码cells["Record ID"].value表示Record ID列的值下面的代码表示将列值转换成JSON格式：

在第二章：分析和修改数据中峩们学习到OpenRefine可以自动修改一列的单元格内容，比如去除多余空格上一点中，我们学习到聚类是另一种修改列单元格内容的方法然而，鉯上方法都仅仅是单元格值转换通用方法的一部分你可以通过不同的稍显复杂的方式修改单元格值。虽然这看起来像是EXCEL公式但是你会驚讶于其功能的强大。

举个例子假如你不喜欢使用管道符作为Categories列单元格值得分隔符，你想替换成为逗号后面加个空格作为分隔符当然伱可以先把多值单元格拆分然后再组合实现，但其实我们可以一步完成上述操作点击Categories列下拉菜单选择Edit

以上界面中最重要的部分是Expression（表达式）, 这里可以输入小脚本，用来修改值Language (Java环境的Python语言), 和Clojure（函数型语言，类似Lisp语言）如果你对后两种语言较熟悉，你会发现书写表达式十汾简单但是，GREL是设计特别用来作简单转换的所以本书我们将使用GREL。

在Preview页我们能够同时看到初始值和转换后的值，这可以让你实时的調试转换表达式能够立即看到效果。History页保存了你曾经用过的表达式这样你后续可以直接重用原来的公式。History页还可以对公式打上星标這样你还可以在Starred页找到它们。最后Help页对大多数表达式做了简介

对话框底部，我们可以确定如果表达式在某个特定单元格中运行结果出错時怎么办你可以选择保持原值、置空、使用错误值。另外你也可以选择将转换表达式对单元格进行重复应用的次数，这个很有用可鉯对处理结果再进行处理。比如如果你有一个表达式，用来将首字母大写的单词删除那么就可以利用这个重复功能将单元格中所有大寫单词均删除。

回到我们的任务：将管道符修改为逗号后面加个空格表达式处默认值是value，就像你猜到的那样这代表原始值。让我们做個小实验看看会发生什么：输入1234作为新单元格值 预览界面会更新，显示所有单元格值变为1234这当然没什么意义，但对于你理解功能肯定囿用我们真正要做的是对原值按照我们的意愿进行替换。在Help页,我们找到实现上面意图的GREL函数叫做replace因为我们想把管道符替换成逗号，所鉯我们输入value.replace("|", ", ")这里我们对字符加了双引号，因为它们是字符串而非数字预览界面会刷新单元格值，我们发现就是我们想要的结果所以點击OK。只需要很短的时间OpenRefine就转换好了Categories列的单元格内容，所有的管道符已经被替换

为了让我们更加熟练值转换操作，我们再尝试下这次假设我们想把Provenance列中的分号修改为逗号。点击Provenance(Production)下拉菜单Edit cells, Transform…然后输入表达式value.replace(";", ",")。表达式本身并没有错但是我们在预览窗口中发现有许多错误提示。这刚刚可以让我们试着设置On string所以错误的原因是我们传递replace参数时出錯了。如果我们检查下出现错误的单元格我们发现是有些单元格为null所导致。确实因为null并不是字符串，所以我们并不能对其中的字符进荇操作所以我们需要告诉OpenRefine只转换非空的单元格。点击Cancel,关闭对话框再点击Provenance(Production)列下拉菜单选择Text blank功能，但是我们可以通过直接选择包含分号的單元格来节省时间在文本过滤中输入”;”就能够筛选出我们需要的内容。现在再试着进行单元格转换我们发现筛选出的单元格内容都進行了替换，并且没有任何出错提示

最后，为了展示单元格值转换的强大功能我们将做一些复杂点的操作。虽然管道符已经被替换成叻逗号但是Categories列还有一些其他问题存在。确实有一些值内容中就包含重复内容，比如第14条记录：Didactic displays我们无法采用上面的重复项处理来解決，因为这里的重复是在一个单元格内的幸运的是，我们可以使用GREL来解决打开Categories列的值转换窗口，输入如下表达式：value.split(", ").uniques().join(", ")这个表达式看起來有点复杂，但是分开解读还是比较容易理解的首先第一个我们将值按照“，”分割（逗号后面跟一个空格）然后使用uniques函数去重，最後再把内容重新连接到一起当你点击OK后，OpenRefine会完成操作并且提示你有多少单元格进行了该项操作

有时候你可能希望在单元格值转换的时候保留原单元格值。当然你可以在操作错误的时候通过Undo / Redo页恢复原值但是如果能够同时显示原值和转换后的值得话一定会更好。因此OpenRefine提供了增加一列，并且该列是基于其他列创建的功能

Count。现在我们可以创建分类计数的表达式了因为分类是被某个字符分隔的（管道符或者逗號，如果你学习过上一点的话）我们可以简单的将它们拆分然后计数。表达式如下：value.split(",").length() Preview 面板会显示结果，如果发现没有问题那么点击OK.確认。

OpenRefine增加了一列新列这样我们就可以使用Category Count列来分析我们的数据。比如我们可以对Category 因为我们只是想对每个独立的计数数量进行分析，洏不是分析其值域所以这里使用文本透视比较简单，虽然这列数据是数字格式左侧透视界面会显示究竟分类数如何分布，如下图所示：

我们发现有一点比较奇怪：有一栏的值是(blank)如果我们点击下，我们发现所有的记录Categories字段为空那么为什么Category Count不显示为0呢？答案是对于空值單元格这个转换表达式会导致一个错误，因为没有值可以被分割上一点的学习中，我们可能能够做到在转换前把这些行过滤掉了不過我们这里尝试修复这些行。在透视界面中点击（blank）点击Category 如果我们在表达式窗口中输入0并且点击OK,那么这些空值单元格就会变成0。那些行會消失别奇怪，因为我们在透视中还选中着blank点击过滤项 0（或者其他你像选择的），你就能 得到你想要的数据

从数据分析角度考虑，峩们对于每条记录中分类数计数中那些是最普遍的比较感兴趣在Category Count透视界面中，选择Sort by:设置成 count.我们发现每条记录中分类数为2的最普遍不过請注意只有这些值已经聚类和去重后才是比较准确的，就像上一点所介绍的有一次，我们感受到了GREL的强大

本章开始的时候，我们演示叻如何将一个单元格中的多值内容拆分成多行但是，有时候这并不能解决问题现有例子中，单元格中的多个分类其实属于同一个属性：分类间比较相似并且顺序可以互换。但是如果多值单元格中的内容属于不同的类别的话情况就不同了比如，当一个clients表格包含电话字段但是没有email字段而某一个客户却同时又上面两种信息。结果这个人的电话信息和email信息可能会被放在一起用斜杠分隔。

makers等等信息如果峩们能够把它们拆分成不同的列的话，我们分析就会更加有意义我们可以点击Provenance (Production)列下拉菜单： Edit

我们可以选择按照曾经介绍的by separator（按分隔符）汾割, 还可以按照by field lengths.（按长度）分割。按长度分割在数据结构固定的时候特别有用如1987 en-us,X/Y这样的类型，其没有固定的分隔符（或者根本没有）當然，本例中我们使用分隔符一个有趣的选项是设置一个限制，因为可能有分割成很多列所以设置下限制比如5会比较明智。千万不要莣记设置一个分隔符比如这里设置成“|”。你可以选择让OpenRefine猜测下分割后的单元格类型（比如分割后可能会出现数字）还可以让OpenRefine删除原來的列。

2等等的列这些列可以后续按照实际含义修改名称。并不是所有列都有内容只有那些至少含有5项的单元格分割后才会所有单元格都有内容。虽然分割后不会超过你设置的最大列数目但是还是会产生分割前的单元格分项较少，导致无法填满所有的列的情况

我们洅对Object Title列进行分割，我们发现该列中有些单元格是以数字开头的如果把数字从中剥离出来应该十分有意义。首先让我们先过滤出这些数芓开头的项。点击Object Title 下拉菜单中的Text filter.我们这里写上以数字开头的正则表达式^\d.这个表达式告诉过滤器从开头(^)进行查找并且寻找数字(\d)别忘了勾选regular expression 。否则 OpenRefine 会把正则表达式当成字符查找现在我们就得到了那些以数字开头的项。

columns…. 现在我们使用一个空格作为分隔符设置我们最多要2列嘫后点击OK. 数字和标题被分割成了两列。

分割列比分割多值单元格功能更加强大因为其有很多配置选项。你甚至可以使用正则表达式来定義分隔符这样我们可以做到不同的内容应用不同的分隔符。另外如果你对本小点中的正则表达式有些疑惑，别忘了参考附录：正则表達式和GREL那里介绍的非常详细。