猜测过去？DeepMind用AI复原古希腊铭文，登Nature封面

用深度神经网络（DNN）建设受损的古希腊铭文，DeepMind 探索 AI 与古文字学的融合。

人类文字的诞生标志着历史的曙光，对于我们了解过去的文明和今天生活的世界至关重要。例如，2500 多年前，古希腊人开始在石头、陶器和金属上书写，记录下了包括租约、法律、日历、神谕在内的所有内容，从而令后人详细了解地中海地区。遗憾的是，这种记录是不完整的。几个世纪以来，许多遗留下来的铭文已被破坏或从原来的位置移走。同时，放射性碳测年法等现代测年技术不能用于这些材料，导致解释铭文变得困难且耗时。DeepMind 一直探索如何利用 AI 建设古老的语言。2019 年 10 月，DeepMind 联合牛津大学共同打造了 AI 工具 Pythia，它可以通过训练神经网络来建设古希腊铭文中缺失的字符或单词。今日，在最新一期 Nature 封面文章中，DeepMind 联合威尼斯大学人类学系、牛津大学经典学院的钻研者，探索利用机器学习来帮助历史学家更好地解释这些铭文，从而让人们更深入地了解古代历史，并释放 AI 和历史学家之间合作的潜力。他们提出了首个可以规复受损铭文缺失文本、辨别原始位置并帮助确定创建日期的深度神经网络 —— Ithaca，它是以荷马史诗《奥德赛》中的希腊伊萨卡岛命名，在之前的 Pythia 工具上构建并进行了扩展。

论文地址：https://www.nature.com/articles/s41586-022-04448-z

GitHub 地址：https://github.com/deepmind/ithaca

钻研结果表明，当单独应用时，Ithaca 在规复受损铭文文本方面的准确率达到了 62%。相比之下，参与的历史学家的准确率为 25%，不过他们应用 Ithaca 可以将这一数字提升到 72%。同时，Ithaca 在辨别铭文原始位置方面的准确率达到了 71%，鉴定它们的年代只与真实日期范围相差不到 30 年。历史学家已经应用 Ithaca 重新评估了希腊历史上的重要时期。此外，为了让广大钻研人员、教育工作者、博物馆职员及其他人应用他们的钻研成果，DeepMind 与谷歌云、谷歌艺术与文化合作推出了 Ithaca 的免费交互版本。并且，DeepMind 还开源了代码、预训练模型和交互 Colab 笔记本。

Ithaca 交互版本：https://ithaca.deepmind.com/下图 1 中建设的铭文（IG I3 4B）记录了一项关于雅典卫城（Acropolis of Athens）的法令，日期为公元前 485/4 年。

下图 2 为 Ithaca 的架构。文本受损部分用符号「-」表示，并人为破坏了字符。提供输入后，Ithaca 规复了文本，并辨别出文本编写的空儿和地点。

钻研者相信，这只是 Ithaca 这类工具应用的开始。他们目前正在钻研针对其他古语言训练的 Ithaca 版本，历史学家也已经可以在当前架构中应用他们的数据集来钻研其他古书写系统，比如阿卡德语、古埃及世俗体、希伯来语和玛雅语言。Ithaca该钻研应用机器学习进行铭文辨别，他们提出了 Ithaca，这是一种经过训练的深度神经网络架构，可以同时执行文本规复、地舆归因和空儿归因任务。Ithaca 是在最大的希腊铭文数字数据集上训练完成，该数据集由帕卡德人文学院 (PHI）提供，这是一个非营利基金会，成立于 1987 年，该机构旨在为基础钻研创建工具人文学。通常来讲，自然语言处理模型应用单词进行训练，它们在句子中出现的顺序以及单词之间的关系可以提供额外的上下文和含义。然而 Ithaca 的铭文破坏严重，迷失了大部分文本块。为了确保模型有效，该钻研应用单词和单个字符作为输入。模型核心为稀疏自注意力机制，用来并行计算这两个输入（单词和单个字符）。

图 3：Ithaca 的输入为了最大限度地发挥 Ithaca 作为钻研工具的价值，该钻研还创建了许多视觉辅助工具，以确保 Ithaca 的钻研结果易于被历史学家解读：

规复假设：Ithaca 为文本建设任务生成几个猜测假设，供历史学家利用自身专业知识进行选择；

地舆归属：Ithaca 通过为历史学家提供所有可能猜测的概率分布来显示其不确定性，而不仅仅是单个输入。因此，Ithaca 返回代表其确定性水平的 84 个不同古代区域的概率。可以在地图上将这些结果可视化，以阐明古代世界可能存在的潜在地舆联系；

空儿归属：当需要确定一篇文献的年代时，Ithaca 会产生从公元前 800 年到公元 800 年猜测日期分布，这可以使历史学家了解模型对特定日期范围的可信度，提供有价值的历史见解；

显着图：为了将结果传达给历史学家，Ithaca 应用计算机视觉中常用的一种技术来辨别哪些输入序列对猜测的贡献最大，输入以不同颜色强度突出 Ithaca 猜测缺失文本、地点和日期的单词。

数据集与模型为了训练 Ithaca，该钻研开发了一个 pipeline 来检索未处理的 PHI 数据集，该数据集由 178,551 个铭文转录文本组成。每一个 PHI 铭文都被分配了一个唯一的数字 ID，并标有与写作地点和空儿相关的元数据。PHI 共列出了 84 个古代区域，而年代信息以多种格式记录，从历史时代到精确的年份间隔，用多种语言编写。PHI 数据集在经过处理和过滤后，该钻研得到新数据集 I.PHI，据了解这是最大的机器可操作铭文多任务数据集，包含 78,608 个铭文。由于部分铭文文字迷失，该钻研将字符和单词作为输入，用特殊符号 [unk] 表示破坏、迷失或未知的单词。接下来，为了实现大规模处理，Ithaca 的主干是基于 transformer 的神经网络架构，它应用注意力机制来衡量输入的不同部分（如字符、单词）对模型决策的影响过程。通过将输入字符和单词表示与它们的顺序位置信息连接起来，注意力机制得到输入文本的每一个部分的位置。Ithaca 的主干由堆叠的 transformer 块组成：每一个块输入一系列处理后的表示，其长度等于输入字符的数量，每一个块的输入成为下一个块的输入。主干的最终输入被传递给三个不同的任务头，分别处理规复、地舆归属和空儿归属。每一个头都由一个浅层前馈神经网络组成，专门针对每一个任务进行训练。在图 2 所示的例子中，规复头猜测了三个迷失的字符；地舆归属头将铭文分为 84 个区域，并且按空儿顺序的归属头将其追溯到公元前 800 年至公元 800 年之间。

该短语的前三个字符被隐藏，Ithaca 提出了建设建议，同时，Ithaca 还猜测了铭文的地区和日期。评估如下表所示，对于规复任务，Ithaca 始终优于竞争方法，获得 26.3% 的 CER 和 61.8% 的 top 1 准确率。具体来说，与人类专家相比，Ithaca 实现了 2.2 倍（即更好）的 CER，而与 Pythia 相比，Ithaca 的 top 20 猜测实现了 1.5 倍的性能提升，准确率为 78.3%。值得注意的是，将历史学家与 Ithaca 组合时，借助 Ithaca 辅助的人类专家的 CER 为 18.3%，top 1 准确率为 71.7%，与原始人类专家 CER 和 top 1 相比，提高了 3.2 倍和 2.8 倍。关于区域归属，Ithaca 的 top 1 猜测准确率为 70.8%，top 3 的猜测准确率为 82.1%。最后，对于空儿归属，从真实日期间隔到人类基线猜测的平均空儿是 144.4 年，中位数是 94.5 年，但 Ithaca 中位距离仅为 30 年。