您的访问出错了(404错误) 很抱歉，您要访问的页面不存在。 1、请检查您输入的地址是否正确。 进行查找。 3、感谢您使用本站，3秒后自动跳转至网站首页当前位置： >> 中文全文检索系统中索引的研究 中文摘要中文全文检索系统是信息产业中发展较快的一个领域，而一个中文检索系统 　　　　的核心就是索引器，本文介绍了 索引器构造的不同算法模型，对相关的技术进行 了比 较，分析了各自 的优缺点和实现难点，提出了一种中文全文检索中索引实现 的数据结构和新型的算法模型。 本文首先综述了中文全文检索中索引构造的相关技术，主要包括索引文件数 　　　　
据结构、索引单位选取和索引压缩算法。 在上述综述的基础上，本文采用了基于单字的倒排表文件格式和可变字节编 　　　　 码压缩技术实现了整个索引系统。该系统包括三方面的功能分别是：文本预处理、 索引创建和索引更新。 在文本预处理部分实现了中文、外文和特殊字符的分离， 同时实现了停止词 　　　　（ｏ ｏ 　　ｗ ｒ）的 ｓｐ　ｄ 删除。 ｔ 在索引创建部分本文首先给出了一种基于传统倒排表的索引创建算法― 合 　　　　 并排序式索引创建算法，该算法需要源文本 １倍大小的临时空间。 解决合并 ０ 为了 排序式索引创建算法临时空间过大的问题，本文提出了一种新的索引创建方案， 该方案采用分级的倒排表索引组织结构和链式顺序混合存储的方式。它不仅不需要额外的临时空间，而且还提高了索引创建的效率。在索引创建的过程中本系统采用了可变字节编码压缩技术对索引 进行压缩，实验表明该压缩算法将索引文件 大小减少了２－ ０ ０ ３％． 在索引更新部分本文提出了 　　　　 三种顺序存储方式下准动态的索引更新策略，一 种链式存储格式下索引动态更新的算法。该系统采用的链式存储结构下的索引更新算法复杂度达到了Ｏｎｏ （ ）　关键词：中文全文检索；索引器；倒排表；索引压缩 分类号：Ｔ ３１ Ｐ９ＡＢＳ ＴＲＡＣＴＣ ｉ ｓ Ｆｌ ｘ Ｒ ｒｖｌ　 ｔ ｉ ｎ ｏ ｈ ａ ｄｖｌ ｉ ｆ ｄ ｎ 　　　　 ｕ－ｅｔ　ｔｅａ Ｓｓｍ　 ｏｅ　 ｔ ｆ ｔ　 ｅ ｐ ｇ　ｌ ｉ ｈ ｅｅ　 ｌ ｎ Ｔ ｅｉ ｙ ｅ ｓ　 ｆ　 ｓ ｅ ｏ ｎ ｉ ｓ　 ｅ　 ｅ ｉｏ ａｏ ｉ ｕｒ ａｄ　 ｃｒ ｏ ｔ Ｃ ｉ ｓ ｒｒｖｌ　ｅ ｉｔ Ｉ ｅ ｄｖｃ． ｎ ｒ ｔｎ　 ｓ ，　 ｔ ｏ ｆ　 ｈ ｅ ｅｉ ａｓｓｍ　 ｈ ｎ ｘ　 ｉ ｆ ｍ ｉ ｎ ｔ ｎ ｈ ｅ　 ｈ ｄ ｙ ｅ　 ｅ　 ｎ ｅ　 ｅ ｙ ｔ ｔ ｓ　 ｄ ｅ ｅ ｅ　 Ｔｅ　 ｅ ａａ ｚｓ　ｅ ｌ　ｅ ｎ ａ ｏｉｍ ｏ ｃｎｔ ｃｎ ｔ ｉ ｅ ｄｖ ｅ ａｄ ｈ ｐｐｒ　ｌ ｅ ｓ ｒ ｄｆ ｅｔ　 ｒｈ ｓ　 ｏｓｕｔｇ　 ｎ ｘ　 ｉ ，　 ａ ｎｙ ｅ ａ ｉ ｒ ｌ ｔ ｖ ｆ ｇ ｆ　 ｒ ｉ ｈ ｄ ｅ ｃ ｎ ｅ　 ｃｍ ａ ｓ　 ｒａｄ　ｈｉ ｅ ａｄ　ｎ　 ｅ ｔ ａｖｎ ｇｓ　 ｄ ａｖｎ ｇｓ　 ｏ ｐｒ ｔ ｅ ｔ ｔ ｎ ｕｓ ｎ ｔ ｇ ｓ　 ｄａｔ ｅ ａｄ　 ｄａｔ ｅ ｏ ｅ ｈ ｌｅ ｅ ｑ ，　 ｈ ｉ ｈ ｅ　 ｃ ｅ ｖ ｅ　 ａ ｎ ｉ ｓ ａ ｆ ｅ ｈ　 ｔ ｄｆｕｙ　ａ ｉ ｉ ．　ａｙ　ｓ　 ｅ ｇ ｅ ｔ ｄｔｓ ｃ ｒ ａｄ　 ａ ａｄ　 ｉｉ ｌ ｏ ｃ ｅ ｎ Ｆ ｌ ｔ ｐｐｒ　 ｓ　 ａ ｔ ｔ ｅ　 ａ ｃ ｎ ｈ ｆｃ ｔ ｆ　 ｖ ｇ ｉ ｌ ｈ ａ ｉ ｈ ａ　 ｕ ｎ ｅ　 ｈ ｎ ｉ ｖ ｅ　 ｒ ｕ ｎｗ　 ｏｉ ｍ　 ｄｌ　ｈ ｉ ｅ ｉｆｌｔ ｔ　ｉ ａｓｓ ｍ． ｅ ａ ｒｈ ｍ ｅｏ ｔ ｎ ｘ　 ｕ －ｘｒｒｖｌ　 ｅ ｌ ｔ ｏ ｆ　 ｄ ｎ　ｌｅ ｅ ｅ ｙｔ ｇ ｅ　 ｔ Ｔ ｉｐｐｒ　 ｕ ｍ ｒｅｔ ｅ ｔ ｔ ｎ ｕｓ　ｎ ｘ　 ｓ ｔｇ　 ｈ ｅｅ 　　　　 ｆｓｓｍ ａｚｓ　ｒａ ｄ　ｈｉ ｅ ｏ ｉ ｅ ｃｎｔ ｃｎ ｉＣ ｉ ｓ ｈ ａｅｉ ｔ　 ｉ ｈ ｌｅ ｅ ｑ ｆ　 ｏ ｒ ｉ ｎ　 ｎ ｓ　 ｒ ｅ　 ｃ ｄ ｕ ＦｌＴｘ Ｒｔｅａ ｍ ｉｙ　ｌ ｅ ｄｔ ｓ ｃ ｒ ｏ ｄｃｍ ｎ ｉ ｅｉ ，　ｅ ｕｉ ｕ－ｅｔ　ｒｖｌ ａ ｌ ｉ ｕ ｓ　ａ　 ｔｅ　 ｏｕ ｅｔ　 ｘ ｇ ｉ ｘ　 ｔ ｌ ｅｉ ，　ｎ ｎ ｄ ａ ｔ ｕ ｆ　 ｃ ｕ ｒ ｎ ｎ ｎ ｄ ｄ ｎｓｅ ｉ ，　ｘ　 ｐ ｓｏ ａ ｏｔ ｓ ｅｃｎ ｉ ｅ ｃｍ ｒ ｓｎ　 ｒｈ ． ｌｔｇ ｎ ｏ ｅ ｉ ｌ ｉｍ ｄ ｇ Ｔ ｅ　 ｈｒ　 ，　 ｐｐｒ　 ｌ ｅｔ ｈ ｎ ｒ ｉ ｘ　 ｔ ｕ ｎ ｈ ｅ 　　　　ｅ ｗ ｙ ｔｓ　 ｅ ｉｐ ｍ ｎ ｔ ｅｔｅ　 ｅ ｓｓｍ　 ｉ ｔ ｓ ｈ ｆ ｕ ｔ ｒ ａ ｈ ａ ｍ ｅ ｓ　 ｉ ｅ　 ｉ ｎ ｄ ｙ ｅ ｓ ｇ　ｅ ｔｈｉ ｅ ｓ ｈ　ｃａ ｃｒ　ｅ－ Ｉ ｅｅ ｌ ｔ ａｄ　 ｖｒｂ ｂｔ ｃｄ ｇ ｅ ｎ ｕｓ ｕ ａ ｈｒ ｔ ｂｓ ｏ ｎ ｒｄ　 ｓ　 ｔ ａａｌ ｙ ｏｉ ｃ ｑ ，　 ｓ　 ａｅ ａ ｄ ｎ　 ｔ ｉ ｎ ｈ ｉ ｅ　ｅ　 ｎ ｃ ｖ ｓ ｅ　 ｃｍ ｒ ｓ ｎ　 ｏｔ ．　ｓ　 ｔ ｉ ｌ ｅ ｔ ｅ ｆ ｃｏｓ　ｐｃｖｌ ｉ Ｔｘ ｏ ｐ ｓｏ ａ ｒｈ Ｔｉ ｓｓ ｍ　ｃ ｄｓ　 ｅ　 ｔｎ ｒ ｅｔｅ ｓ ｅｔ ｅ ｉ ｌ ｉｍ ｈ ｙ ｅ ｎ ｕ ｈ ｕ ｉ ｅ ｉ ｙ　 ｇ ｒ ｎ ｓ ：　 ｐ ｔａ ｅｔｎｅｆ ｎａｏ ａｄ　ｅ ｕｄｔｇ ｒｒ ｔ ｎ ｉ ｘ　 ｄｔｎ　 ｉ ｘ　ａｎ． ｅｅ ｍ ，　 ｏ ｉ ｎ ｎ ｐ ｉ ｄ ｕ ｄＩ ｔ ｐｒ　 ｅ ｐ ｔａ ｎ ｈｓ　ｉ ｄ　 ｒｉ ｏ Ｃ ｉ ｓ ｆ ｅ ｎ　 ｔ 　　　　 ｏｔ ｔ　ｒ ｔｅｔ ａｒ ｌｅ ｓ ａ ｔｎ　 ｈ ｅ ，　ｉ ａｄ　 ｎ　 ａ ｆ　 ｒ ｅ ｍ ，　 ｅ ｚ ｅ ａｏ ｆ　ｎ ｅ ｏ ｇ ｎ ｈ ｈ ｔ ｘ ｅ ｅ　 ａ ｐ ｒ ｅｓ ｃｌ　ａｅａ ｈ ｒ ｌｅ ｄｌｉ ｏ ＂ｔ ｗ ｒ＂ ｐ ｉｃａ ｃｒｎ ａ ｅｉｄ　 ｔｎ　 ｓ ｐ　ｄ ． ｅａ ｈｒ ｔ，　 ｓ　ｚ ｅ ｏ ｆ　 ｏ ｏ ｄ　 ａ ｅＩ ｔ ｐｒ　 ｎ ｘ　 ｄｔｎ ｐ ｕｅ ｎ ｋ ｉ ｘ　 ｄｔｎ　 ｒｈ 　　　　 ｏ ｉ ｅ ｆ ｎａｏ，　ｄｃ ｏｅ　ｄ　 ｅ ｆ ｎａｏ ａ ｏｉ ｍ ｎ　 ａ ｆ　 ｏ ｈ ｔ ｅ　 ｄ ｕ ｉ ｒ ｓ　 ｉ ｎ ｏ ｏ ｎ ｄ ｕ ｉ ｌ ｔ ｇ ｂｓｄ　ｔ ｄｉ ａＩ ｅｅ Ｌｓ － ＳｒＭｅ ｅ　ｔ ｄＴ ｉａ ｏ ｔ ｎｅｓ　 ａ ｏ ｒ ｉ ｎｌ　 ｒｄ　ｔ ｅ ｎ　 ｔ ａ ｏ ｎ ｔ ｉｓ　 ｏ － ｒ ｍ ｈ ．　ｓ　 ｒ ｍ　 ｄ ｔ ｖ ｔ ｇ ｅｏ ｈ ｌ ｉ ｅ ｈ ｇ ｈ ｅ１ ｔ ｅ　ｉｓ　ｔ ｐｒ ｓ ｃｓ　 ｔ ｓ ｒ 　 ｔ ｎ　ｅｔｓｌ ｔ ｐ ｂ ｍ ０　 ｏ ｓｅｆ ｅ ｏ ｒ　 ｅ ｔ ｎ　 ｏ ｃ ｔ ．　ｒ ｒ　ｏ ｅ　 ｒ ｌ ｉ ｆ　 ｏ ｍ ａ ｐ ｈ ｈ ｕ ｅ Ｉｏ ｏ　 ｈ ｏ ｅ ｍ ｚ ｒ　 ｙ ａ ａ ｅ　 ｅ ｘ ｄ ｖ ｅ　 ｏ ｏｅ ｉ ｄ　 ｐｒ 　ａ 　 ａｏｅ　ｏ ｔ ｓｔｓ　 ｅｐ ｐｓ ａ　 ｉ ｅ ｆ　ｒｚ ｔ ｏ ｒ ｓ ｃ ｉ ｂｖ ａ ｒ ｍ ，　 ｐｐｒ　 ｏ ｄ　 ｅ ｎ ｘ ｖ ｓ ｅ ｅ ａ ｐｅ ｎ　 ｍ ｙ ｌｉ ｇ ｈ ｈ ａ ｒ ｅ ｎｗ　ｄ ｉ ｏ ｆ ｎａｏ ｐ ｎＴｅ　ｅ ｏ ａｉ ｔｎｌ　ｃ ｒ ｏ ｔｓ　 ｉｉｐ ｖｄ　ｅｅ ｏ ｄｔｎ　 ．　 ｉ ｘ　 ｎ ａｏａｓｕｔｅ　 ｈ ｐ ｎ　ｍ ｒ ｅ Ｉ ｒｄ ｕ ｉ ｌ ｈ ｎ ｒ ｚ ｉ ｔ ｕ ｆ　 ｌ ｓ　 ｏ ｎ ｔ ａ ｄ ｇ ｒ ｉ ａ ｖ ｌ ｔ ａｄ　ｍ ｍ ｒｗ ｙ　 ｉｏ ｃａ ａｄ　ｅ Ｉ ｏｏｌｄｅ ｎｔ　ｄ　 ｅｔ ｉ ｓ ｎ ｉ ｅ ｏ 　 ｉｍｘ　 ｈｉ ｎ ｏ ｒ ｔ　 ｎ ｏｓ　 ｎｅ ｔ ｘｒ ｓ，　 ｔ ｓ　 ｙ ａ ｓ　 ｆ　 ｎ　 ｒ ．　 ｔ　 ｄ ｎ ｙ　 ｏ ｅ ｈ ｅ　 ａｔ ｐｒ 　ａ ，　ａｏ　ａ ｓ　ｅ ｃ ｎｙ　ｎｅ ｆ ｎｉ ．　 ｅ　 ｅ ｏ ｅ ｏ ｒ ｓ ｃ ｂｔ　 ｅ ｎ ｔ ｆ ｉ ｃ ｏ ｉ ｘ　 ｄ ｇＩｔ ｐ ｃ ｓ　 ｍ ａ ｐｅ ｕ ｌ ｎ ｃ ｈ ｉ ｅ ｆ　 ｏ ｎ ｎ　 ｒ ｓ ｆ ｙ ｓ ｈ ｅ ｅ　 ｄ ｕ ｈ ｏｉ ｅ ｆ ｎｉ ，　ｇ　 ｉ ａａｌｂｔｃｄ ｃｍ ｒ ｓ ｎ　 ｎｌ ｙ　 ａ ｙ　ｔｅ ｎ ｘ　 ｄ ｇｕ ｎ ｔ ｎ ｒｂ ｙ ｏｅ　 ｐｅ ｉ ｔ ｈｏ ｇ ｔｃｒ ｏ ｈ ｄ ｏ ｎ ｓ ｈ ｖ ｉ ｅ　ｅ　 ｏ ｓｏ ｅ ｏ ｏ　ｒ ｎ　 ｕ ｉ ｅ　 ｃ ｃｍ ｒ ｓ ｎ　ｉ ｅ，　ｅｐｒ ｅｔ　ｃｔ ｔｓ　 ｐ ｓｏ ａ ｏｉｍ　 ｕ ｄ　 ｏ ｐ ｓｏ ｏ ｎ ｘｔ ｘｅｍ ｎｉ ｉ ｅ ｈ ｃｍ ｒ ｓ ｎ　 ｒｈ ｒ ｃ ｔｅ ｅ ｉ ｆ　 ｈ ｄ ｅ　 ｉ ｎ ａ ｓ　 ｏ ｅ ｉ ｌ ｔ ｅ ｅ ｈ ｄ ｉ ｇ ｄｓ ｅ　 ｉｄ ｘ　 ｃ ｍｅ ｔ　 ３ ％． ｉ ｏ ｎｅ ｄ ｕ ｎ２ ｚ ｆ　 ｏ ０一 ０Ｉ ｔ ｐｒ　 ｎ ｘ　 ｗ ｌ ｈ ｐｐｒ　 ｏｅ ｈ ｅ　 ａ ｉｉ ｘ　 ａｎ 　　　　 ｏ ｉ ｅ ｒ ｅ ａ ｔｓ　 ｅ ｐ ｐｓ ｔ ｅ ｄｎｍｃ　ｅ ｕｄｔ ｇ ｎ　 ａ ｆ　 ｅ ｈ ｔ ｅ　 ｄ ｎ ，　 ａ ｒ ｄ　 ｉ ｏ ｒ ｙ ｎ ｄ ｐ ｉｓａｇ ｓ　ｅ ｏ ｏ ｅ ｍ ｍ ｒ ａｄ　 ｉ ｏ ｉ ｅ ｄｎｍｃ　 ａｎ ａ ｏ ｔ ｔｔ ｉ ｂｓ ｎ　 ｒ　 ｏ ，　 ａ　ｄ　 ｎ ｘ　 ａ ｉ ｕｄｔｇ　 ｒｈ ｒｅ ｅ ａ ｄ　 ｒ ｅ ｙ ｎ ｋ ｆ　 ｙ ｄ ｎ ｄ ｐ ｉ ｌ ｉｍ ｇｂ ｅ ｏ ｃａ ｍｍ ｒ Ｔｅ　 ｅｍ ｎ ｉ ｉｔ ｔ ｔ　ｅ ｒ ｅａ ａ ｏｔ ａ ｄ　 ｈｎ　 ｏ ．　 ｅｐｒ ｅｔ　 ｃｅ ｈ ｉ ｘ　 ｗｌ　 ｒｈ ｓ ｎ　 ｉ ｅ ｙ ｈ ｘ ｉ ｎ ａｓ　 ｎ ｅ ｄ ａ ｄ ｎ ｌ ｉｍ ｇ ｃ ｐ ｘ　 ａ ｉｅＯ　 ｂｓ ｏ ｃａ ｍ ｍ ｒ ｏ ｌ ｈｓ　ｅ ｓ　 ）　 ｄ　 ｈｉ ｅ ｏ ． ｍ ｅ ａ ｃ ｖ （ ａ ｎ　 ｎ　 ｙ ｈ ｎ ｅｉ ｖＫ Ｙ 　　　　Ｒ Ｓ Ｃ ｉ ｓ Ｆ ｌＴｘ Ｒ ｔｅａ Ｉ ｅ ｄｖ ｅ Ｉ ｅｔ Ｌｓ ；　 ｅ Ｅ ＷＯ Ｄ ：　 ｎ ｅ　 ｌ ｅｔ　ｒ ｖｌ ｎ ｘ　 ｉ ；　 ｒ ｄ　 ｔ ｉｄｘ ｈ ｅ ｕ－ ｅ ｉ ；　 ｄ ｅ ｃ ｎ ｅ ｉｓ ｎ ｖＣｍ ｒ ｓｎ ｏ ｐ ｓｏ ｅｉＣＬＡ Ｓ Ｓ ＮＯ：　ｐ ９ Ｔ３１致谢本论文的工作是在我的导师于剑教授和瞿有利副教授的悉心指导下完成的， 　　　　 于剑教授和瞿有利副教授严谨的治学态度和科学的工作方法给了我极大的帮助和 影响。 在此衷心感谢三年来于剑老师和瞿有利老师对我的关心和指导。 于剑教授和瞿有利副教授悉心指导我们完成了实验室的科研工作，在学习上 　　　　 和生活上都给予了 我很大的关心和帮助，在此向两位老师表示衷心的谢意。 于剑教授和瞿有利副教授对于我的科研工作和论文都提出了许多的宝贵意 　　　　见，在此表示衷心的感谢。在实验室工作及撰写论文期间，黄锋、张晓峰、李林立、马艳红等同学对我 　　　　论文中的全文检索部分的研究工作给予了热情帮助，在此向他们表达我的感激之情。另外也感谢爸 　　　　 爸、妈妈和弟弟，他们的理解和支持使我能够在学校专心完成我的学业。１ 引言１ 研究背景 ． １在信息时代产生了 　　　　 大量数字信息，其中文本信息是最基本和常用的形式，为 了能在海量的 文本信息中找到自己的 所需，人们迫切需要一个高效的检索工具。 怎样高效的存储和查询文本这种非结构数据，就是一个颇值得研究的问题。这其 中以全文检索技术成为国内外学者研究的热点。全文检索Ｆｌｅ ｅ ｅ ） 　　　　ｕ－ｘ Ｒｔ ｖｌ 文本数据为 （ ｌ ｔ　 ａ是以 ｔ ｉ ｒ 主要处理 对象， 全文标引， 基于使用自 然语言 进行检索的 技术川 在信息检索领域， ． 全文检索一直是一个比较复杂的问题． 与普通数据库检索所设计的结构化数据查询不同，全文检索不仅要查询结构 化数据， 还要查 非结 而且 询 构化数 ２ 比 据１ 起标引 １ ， 检索来， 全文检索提供了 全新的，强大的检索功能，方便多角度、多侧面的综合利用信息资源。当今以全文检 索为核心技术的搜索引擎已成为网络时代的主流技术之一。在文 索中， 满 　　　　 为了 足一定的 询性能要 一响应时间 Ｒｓ ｎ Ｔ ｅ 本检 查 求 （ｅ ｏｓ ｉ ） ｐ ｅ　 和系 ｍ 统吞吐 Ｔｒ ｇ ｕ， 量（ ｏ ｈ ｔ 词表和文档元 ｈ ｕ ｐ） 数据的 存储要有良 设计， ３ 好的 文献［ １ 就检索 效率问 题作了 详细的论述． 文本检索有几种主要建索引的模型： 倒排表［ 正排表 ４ １ 、 １ 后继数组模型６ 互关联后继数组模型等， ５ １ 、 １ １ 、 其中倒排表是最常用的， 它的存储设计也是文本检索中的基本问题之一。目前很多主流的全文检索系统用自设计的文件来 存储倒 件， 如易宝 排文 比 北信Ｔ Ｓ１ 倒排文件比 大时， Ｒ［ 当 ＇ 。 较 就要考虑压缩。压缩在大规模文本索引时尤其重要，目前比较流行的压缩算法有以下几种：按位紧 压 法８ 可 字 编 、 ｌ ｇ ｍ ｃ ｉ［ Ｇｌ ｂ　ｎ１ 压 凑 缩 ！ 变 节 码 Ｅａ ａ ａ　ｎ９ ｏｍ ｃ ｉ［等。 缩 １ 、 ｉ ｍ ｏ ｇ．　 ｓ　 ｄ １ ｏ ｏ ｇｌ ｄ ｏ算法的好坏不能只用其压缩率来衡量，在考虑到压缩率的同时也要考虑到解压所用的时间。国外的全文检索软件虽然较早地得到应用，但对中国用户有很多不适用的地 　　　　方。中文全文检索技术在原理上同西文全文检索是一致的，但汉语本身的特点使 中文系统的实现比西文系统更为复杂。全文检索的核心技术是将源文档中的所有的 基本元素的出 现信息记 录到索引 ｆ ． 库中ｉ 在中文系统中， ｌ ｌ 基本元素 是单 可以 个汉字字符，也可以是词。因此存在两种基本的索引库结构，即基于字表的索引库 和基于词表的 库１。 索引 １ 字表法和词表法各有优缺点． 学者对此都各有侧重研 ２ １ 国内究，前者实用性很强，构建直观方便，纵观近几年单汉字标引和检索技术的发展， 其发展趋势可归结到两点：一是在单汉字标引和检索技术中引入受控标引和检索的 术和思想； 技 二是引 入人工智能技术１ 检索方面，比 用的 首 ［。 ３ １ 较实 是“ 字直接匹 配法”１． ［１ 词表法多集中 ４ 在中文自 动分词研究，自 然语料统计分析等方面。１ 索引在中文检索中的位置及研究现状 ． ２全文检索是指计算机索引程序通过扫描文章中的每一个词，给每一个词建立 　　　　 一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根 据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程 类似于通过字典中的检索字表查字的过程。 在上段全文检索的叙述中提到了索引，为什么要建立索引？索引对于全文检 　　　　索 底 味 什 ？ ｔＧｓｄｔ和Ｅｋ　ｈ 的ｌｅ ｉ ｃ ｎ 一 到 意 这 么 在Ｏｓ　 ｏ ｅ ｉ ｏ ｎｉ ｒ Ｈｔｅ ｕｎ ｎ　 ［ 文 ｐ ｃ ｉ ａ ｒ ｃｅ　ｔ ｌ ｃ ａｉ ５ ｏ１中提到 “ 在搜索引擎的所有概念中最为核心的概念就是索引，索引就是把原始的数据处理成一个有利于高效检索的数据形式。 他们就为什么要进行索引给出了具 ” 体和形象的说明： 假如你需要在很大量的文中进行某个特定信息的检索，并且你 “ 想在非常短的时间内找到含有需要信息的文件，你会怎样写程序实现这些？最简 单的方法是顺序扫描所有的文件寻找给定词和短语，但这种方式有一些缺点，其 中最致命的是当文件很大时根本没有足够的空间来存储该文件，这就是为什么需 要索引了，为了在大量文本中检索到所需要的信息，首先必须把源文本集转换成一另一格式的文件，这种格式的文件能够让你进行快速的检索，而不是只进行很慢的顺序扫描。 这个转化的过程就是索引化，该过程输出的结果就是 “ ” 索引气 在上文中可以知道索引是全文检索的 “ 　　　　 心脏气 下面的全文检索的模型结构图能够清晰的说明索引在全文检索中的地位。下图即为全文检索的模型结构图： 　　　　　　图１ － １全文检索结构模型图全文检索系统是按照全文检索理论建立起来的用来提供全文检索服务的软件 　　　　 系统，一般来说，全文检索要具有建立索引和提供查询的功能。从上图中可以看 出，全文检索系统中最为关键的部分是全文检索引擎，各种应用程序都需要建立 在这个检索引擎之上。在检索引擎中可以看出索引引擎占据了核心的位置，他是 整个检索效率的重要决定因素，一个全文检索应用的优异程度，根本上由全文检 索引擎来决定。而全文检索的效率主要是由一个索引引擎所决定的．１ 本文论文安排 ． ３鉴于上文的分析，知道一个优秀的索引引擎对于全文检索非常重要。本文的 　　　　 主旨就是建立一个全文检索的索引系统。本文主要的工作安排如下： 第二章主要阐述了基于中文全文检索索引器的功能。同时给出了通用索引器 　　　　 的组织结构图：一个索引器应该包文本预处理模块，创建索引模块以及索引维护模块。第三章论述了中文全文检索索引所设计的主要技术问题。主要有索引文件结 　　　　 构的选择，索引元的选取以及索引压缩算法的比较分析等。同时给出了基于字和基于词的索引器优缺点的比较。第四章中给出了基于单字的中文全文检索的索引器的设计方案和实现过程， 　　　　 其中包括索引文档的创建， 索引文档的动态更新和删除以 及索引压缩算法的实现。 第五章索引压缩算法测试结果以及索引创建效率分析。 　　　　 第六章是小节篇，总结了本文所做的工作，找到了不足之处，给出了下一步 　　　　工作的方向。２中文全文检索中的索引器的结构和功能２ 全文检索索引器的结构 ． １在下图中可以看出一个索引器有三部分组成，第一部分是文本预处理模块， 　　　　在该模块中针对给出的待索引的文本进行预处理，然后对经过处理的文本进行索 引的建立，在索引建立后由于待查文档的改变要对索引尽心维护。索引维护主要 涉及的问题是：源文档增加时将新的索引附加到原来的索引上，当源文档改变时， 将其相对应的索引文件更新，但某些文档不在需要时，也要将其相对应的索引文件删除。具体的结构图见图２ ： 　　　　 － １． ． ． ． ． ． … … ， 。 … ‘ ． ． … ， 。 ． ． －ｌ图２ 　　　　　　　　 － １索引器结构图Ｆ ｕ ２１　 ｘ　 ｉ ｓｓｍ ｉ ｒ －Ｉ ｅ ｄｖ ｅ　ｅ ｇ ｅ　 ｎ ｅ ｃ ｙ ｄ ｔ２ 全文检索索引器的基本功能 ． ２一个中文全文检索的索引器应该实现三部分的功能。第一部分是文本预处理， 　　　　一般需要检索的文档成分比较复杂，需要用文本预处理将文档中的中文，数字，符号， 及西文分 以 开并归 后分别 类然 对其建立索引。 于中 语言的 由 文 复杂性［ （ １见 ６ ］ ３． ．３节分词技术说明） ３ 在预处理这部分需要包括中 文索引单位的选取，目 前主流的有两类：一类是单字，一类是分词。 第二部分功能是创建索引，利用选定的索引数据结构对源文档遍历建立索引。 　　　　第三部分功能是实现索引的维护，包括索引删除，索引增加，索引更新。 　　　　３中文全文检索索引器构造相关技术综述一个完整的中文全文检索的索引器的构造涉及到索引数据结构的选取，索引 　　　　 单位的选定，以及整个索引器的结构，索引采用的策略，以及有关索引压缩算法 的研究。在本章中介绍了索引数据结构以及其相关的工作原理，分析了一种基于 单字的索引器的构造及工作原理以及基于分词技术的索引的构造方案，在最后的一小章中介绍了一些主流的压缩技术，并给出了这些技术与索引的结合应用。３ 索引数据结构及其相关原理 ． １索引文件有多种组织形式，其中以正排表、到排表以及后继数组比较常用。 　　　　 下面分别介绍正排表、倒排表以及后继数组的结构和工作原理。３ ． 正排表的数据结构和其工作原理 ．１ １正排表是以 　　　　 文档的ｍ 为关键字， 表中记录文档中每个字的位置信息，查找时 扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档。正排表结构 如图３ 所示， － １ 这种组织方法在建立索引的时候结构比较简单， 建立比 较方便且易 于维护；因为索引是基于文档建立的，若是有新的文档假如，直接为该文档建立 一个新的索引块， 挂接在原来索引文件的后面。若是有文档删除，则直接找到该 文档号文档对因的索引信息，将其直接删除。但是在查询的时候需对所有的文档进行扫描以确保没有遗漏，这样就使得检索时间大大延长，检索效率低下。由于正排表的工作原理非常的简单，但是由于其检索效率太低，几乎没有什 　　　　 么实用价值，所以在此不作详细介绍。文档 １Ｊ峪 　　ｗｏ ｄ Ｈ　 ｗｏ ｄ ｒ ｌ　 Ｉ　 ｒ ２ ｗｏ ｄ ｝ Ｉ　ｏ ｄ ｒ ｌ　－ ｗ ｒ ２文档２」 　　 Ｌ图 ３１正排表结构图 － Ｆｇｒ －Ｆ ｒａ ｌｔ　ｃ ｒ ｉ ｅ １　ｗ ｒ ｉ ｓｕｔ ｅ ｕ ３ ｏ ｄ　 ｔ ｕ ｓ ｒ３ ． 倒排表的数据结构和工作原理 ．２ １倒排表以字或词为关键字进行索引，表中关键字所对应的记录表项记录了出 　　　　 现这个字或词的所有文档，一个表项就是一个字表段，它记录该文档的 Ｉ Ｄ和字符在该文档中出 现的位置情况。由于每个字或词对应的文档数量在动态变化，所以 倒排表的建立和维护都较为复杂，但是在查询的时候由于可以一次得到查询关键 字所对应的所有文档，所以效率高于正排表。在全文检索中，检索的快速响应是 一个最为关键的性能，而索引建立由于在后台进行，效率相对低一些，不会影响 整个搜索引擎的效率。倒排表的结构图如图３ ： － ２ｗｏ ｄ ｒｌ］匕 　　｛档 文１｝ 文档１文档２ 文档２Ｗ ｏｄ ｒ２」 　　 Ｌ图３ 倒排表结构图 　　　　　　　　　　　　　　　　　　　　　　　　　　　　 一Ｆ ｕ ３ Ｉ ｅｅ ｌｔ　ｃ ｒ 　　　　　　　　　　　　　　　　　　　　　　　　　　　　 ｉ ｒ　 ｎ ｒｄ　ｓｕｔ ｇｅ － ｖｔ ｉ ｔ ｕ ２　 ｓ ｒ ｅ倒排表的索引信息保存的是字或词条在文档内的位置，在同一篇文档内相邻 　　　　 的字或词条的前后关系没有被保存到索引文件内。下面给出一个传统的基于单字 的中文全文检索数据结构和算法模型进行分析说明。 全文检索方案是在执行检索操作时比较字或词条在同一文档内的位置是否相 　　　　 邻的算法方案。在此为了说明倒排表的工作原理，采用一个全文检索方案加以说明。倒排表实际上就是一个表结构，在对关键词进行检索时需要对关键词中每个 　　　　字 在倒排表中 行一次 进 检索操作， 假设我们要对 ｋ ｅ ｙ这个关键词进行全文检索， ｋ 如 ｅ 定义３ 所示： ｙ － １ 定义３ ：　 ＝Ｃ ，　 Ｃ ． ）　 １ ３ ．． 　　　　Ｋｙ（ｌ Ｃ，　．ｎ ＝ ２　． － ｅ １ ２ ３　 　ｎ ． Ｃ ．． ． Ｋｙ 个字符的 　　　　 ｅ 是ｎ 集合， 它们的 后位置关系是固定的， （ｉ 前 Ｓ ） Ｃ 为包含字符Ｃ ｉ的索引信息二元组Ｄ ａ 的集合， ｕｉ ｌ 二元组中第一个数字为文档标号， 第二个数字为文字在文档内的位置。Ｓ ｉ 描述为定义３ ： 　　　　 （） Ｃ 可以 － ２ 定 － Ｓ ） （ ｔｌ ｏ）Ａ ｌ Ｐｓ，． Ａｔ ，　 ） 　　　　 （ｉ｛ ｘｄ Ｐｓ，　ｄ，　 ）． （ｒ ｍ Ｐｓ） 义３ ：　 ＝ Ａ ｌ，　 （ｒ ２ ｏ ．，　 ｌ ｏ ２ Ｃ ｌ ｔ ２ ｄ ｍ其中Ａ ｔ 　　　　ｍ为包含字符 Ｃ 的文档的序号，Ｐｓ 为字符 Ｃ 在文档 Ａ ｌ ｒｄ ｌ ｉ ｏｍ ｉ ｔ ｍ中 ｒｄ出 位置， 一 ｅ被检索到的 件数学描述如式３ 所示： 现的 则 个ｋ ｙ 条 － １ Ｖ ｉ ｋ ｘ （ ｒｘ ｏ ｉ Ｅ Ｃ）　 Ｄ 　　　　 ３ ｉ　ｒｄｉ Ｐｓ ）　 （ｉ Ｎ Ｃｅ ｅ ｙ　 Ａ Ｉ ，　ｘ Ｓ　 　Ａ（ ｒｄｉ ＝Ａ　 Ｎ 　（ ｏｘ－Ｐｓｉ 　　　　　　 Ａ Ｄ　 Ｐ ｓｉ ｏｘ－＝１ Ａ ｒ ｘ）　 Ｉ ｉ ）式 ３１ －从上面的条件公式可以看出，检索成功的条件就是对关键字中所有的字符 Ｃ 　　　　 ｉ都可以找到同一篇文档，使该文档包含字符 Ｃ 而且这些字符在该文档中的字符位 ｉ置的差值和它们在关键词中的位置的差值相同。例如，搜索 中国气 　　　　 “假如索引库中 “ 字的索引信息为二元组序列为 　　　　 中” （ ５（ ６ ５ ）　 ）　 ０ 　　　　 （ ９（ ９（ １） ２ ）　 ）　 ６ ７ ， ４ ， ， ， ， “ 　　　　 国”字的索引信息为二元组序列为： （ ５（ ６ ５ ０（ ３） 　　　　 （ １）　 ４ １ ）　 ）　 ７ ，　 ， ， ２ ， 则根据定义３１ － 　　　　 －和 ３ ： ２Ｋｙ｛ ，国 　　　　 ｝ ｅ 中 ＝ （ ＝ （ ）　 ５ ６ ７ ） ｓ ） １ ， ４ ）　）　）　 ０ 　　　　 ５（ ６（ ９（ ９（ １ ｝ 中 ２ ， ， ， ， （ ＝ （ ）　 ５ ）　 ｝ Ｓ ） １ ，　，）　０ ７ ４ 　　　　 ５（ ６（ １ （ ３） 国 １ ２ ， ，根据式 ３ 定义的匹配成功条件，检索结果 Ａ为 ２ ５ 　　　　１ － 和从上面检索的结果可以 　　　　 看出 “ 中国” 两个字在 ２ ７ ５ 号文档内都出现了， 但是 只有 ２ ５ 和 号文档内 “ 中国” 两个字是相邻的，所以 检索命中的文档为 ２ ５ 和 号文档。从上述的分析可以 　　　　 知道，倒排表检索效率的优势远远大于正排表。３ ． 互关联后继树模型 ．３ １目前全文检索除了上述的正排表、倒排表模型外有人研究利用互关联后继树 　　　　 模型来实现全文检索。与传统的倒排表的索引数据必须具有文档一索引项结构且只能实 现简单的 询不同门 互关联后继 查 【， 树模型【１ １９ ８１ ，不但能够处理具有文档索一引项结构的数据，同时也能够与 Ｐｔ ２ ａ 树［一样处理无结构数据［；具有创建速度 ０ １ ２ １ １快，查询速度快，空间效率高等特点。在本小章中将简要的介绍互关联后继数组模 的 本 造 其 作 理２３ 型 基 构 及 工 原 【１ ２ ， ２ 设Ｅ 构 文 的 本 号 元的 合 ， ２ … ａ中 一 基 符 ， 　　　　 本 基 符 单 集 是ａ ａ， ， 。 的 些 本 号 是 成 ，　它们的有序组合便可构成一个文本。我们在每个文本 Ｔ的最后人为的添加一个不 在Ｅ 中的符号， 用来表示该文本的结束。 这个符号称为文本结束符， 一般用Ａ ＣＩ ＳＩ 为 ０的字符表示。在本文中，为了阅读方便文本结束符使用 “ ” ＃ 。通常把加入某 一个索引库的 所有文本的集合叫做该索引库对应的全文。定 －（ 和 继）对 意 本Ｔ 的 意 符串 ， ，　 为ａ 前 　　　　 驱 后 义３ 前 ３ 任 文 中 任 字 ａ ２　称 ２ ａ ａ ， 的驱；ａ ２ ， 后继， 最后一 称为ａ 的 文本 个字符的 后继为 文本结束符．注 　　　　 成 本Ｔ的 符串 ， ａ， ， 。 ， 现了ｍ 记：若组 文 字 ａ ２ … ａ中 出 ，　 个相同 字 的 符，不妨记该字符为ａ 那么ａ ． 有ｍ个后 记 ［，　１，． ．　 ］ 示ａ 继， 为ａ　 ｋ ，．ｍ ａ　 ｋ ＝ ２． ］ ， ［表 的第 ｋｋ个后继。定 －（ 　　　　 表达式与后继树）设 义３ 后继 ４ 全文Ｉ 一字符串ａ ａ， ａ， 是由 ， ２ …， ． ，　 ＃组 成的 若 ， 其中ａ＝　＝ ．ａ＝　 相同 字 ａ， ａ． 二 ａ， 别是 ； ａ ． ； 　为 的 符， ｎ＇　 ， ， ，分 其 ，　 ． ． ａ ； ＝ ２　 ． ， 　２ ， ． ． 后 ａ， ａ＋ …， ， 的 继 分 ．ａ，　， ｔ ２ … ａ，　］ 继， ，，　 ， ａ ， 后 又 别ａ，ｇ ＇　 ａ ］ ， ，［ ．　 ， ， ． ２ ， ． ＋ ， ］ ａＪ ｇ ， ｔ ２ ．ｔ 那 ．ａ ｇ 么 们 ｛ａ， ｔ ， （， ＇　 ） … （ｗ ，　 ） 为ａ 后 表 我 称 （，，　 ） ａ＋ ｔ ２　 ， ａ ， ｔ ，） 的 继 达式， ， ａ ， ２ ａ ， ． ｇ ， ｇ ＋ ａ ｇ 可以 一 继 来描 表达 如图３ 用 棵后 树 述此 式， 一所示， ａ， ｔ， 是ａ 一 后 （　，　 ） 的 个（ ， ａ ， ｇ ＋继，位置）对。厂（，，ｇ） ａ＋ｔ ， ｊ，ａ（＋ ２ ａ， ） ａ 冲９ （ ＋ｔ ． ａ ，ａ ） ． ｉ ，ｇ 图３ ａ 　　　　 － 的后继树形式 ３　Ｆｇｒ　 Ｓ ｃｅ ｉ ｔｅ ｏ ａ ｉ ｅ３ ｕｃｓｖ ｒ ｓ ｆ　 ｕ － ３　 ｓ ｅ　 ｅ倘若文本中 有一段文字为二ａ　 ，　 二， 有 （ ．　 ．　 ， 则ａ 后继， ａ ｂ ； ， 位置） （ｎ ＇ 对 ａ， ＋ｔ ，　 ‘： 的 个后 ， ｔ： 在以 ｎ为 树中ｂ 在 支 序 。 ａ ）其中 ＋ ｇ， 是。 一 继 而ａ 是 ａ， 根的 ｇ ＋ 所 分 的 号 这 序号 上 就是ｂ ｕ树中 位置 个 实际 也 在ａ， 的 。 ．定义 ３ （ 　　　　 － 互关联后继树）由 ５ 一个索引 库对应的全文Ｉ 的所有后继树组成的森林，叫做 Ｉ 的互关联后继树 （ Ｓ Ｉ ｅ Ｒ ｌ ａｔ　ｃｓｖ Ｔｅｓ． Ｉ Ｔ　ｎ ｒ ｅ ｖｎ Ｓ ｃｅｓ ｅ　ｅ） Ｒ ｔ－ ｅ ｕ ｉ ｒ例 １对于全文ａｃｂａｃ ，其中 为索引库的结束符，ａ 　　　　 ｂａａｂ＃ ＃ 的后继表达式为 （６１ （ ，　 （ ， ，　，　 ， （ ， ｂ ２，　 ４ （ ３｝ 其对应的后继树， ）　 ） ａ ） ｂ ） 全文ＩＳ Ｒ Ｔ如图３ 所示。 － ４图３ 　　　　　　　　　　　　　　　　　　　　　　　　　　 － ４全文互关联后继树模型Ｆ ｕ ３ Ｆｌｅ ｉ ｒ ｌａ ｓ ｃ ｓｅ　 ｏ ｌ 　　　　　　　　　　　　　　 ｔｅｍｄ ｉｒ　 ｕ－ｘｎ － ｅ ｎ ｕ ｅｉ ｒｓ　ｅ ｇ － ｔｔ　 ｒ ｖ ｔ　 ｓｖ ｅ ｅ ４　 ｔｅ ｅ ｃ 创建该全文ＩＳ 　　　　 Ｒ Ｔ的时候，我们为Ｅ 中的三个字符：ａｂ‘ ，，分别建立三棵树， 然后按照读取的字符依次为树添加树枝。 首先读入ａ ， 的后继ｂ 填入树ａ ｂ 将ａ 的 第一个分支处，由于此时还不知道该分支对应的位置信息，留空．而后，读入ｃ ， 将ｃ填入以其前驱ｂ 为根的树的第一个分支， 此分支号即为前次留空的位置信息，将１ 回填到ａ 树的第一个分支。 再读取ａ 在ｃ树的第一个分支填写ａ ， ，并且回添该分支号 １到ｂ 树的第一个分支。…… 。当读入＃后，在以 其前驱ｃ 为根的后继 树中增加第二个分支＃，并将２回填。此时，索引文件的结构如图３所示，将此 索引 文件结构表示成树的形式，即为图３ 一的ＩＳ ． ＲＴａ一 ｂｌ　 ａ４　 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 ｂ２　 ｂ３ ｂ－ ｃｌ　 ｃ 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 － ａ３　 ２ ｃ－ ａ２＃ 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　图３ 索引文件结构示例 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 一Ｆ ｕ ３ Ｉ ｅ 欣 ｓｕｔｅ 　　　　　　　　　　　　　　　　　　　　　　　　　　 ｉ ｒ　 ｎ ｘ ｔｃ ｒ ｇｅ － ｄ ５　 ｒｕ利用索引生成原文， 　　　　 我们需要记录加入索引库的文本的第一个字符 Ａ ，和 Ａ 的后继在树 Ａ 中的存储位置 Ｐ 本例中Ａ＝ａ Ｐ 。 ， ，　 取出ａ ＝１ 树的第 １ 个分支， 得 到 （ ，１，即ａ ｂ ） 的后继为ｂ 。再取ｂ 树的第一个分支得到 （ ，　，……依次， ｃ １ ） 我们得到的分支序列为：（ 　　　　　　ｂ，０ ａ，０ ）￣ （ ）￣ （ ，　 ｃ ０ ）一 （ ａ，１ ）一 （ ｂ，１ ）一 （ ，２ ａ ） ￣ （ 　　　　 ）一 （ ａ，３ ｂ，２ ）一 （ ，１ ｃ ）￣ （ ，Ｆｌ ｏ　 ＃ ｉＮ ） ｅ每一个分支中的字符的序列即为我们的原文件：ａｃｂａｃ　 　　　　 ｂａａｂ＃　 ｏ 如果查询字符串 “ ｂ ，我们在ａ 　　　　 ａｃ 树的分支中查找后继为ｂ 的，发现第 １ ２ ＞　 和４分支满足条件，再根据这三个分支的内容取其后继，仅 １ ４ ．　 分支 （ ．　． ｂ １ ） （ ．　 ｂ ３ ）的后继为ｃ ，则 “ ｂ ”在索引库中有两个匹配。 ａｃ 在处理索引文件结构时，有两种办法。 　　　　 方法一：为每个字符预留一定的空间 （ 　　　　 称为基础块） ，如果某一个字符的基本块用完，则在文件末尾为其分配一附加块，在每一块中添加指针，指向该字符的 下一个块。如图３ ，上面三行是基本块，当ａ － ６ 的基本块满了，就为其在文件末尾分配一个附加块， 指针由基本块指向附加块，再次满后，再次为其分配附加块。如果此时 ｃ 的基本块满了，则也为其分配一个附加块。￣ 一一１ 一ｂＣ一‘ 一一牌｛ ｝ｌｅ－图３ 　　　　　　　　　　　　　　　　　　　　　　　　 － ６索引 文件分块结构 Ｆ ｕ ３ Ｉ ｅ ｆ ｂ ｃ ｓｕ ｕ 　　　　　　　　　　　　　　　　　　　　 ｉ ｒ － ｎ ｘ　 ｌ ｋ　ｃ ｒ ｇ ｅ　 ｄ ｉ ｏ ｔ ｔｅ ６　 ｌ ｅ　 ｒ但是该方法存在的缺点是在基本块没有写满的时候，仍需占用存储空间，而有些字符，如二级汉字，实际上很少会出现，所以如果基本块空间分配过大会浪 费，而如果分配较小，一个字符后可能会出现很多个链接块，在文件中分散存储， 将影响查询和原文生成的速度。方法二： 　　　　 在索引库中 每加入一次文件， 则为相应文本字符添加一块与该字符上一块连接。方法二的不足是块的数目 　　　　 和大小完全由每次加入文本库的文本内容决定。不 同字符的块大小将极为不平衡。如回车、换行或汉字 “ 的”的索引块较大，而二 级汉字的块将很小。且这也将限制每次索引库中加入文件不能过小，否则将会出 现繁多的小块，因而也会影响查询和原文生成的速度。 具体在处理索引文件结构时需要结合实际情况选择不同的索引创建方法，比 　　　　 如若是每个字符在所有文档中出现的概率相差不多， 并且能够估计到文档的大小， 则采用第一中预留的方案，能够快速的检索并且不会出现很多的 “ 碎片” 。若是文 件的大小完全无法预料，则只能采用第二种。３１ 几种索引存储结构的比较 ．４ ．在上面的三个小节中提到了三种索引存储结构分别是正排表、倒排表和互关 　　　　 联后继数组模型。下面给出三种索引结构的简要分析。由３ ．的分析可以知道， 　　　　 ．１ １ 对正排表进行信息检索的时候， 等于直接对源文件 进行全文扫描，索引的建立并没有加快检索的速度，但是却在建立索引时耗费了 空间和时间，这种方法没有实用的价值，一般不采用。 相比来说倒排表就很是一种实用性很强的索引存储，倒排索引由于其组织结 　　　　 构的形式 （ 具体分析见 ３ ． ， ．２　 １ ） 对信息的检索能够变的非常快， 所以倒排表成为了 一种主流的索引文件格式，在大部分的全文检索系统中的都采用这种索引结构。 互关联后继数组模型是一种新颖的全文检索的模型，他的特点： 　　　　１能 理 　　　　 无结构的 据 （ ） 够处 数 这点与ｐ 树有一 功能） ａ ｔ 样的 ．２ 　　　　 ）创建的空间效率比 较高。 ３ 　　　　 ）可以通过索引生成原文。不足之处： 　　　　４ 　　　　 ）文件管理方面，由于所有的倒排文件都是通过树或是森林来管理，所以系 统要维持整个森林要花费很大的代价。 ５ 　　　　 ）互关联后继数组在实现上的复杂度要远远大于倒排表。６ 　　　　 ）在处理不相邻的检索关键字方面比 较吃力。 ７ 在文本预处理时， 　　　　 ） 互关联后继树模型对 “ｔ ｗ ｒ” ｓｐ　ｄ 就无能为力。 ｏ ｏ与之相比倒排表具有以下的优点： 　　　　１ 倒排表技术是一种比 　　　　 ） 较普遍通用的技术，针对倒排表的研究也比较多，所 以相关的技术也比较容易实现。 ２ 经过改 　　　　进倒排表结构形式也能够达到比较好的检索效率，以弥补检索效率 ）的问题，在空间效率上可以利用索引压缩技术进行改进。３ 在网络上面，检索的返回结果只是一个链接，并不需要全文的还原， 　　　　 ） 所以 互关联后继树模型这方面的优势并没有很明显。 综合比较起来， 　　　　 本文采用倒排表格式的索引存储格式。３．， 山基于单字的索引器构造全文检索的核心技术是将源文档中有的基本元素的出现信息记录到索引库中。在中文系统中，基本元素可以是单个汉字字符，也可以是词。因此，存在两种基本的索引库结构，即基于字表的索引库和基干词表的索引库。基于字表索引 库的建造方法有很多种，不同的字表的构建方法会对应不同的检索策略。下面介绍 中 种 表 索引 构 方 及 索策 ［２ 其 一 字 法 库的 造 法 检 略２５ ４ｌ ｝３ ． 单字索引数据结构 ．１ ２单字的索引库数据结构一般采用字表法，字表法索引库的主要部分是每个字 　　　　的字表信息。 字表结构如表３ 所示， － １ 其中字符ｉ 对应的字表记录了该字符在源文 档中所出现的位置 Ｐ 。该位置采用了字符相对于文档头的偏移字符数表示，而不 ｉ ｘ 按通常情况采用相对于文档头的偏移字节数， 这样可以大大减小位置的数值大小， 有利于进一步采用压缩技术。建立字表索引时，需要扫描整个源文档，对出现的 每一个有效字符，计算其在文档中出现的位置，并将该位置的值加入到对应的字表中。Ｔ ｂｅ　 Ｃ ａａｔ ｔ ｌ ｓ ｕｔｒ 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 ａｌ３１　 ｒ ｅ ａ ｅ　 ｃｕｅ － ｈ ｃ ｒ　 ｔ ｂ ｒ表３ 　　　　　　　　　　　　　　　　　　　　　　　　　　　 － １字表结构啊阿Ｐ １ １ ，１ ． １， ２Ｐ ３． Ｐ ．Ｐ １ ２ ，２ ， ２ ， ２ ３二 Ｐ Ｐ的Ｐ１ ｉ Ｐ ｉＰ２ ｉ ， ，３中 一 ．Ｐ１ ｊ， ３ ｊ， ２ ｊ Ｐ Ｐ索引库中的一个字表记录了对应字符在源文档中的所有位置信息。考察一个 　　　　字符串， 个 如两 字的字符串Ｘ （ Ｙ其中ｘ Ｙ表示任意的 ，　 汉字字 ） 假设Ｘ的位置 符， 为 Ｐ， ） 如果字符串Ｘ ｘ Ｙ在源文档中出 则Ｙ的 现， 位置Ｐ 必 等Ｐ＋１ （ 为两个 ｙ 定 ｘ ，　 １ 汉 的 字间 字符距离 。 ） 在索引库中Ｘ的 字表中 含Ｐ， 将包 ｘ 而Ｙ的 字表中 也必然包含 Ｐ十１ ｘ 。进行检索时，扫描 Ｘ和 Ｙ各自 对应的字表，若文档中有该词出现，则必定 有Ｘ 对应的 字表中 存在位置 ｘ Ｙ对应的 值Ｐ，　 字表中 在 存 位置值Ｐ 使得Ｐ＝ ｙ ｙＰ＋　 ｘ１ 成立，每查到一对这样的 位置值，就是检索到字串Ｘ Ｙ一次。扫描完两字的 字表，就可检索出 该字符串的所有出现。 上面简要介绍了字表的用法， 　　　　 在具体实现的时候的数据结构要稍微复杂一些， 因为某个字符的字表中不但要包含文档的信息还要有某字符在该文档中出现的位 置信息，由于字符在每一个文档中出现的次数与位置都不一样，所以在实现的时 候采用了一种比较复杂的数据结构，就是字表倒排文档。 字表倒排文档的数据结构是每个汉字字符对应的字表中，包含该字符出现在 　　　　 所有文档中的全部位置。为了区分每个位置公到属于哪个文档，每个字符的字表 被分为多个字表段，每段对应一个文档，记录该字符在此文档中的出现位置。字 表采用倒排文件结构，如表３ 一所示。Ｔａ ｌ ３ ２　ｈ ｒｃｅ ｔｂｅ　ｖ ｒｅ ｌ ｔ ｂｅ　 Ｃ ａａ ｔｒ　 ｌ ｉ ｅ ｄ　 － ａ ｎ ｔ ｉ ｓ表３ 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 － ２字表倒排文档字段表１ Ｉ 一 二｝ 字表段】 ｝文档编号｝ 字频｛ 位置序列每个字表段起始部分记录当前文档的编号，随后是该字符在文档中的出现频 　　　　 率，最后是该字符在文档中的所有出现位置序列。每个字符的所有字表段按文档 编号递增的顺序排列，如果该字符在文档 ｋ中没有出现，则不存在文档 ｋ对应的字表段。３ ． 单字索引的创建方法 ．２ ２上面简要介绍了基于字表的索引库的结构，下面给出基于单字索引的创建方法。该索引创建方法不需要排序，分为如下两步： 　　　　第一步分析源文档，产生临时的中间文件，这个过程称为分析过程。当前只 　　　　 针对 Ｇ Ｂ码字符［进行处理， ２ ６ １ 其中包含全部字符，既有汉字，又有一般的数字， 标点符号等． Ｂ码第一个字节的范围是 Ｏ Ａ －Ｏ Ｆ ， Ｇ Ｘ Ｉ Ｘ ７ 第二个字节的范围是 Ｏ Ａ Ｘ １ －Ｏ Ｆ 。汉字从 “ ＸＥ 啊”开始，首字节为 １６ ４，第二个字节为 １１ ５ 。根据这 ７－ ７ ２ ６－ ４ ２ 种分布规律，可以 方便地定位每个字符对应的字表信息。源文档经过处理，将其 包含的每个字符的对应信息写到一个临时的中间文件中。对于每个字符，其在临 时文件中的对应信息包括：该字所出现的当前文档编号、在该文档中的出现频率、出 位置序列 现的 和该字符出 现在下一个文档的数据的指针（ 数据在文件中的偏移值） ． 第二步处理临时文件，依次从临时文件中 　　　　 读取每个字符出现在每一篇文章中的数据信息，生成最终的倒排文件，在这里称为创建过程。生成的最终倒排文件 中包含每个字符出现在所有文档中的信息。包含该字符出现的当前文档的编号、 出现频率和相应的位置序列。处理过程如下图所示。分析临时文件卜 Ｉ文档编号频率位置序列 ｝前向指针最终到排文件卜 ｛文档编号 州频率位置序列图 ３７ 生成索引文件流程图 　　　　 － Ｆｇ ｒ ３７ ｌ ｃａ ｏ ｃ ａｎ Ｉｄｘ ｉｕｅ　 Ｆｏ ｈｒ　 ｒ ｔｇ　 ｅ － ｗ ｔ ｆ　 ｉ ｎ ｅ３ ． 优化的基于单字索引创建方法 ．３ ２在上面所论述的基于单字的索引创建方法中，对于源文件的分析过程本身需 　　　　要一定的时间，随着处理数据集规模的增大，相应的分析时间增大，第二步 （ 创建过程） 所需的时间 相应的迅速增大。该过程需要大量的随机读取操作来遍历每个字符对应的所有信息。当数据的规模增大时，遍历每个字符的临时数据的操作变 得很慢。这是由 于字符对应的每个字表的数据在临时文件中有一定距离，遍历需 要不断地移动文件指针来读取这些数据。利用操作系 　　　　 统提供的 虚拟内 存技术ｒ 优化索引的 Ｉ可以 ｎ 创建过 Ｗｎｏ ｓ 程。 ｉ ｗ 操 ｄ作系统用虚拟内存技术来动态管理运行时的交换文件。为了提供比实际物理内存 还多的内 存容量以供使用， ｎｏ ｓ操作系统占用了硬盘上的一部分空间作为虚 Ｗｉ ｗ ｄ 拟内存。当 Ｃ Ｕ 有要求时，首先会读取内存中的资料。当内存容量不够用时， Ｐ Ｗｉ ｏ ｓ ｎ ｗ 就会将需要暂时储存的数据写入硬盘。内存映射文件技术是 Ｗｉ ｏ ｓ　 ｄ ｎ ｗＮ ｄ Ｉ 提供的一种新的文件数据存取机制。利用内存映射文件技术，系统可以在 ２ Ｂ的 Ｇ 地址空间中为文件保留一部分空间，并将文件映射到这块保留空间。一旦文件被 映射之后，Ｗｉ ｏ ｓ　 ｎｗＮ ｄ Ｔ将仔细管理页映射、缓冲以及高速缓冲等任务。通过把临 时文件映射到虚拟内存中，可以大大加快对临时文件的访问速度。 对于较小的源数据集，分析处理后生成的临时文件也较小，使用内 　　　　 存映射文 件可以 大大加快创建过程。但当数据规模增大时，该方法的性能迅速降低，甚至 比没有使用内存映射文件都差。性能的降低一方面由于机器有限的内存，其小于 临时文件的大小。另外一方面，同一个字符相邻的数据在临时文件中距离过大， 导致大量的缺页中断，系统性能大大降低。解决该问题的有效方法是把原有的单 个的大的中间文件分成多个小的临时文件， 在分析过程中生成多个小的临时文件， 创建过程依次处理每个临时文件，将其映射到虚拟内存中，可以充分利用直接内 存访问的速度，并且减少缺页中断。在实际应用中，可以采用了统计的方法，通 过对一个较大的数据集的分析，将原有的一个大的临时文件拆分成多个小的临时 文件，每个字符的索引数据存放于其中的一个临时文件中。井且每个临时文件中 存放的数据的大小相差很小。这样，每个小的临时文件的大小小于当前内存的大 小，从而可以有效地使用虚拟内 存技术加快存取。３ 基于词表的索引器构造 ． ３由上文可以知道以中文的词组作为索引单元也是一种常用的索引文件构造方 　　　　式１ ， ８ ２ 基于分词的中文全文检索索引 １ 器的构造［ １ 词为索引项的 ２ 是以 ９ ． 索引结构。３ ． 词表索引 ．１ ３ 数据结构典型的基于词的倒排索引结构 （ 　　　　 见图 ３８ －）包含两部分：１ ）中文词组成向量 （ 称之为词汇表） ，它包含了词的基本信息和词索引在索引文件中的偏移量。２ ）对于词汇表中的每一个词，都有一个它出现过的文档列表，它包含了出现文档编 号，在此文档中该词的词频和出现位置序列。词ｍ ｛ 索引指针ｗｌ 基本空间Ｗ１ 基本空间Ｎｒ ｃ ｓＮｅ ｘｒ文献频率出现列表一 产尸 沪产文档ｍ 　　 字频 ｝ 位置序列ｗｌ 基本空间ｗｌ 基本空间Ｎｒ ｅ ａＮ已１ 名图３ 词索引倒排文档 　　　　　　　　　　　　　　 一 Ｆ ｕ ３ Ｉ ｅｅ ｉ ｅ ｂ ｅ ｏ ｏ 　　　　　　　　　　ｓ － ｗ ｒ ｉ ｒ － ｎ ｒｄ　 ｘ　 ｄ ｎ　 ｄ　 ｇ ｅ　 ｖｔ ｎ ａ ８　 ｄ图３ 一临时文件结构 Ｆ ｕ ３ Ｔｍ ｆ ｓｕｔ ｉ ｒ － ｅ ｐ　 ｔｃ ｒ ｇ ｅ　 ９　 ｉ ｒ ｕ ｌ ｅ　 ｅ词索引指针指向词的索引在索引文件中的偏移量，区域最开始保存的这个词 　　　　 出现过的文档数目 （文献频率） ，这是为了在检索过程中读取索引前能够合适地 分配内存空间，文献频率后面是出现文档列表。在这个结构中，除了字频用单字 节之外，其他都用 ４ 个字节表示，而且出现在列表中的文档编号是升序排列的。３ ． 一种词表索引创建流程 ．２ ３要建立词索引，首先需要对文档进行自 　　　　 动分词。首先将文本中的中文词、西 文词和连续数字组合分析出来，然后对分词结果进行排序，合并相同词的信息， 这样就得到一张文档中出现词的列表以及它们的出现位置序列。对于每个词，可 以 根据它们的计算机编码 （中文 Ｇ ２１，西文和数字 Ａ ＣＩ Ｂ ３２ ＳＩ ）映射到词表中的 位置，更新词汇表及索引。下面是详细的流程描述： （） 　　　　 １ 对文档进行自 动分词，对结果排序，合并相同词的信息。 （） 　　　　 ２ 定位词在词表中的位置，得到词索引区在临时文件中的偏移量，如果是 以前未出现过的词，就在临时文件的末尾分配一个固定大小的基本空间，对于低 频词来说太大的基本空间将造成浪费，所以需要分配合适大小的基本空间。在本 系统中，基本空间大小正好能保存一个词出 现一次的信息。 （）如果这个词以 现过， 　　　　 ３ 前出 将文档的读写指针定位到这个词的索引区的末尾。（）写入每个词的索引信息到临时文件。如果此时分配给该词的空间用完， 　　　　 ４ 则在临时文件末尾给其分配新的溢出空间，出现次数越多的词分配的溢出空间也 越大。索引写完后，将上一索引区的向前指针更新为新分配空间在临时文档中的偏移量 。（）对于文档中的每个词，重复步骤 （） （） 　　　　 ５ ２ 到 ４ ，对于每篇文档重复步骤（）到 （ ） １ ５ｅ（）所有文档处理完后，对于每个词，我们将分散在临时文档中的索引信息 　　　　 ６ 合并在一起，然后按照图３ － ８的格式写入最终的倒排文档．３ ． 常用分词技术的研究 ．３ ３以词为索引项的技术重点是词的切分问题。在本小节中对主流的一些分词技 　　　　术３２１ １３３ １，进行了 ， ３ 分析总结。目 　　　　 前采用的分词方法主要有：基于神经元网络和专家系统的算法、正向、逆向 最大匹配法３、 遍历法、 ［ 逐词 ４ １ 最佳匹配 词频 法、 统计法， 此外还有穷多 列 层次举法、二次扫描法、基于期望的分词方法、双向扫描法、邻接约束方法、 邻接知 识约束方法、最少分词词频选择方法等。但归纳起来不外乎两类，第一类是在生 成关键词时将语法、句法、语义结合起来，试图模仿人类的阅读过程。但有时语 法、句法、语义连开发人员都不是很清楚，故一般情况下不采用。第二类由字典 匹配法和基于频度方法组成，这些方法比 起上一种来较具体实用。下面给出几种常用的分词方法： 　　　　 １ 、逐词遍历法该方法是将词典中的所有词按由长到短的顺序在文章中逐个搜索匹配整个待 　　　　处理材料，直到把所有的词都切分出来为止。也就是说，不管文章有多短，词典 有多大，都要将词典遍历一遍。如“ 　　　　 他睡觉打奸” ，利用该方法切分这一句话，不论分词词典多大，都得把整 个分词词典匹配一遍。故这种方法的时间复杂度比较高，是一种不可使用的分词方法。２ 正向 、 伽娜与 （Ｍ ） 逆向Ｒ Ｍ最大匹配法正向最大匹配法是最早提出的自 　　　　 动分词方法，它的基本思想是先取一句话的 前六个字查字典，若不是一个词，则删除六个字的最后一个字再查，这样一直下 支，直到找到一个词为止， 对句子剩余部分重复此操作，一直到把所有的词都分出来为止，逆向最大匹配法和 ＭＭ 法一样，不同之处在于它是从句子的最后六个 字开始的，每次匹配不成功时去掉汉字串中最前面的一个字。 两种方法思路清晰，易于用计算机实现，但是由于试图用相对稳定的词表来 　　　　 代替灵活多变、充满活力的词汇，把词表作为判别词的唯一标准，因而，为了查询的方便， Ｍ 法要求配备逆序的分词词典， Ｒ Ｍ方 这样的分词词典维护起来比 较困 难 坏符合人们习 ） 另外， Ｍ和 Ｒ Ｍ法否 惯． Ｍ Ｍ 认词的 组合递归性，因 错率 此出高。 据统计表明， Ｍ方法的错误切分率为 １ ６。 Ｍ ／ ９ 这两种方法一般都不单独使用， １而是与其它方法相结合使用在同一系统中。３ 、非用字后缀表示方法［ ３ ５ １它是建立在中文 自 　　　　 动抽取关键词基础上的中文分词方法。非用字后缀表示法将中 文分为Ａ （ 外用字 、 （ 用字 、 类（ 件用字 、 类（ 类表 ）Ｂ类 表内 ） Ｃ 条 ） Ｄ 非用字） 它 。从Ｇ ２１－ 的６６ 个字中挑出Ｂ类、 Ｂ ３２ ０ ７３ ８ Ｃ类、 Ｄ类组成非用字后缀表。 在抽词时，首先采用字的方法将文章变成由关键词组成的词段，然后分成 １ ８种模式：（／＋ Ｂ＋ Ｂ ＋） （ Ｂ＋ ） （ｌ Ｂ＋／） （＂ＡＢ Ｃ。 Ｂ Ａ Ａ ／ ，　 Ｃ，　 Ａ ＡＢ，　 ＋ ／十 ） 如仍有长词， Ａ Ｃ ＋ Ａ Ｃ ＋ Ｃ 则采 用２ ，２ 措施解决． －２ － ２－２ 这种方法简单， 而且速度快。 ４ 设立切分标志法［ 、 ６ ３ １ 在 　　　　 着许多自 汉语中 存在 然切分 （ 标志 文章的 非文字符一号 ， 标点符号等， ）如 另外还 在一些非自 切分标志 词 存 然 （ 缀和不构 成词的 ， 词）如只能 词首字或词尾字 充当的字、不构成词的单字词、复音节单纯词、拟声词等，词不能跨越这些标志而存 在。设立切分标志法的基本思想是通过建立非自然切分标志的一张表来识别所有的非自 然标志。 这样，一个句子链就可以转化为若千字符串短链。然后用其它切分方法进行细加工，这样可以大大提高效率。这种分词方法后期处理时由于匹配长度较短，减少了比较次数，不过开始阶段寻找切分标志又增加了 分词的时间复 杂度。另外非自 然切分标志随着词典中收集的词和字的个数而变动。词典中增加 了一些词但是没有增加新字，可能减少非自 然切分标志，增加了一些新字，但由 于没有能够及时地增加相应的词， 可能会增加非切分标志的数量。 其实， 设立切 “ 分标志方法”并不是真正意义上的一种分词方法，只不过是自动分词的一种前处理方式而己，而且这种处理并没有提高分词精度，却要额外消耗时间扫描切分标 志，增加分词的时间复杂度，另外要花费存储空间存放那些所谓的非 自然切分标志。因此，设立切分标志法一般很少被单独采用。 ５Ｏ ，　 Ｍ方法Ｏ （Ｈ ＯＴＭ Ｍ　 Ｃ ＩＧ　 Ｈ Ｄ方法称为 　　　　 ＰＩＵ Ｍ ＴＨＮ Ｍ Ｔ Ｏ ） Ｍ　 Ｅ　 Ｔ Ａ Ｅ 最佳匹 配法。 Ｍ方法 Ｏ 《 汉语》 张 公主编） 提出 ， 正向 现代 （志 中 来的 分为 最佳匹 和逆向 配法 最佳匹配法．最佳匹配法的出发点是在词典中按词频的大小顺序排列词条，以求缩短分词词典 的检索时间，达到最佳效果，从而降低分词的时间复杂度，加快分词速度。实质上，这种分词方法是预先对分词词典进行处理，而不是一种纯粹意义的 　　　　 分词方法。 Ｍ方法的分词词典每条词前面必须有指明长度的数据项， Ｏ 所以Ｏ Ｍ方 法的空间复杂度稍有增加。 Ｍ方法虽然降低了分词的时间复杂度， Ｏ 但是并没有提高分词精度。但它的一个明显缺点是频度较低的词，永远被错误切分。如果仅考虑当前Ｉ 　　　　 Ｔ在处理文本的词频的话，将会得到良 好的效果，其代价是增加了分词的空间复杂度。６ 、二次扫描法二次扫描法的基本思想是取待处理材料中两个切分标志之间的部分作为样本 　　　　 串，首先从该样本串中取两个汉字作为匹配串，检查分词词典中是否有一个词， 它的前两个汉字和该样本串相同，若有的话，则取样本串的前三个汉字作为匹配 串， 重新在分词词典中找可以匹配串的词， 若有则重复下去， 直到进行 Ｉ 个汉字为止 设Ｉ 词典中 长词所含汉字的 ） 则切分出 （ 为 最 个数 ， 一个Ｉ 字词； 有则 若没 完成了一次扫描；把匹配中的最后一个汉字去掉，作为新的匹配串，进行第二次扫描， 第二次扫描是用 ＭＭ 方法或 Ｒ ＭＭ 方法进行。由于汉语中的平均词长为 １ ３ ． ，故 ８ 二次扫描法降低了分词的时间复杂度。二次扫描要求分词词典按国际递增的顺序 存放词条，若不是这样存放，则二次扫描法的时间复杂度会增大。二次扫描法没 有提高分词的精度，也没有增大分词的空间复杂度。它是一种切实可行的方法。 ７ 基于词频统计的分词方法 、词频统计的结果揭示了社会的用词规律，因此利用词频统计的结果帮助分词， 　　　　会 产生一定的效果。 这种分词方法不依靠词典， 将文章中 而是 任意个 字（ 数的 小于 等于 最长词长 Ｌ同时出 频 规定 ） 现的 率进行统计， 越高 越可能 次数 的 是一个词。它不是纯粹意义上的 机械分词方法， 而是在分词过程中处理歧义字段的一种方法。例如： ＢＢ 是两个词， Ａ ，　 Ｃ 如果Ｂ Ｃ的频度比Ａ Ｂ的大， Ｂ 则Ａ Ｃ这一歧义字段应切 分为Ａ 。这种方法可以很容易地将挑选出专有术语、 ＢＣ 人名、 地名等，但它的一 个明显缺点是频度较低的词，永远被错误切分。如果仅考虑当前正在处理文本的词频的话，将会得到良好的效果，其代价是增加了分词的空间复杂度。 ８ 联想一回溯法 、联想一回溯法是山西大学计算机系提出来的，目的在于提高分词的精度。该 　　　　 方法可描述如下： 首先将待切分的汉语言文本，依据特征库分割为若千子串，每个子串为词或 　　　　词群 几 （ 个词组 成的 序列 。 合而 线性 ）然后再用实 词库和规则 将词群细分为词。 库 这种方法实际上采用设立切分标志法和有穷多层次列举法的思想，由于实行分级建 库，故增加了分词的空间复杂度，把分词过程分解成分割和细分两个过程，使得 分词的时间复杂度增大。它能提高分词的精度，从而是一种可行的方法。它不是 一种纯粹机械分词方法。 这种方法己 在山西大学计算机系设计的Ａ ＷＤ自 Ｂ 动分词系统上得以实现。９ 专家系统方法 、专家系统方法从专家系统角度把分词的知识（ 　　　　 包括常识性分词知识与消除歧义切分的 启发性知 歧义 识即 切分规则 从实 ） 现分词过程中的推理机中独立出 来，使知识库的维护与推理机的实现互不干扰，从而使知识库易于维护和管理，它还具有 发现交集型歧义字段和多义组合歧义字段的能力和一定的自 学习功能。 综上所述，由于中文的复杂性，很难以某种方法正确地、彻底地分词。在实际应用中，一般 都是几种方法配合使用，以求达到最佳效果。在上文中对目 　　　　 前主流的一些分词技术方法做了简要的介绍，由此可以看出基 于分词的全文检索具有以下的优点： １ 　　　　 ）检索速度较按字检索的快。 在理想情况下，检索词语经分词后的检索单元 数量一般要少于以字为检索项的检索系统，当检索词语较长时，检索效率的提高比较明显。２ 　　　　 ）查准率较高。系统可以利用语言学知识借助词典和分词规则避免歧义词， 如检索 “ 华人”这个词，按字检索会将 “ 中华人民共和国”也检出，而分词系统 可以借助分词规则和词典避免这一情况。 ３ 　　　　 ）可以借用英文全文检索系统中已有的理论及方法，英文全文检索中有许多 成熟有效的方法可以直接借鉴。 ４ 　　　　 ）可以完成概念层次、主题的提取和检索。同时分词技术也有其不可避免的缺憾与不足： 　　　　Ｄ 构造一个可以 　　　　 跟上时代发展的词典是分词系统的一个难题。由于现代语言 的发展和外来语的引进，符合新时代特色的词典的构造不是一件简单的事，成为 分词检索系统开发的制约因素。添加新词语，建立众多词语的新概念模式、删除 过时词语的维护工作量极大。从成本角度看，词典的更新维护加大了用户的使用 成本，不利于系统的推广。 ２ 中文构词方法的复杂性使得人们难以 　　　　 ） 构造一个完全准确、 合理的分词规则， 因此查全率一直是分词算法难以解决的问题，影响了 基于分词的全文检索系统的 可靠性。迄今为止始终没有一种有效的分词规则可以彻底解决查全、查准率的问题。３ 在分词过程中大量的人名、地名和许多专有名词、新的语言词语、外来词 　　　　 ） 无法在词典中记录，而分词规则也无法识别这些词，只能借助按字索引的方式解 决。在实务中有相当多的检索信息是这类名词，因此从实际看，降低了分词检索 的效率，使得分词检索系统的检索效率优势大打折扣。３ 几种压缩技术的研究 ． ４在本节中主要针对索引在编码级上的压缩进行了分析，研究和比较。主要讨论了 位紧 压 法３８可 节 码 ＥａＧｍ ａ　ｎ编 法，ｏ ｍ 按 凑 缩 ［ １ 变字 编 法，ｌ ａｍ ｃ ｉ 码方 Ｇｌ ｂ ７， ３ ｉ ｓ　 ｏ ｇ ｄ ｏ ｃ ｉ 编码 法， ｉｒＩｅｏｔｅ　ｉ 码方 并 对 编 特点 ｏｎ ｄｇ 方 Ｂ ａ 　 ｒ ｌｖＣｄｇ编 法， 针 不同 码的 说 ｎ ｎ ｐ ａ ｏｎ ｙ ｔ ｉ明了其适用的范围。３ ． 按位紧凑压缩法 ．１ ４在本小节中利用单字的倒排索引文档给出按位紧凑压缩法的详细说明。在建 　　　　 立倒排文档时，在得到每个字符在所有源文档中的全部位置信息后，直接将其写入倒 排索引 件中， 位置信息 它 文 这些 都用 在源文档中的 绝对地 址来表示 可能 （ 被调 整过， 与实际的 物理位置 并不完全一致 ． ） 虽然每个文档一般不 会太大， 虑到 但考 通用 绝对 址 性， 地 应该用４ ｙ 来表示。同 个ｂｔ ｅ 样文档号也需 个ｂ ｅ 示。 要４ ｙ 来表 ｔ现在对上面阐述基于单字的倒排索引建立方法的空间存储效率进行一些分 　　　　 析。 先只对一个文字在一篇文档中的索引情况进行讨论，假设 “ 啊”字在 Ｉ Ｄ编号为５ ４ （ｘＡ３ 文档中出 ５ ３　Ｄ ２ 的 ８ Ｏ ） 现了１次， 信息分别为： ０ 位置 Ｐ Ｓ ＝（ ５ 　　　　 ｘ） Ｏ Ｏ ５　 ０ Ｐ Ｓ＝９　 ５ 　　　　０４） Ｏ Ｔ６ （ ｘＰ５＝０ ０ ８ 　　　　（ ６） ０２１４ ｘ Ｐ Ｓ＝０６０８８ Ｏ ９２５ （ ０） ｘ按 本节 －和３ 的 述， 例中 设ｍ为４ 为１ 则 照 式３ １ － 阐 本 均 ， ，　 ０ 有 ２ ｎ ，Ｃｐ ４　 ＝０　 ａ＝　１ ４ ｂｔ Ｘ　 ｙ ０ ｅＩ ｏ ２　０ ２ ｂｔ ｎ ＝　 １＝　 ｙ ｆ Ｘ　 ０　ｅ空间压缩比：Ｃ ｍ＝Ｃ ｐ ｏ ４／ ｏ ａＭｆ＝０２ ０叭．２ｍ．首次出现绝定地址Ｍ ，绝对地址１ 绝对地址２图 ３１ 　　　　　　　　　　　　　　　　　　　　　　　　 － ０相对地址压缩格式示意图 Ｆ ｕ ３ ０　ａｖａｄ ｓｃｍ ｒ ｓｎ　ｃ ｒ 　　　　　　　　　　　　　　　　　　 ｉ ｒ － Ｒｌ ｅ　ｒｓ　 ｐ ｓｏ ｓｕｔｅ ｇ ｅ　 ｅｔ ｄ ｅ ｏ ｅ ｉ ｔ ｕ １ ｉ ｒ从上面的分析可以看出，如果不对字符位置信息进行压缩，索引库的信息量 　　　　 会很大，尤其对中文来说，在源文档中用两个字节表示的一个汉字字符，在索引库中需要用４ｙ 来记录其出 ｂｔ ｅ 现位置， 库的总的信息量将是源文档信息量的两 索引倍左右，显然必须采用适当的方法对其进行有效的压缩。由于对文档的扫描处理 是顺序进行的，字符出现的位置必然是按升序排列的。根据这一特点，可以对位 置序列进行压缩，采取差值编码的思想，对每一出现位置记录其相对于前一出现 位置的相对地址，每一相对地址采取尽可能短的可变长度表示。字表段的压缩格 式如图所示。 对字符位置序列压缩时， 　　　　 将第一个出现位置 Ｐ ｉ直接用绝对地址表示，从 Ｐ ２ 开始，用相对地址表示。每个相对地址用若干位表示， 在保证尽可能短的地址编 码长度的条件下，将数个编码长度相同的连续地址压缩为一个 “ 地址节” 一个 ， 地址节中包含该节的地址编码长度、地址个数以及各地址编码按位紧凑存放的地 址码位流，如下图所示。这样一个字符在一篇文档中的位置信息就由若干地址节构成。地址编码长度可以有 ４ｉ，　ｔ ８ｉ，　 ｉ 等情况。当相对地址长度超过 　　　　 ｂｓ ６ｉ，　ｔ １ｂｓ ｔ ｂｓ ｂｓ ６ ｔ １ ｉ 地址空间时，则直接用绝对地址表示。 ６ｔ ｂｓ 一般的文档都比较小，极少用到超过 ６Ｋ的相对地址，因此每个字符的出现 　　　　 ４地址的编码长度一般在 ８ｉ－ ｂｓ ｂｓ ６ｉ 之间。由 ｔ１ ｔ 此可见，使用这种方法压缩的索引库 的数据量将保持在原文档的 文本内 容的数据量的５％ ０％ ０ －１ 之间。 ０相 对 地 址编 码 长 度 ｝ 地址 个 数 ｝ 地 址 码位 流图３１ －１地址节示意图Ｆ ｕ ３１Ａ ｄ ｓｓ ｔｎ 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 ｉ ｒ　 １　 ｒ ｓ　 ｉ ｇｅ － ｄ ｅ ｅ ｏ ｃ另外，第一个出现位置要用绝对地址表示，而在绝大多数情况下，绝对地址 　　　　用１ ｉ表示就 ６ｔ ｂｓ 足够了． 此， 因 在索引 可以 库中 根据具 体情况， 般用２ｙ 表示 一 ｂｔ ｅ 绝对 地址， 对于极 情况， 使 ｂｔ 个别 再 用４ｙ 编码。 ｅ这种编码方式最大限度地压缩了位置信息，但是它只有在位置信息里出现大 　　　　 量连续的相同位数的地址时才能够对位置信息进行高效的压缩。例如，只有当长 度为４ｉ 的地址码连续出现四个以 ６ｓ ｔ 上，用这种编码方式才能够起到节省空间的目 的；而当连续的４ｉ 编码小于两个时反而浪费了空间。因为在不压缩的情况下， ｂｓ ｔ４ｉ 的 ｂｓ 地址可以 个字节表示， 个连续４ｉ 占 ｔ 用一 四 ｂｓ 用了４ｙ ， ｔ ｂｔ 而经过 ｅ 这种编码 压缩后， 个地 压缩到了 个字节中 每个字节有８ｉ ， 四 址被 两 （ ６ｓ 另外在 ｔ ） 用一个字节记 录地址节中 地址的 个数以 解码， 用于 这样就总 用了３ｙ ， 共占 ６ｔ 节省了 个字节。 ｅ 一当４ｉ 地址连续出 ｂｓ ｔ 现两次和三次时，编码前后所占用的字节都是两个和三个，不 节省也不浪费，而当４ｉ 只出现一次时，这样编码后需占用两个字节，反而多用 ｂｓ ｔ 了一个字节。同样， ｂｓ ６ｉ 的地址编码需要连续出现八个才能达到节省空间的目的。 ｔ而当采用英文词表和中文字表的倒排表组织方式的时候，这种情况出现的几率是非常小的，使用这种方式编码也是很不经济的。另外，由于这种编码方式比较复 杂，在编码和解码时需要消耗一定的时间和资源，也会直接影响搜索引擎的快速 响应。只有当 采用英文字表组织倒排表的时候，即英文不按照单词， 而是以２ 个 ６ 字母组织倒排表， 这个时候由于所有的位置信息全都集中到了２ 张表中，才有可 ６ 能出 现大量连续的４ｉ．　ｔ等同长度的地址，这个时候用这种按位紧凑压缩的 ｂｓ ｏｉ ｔ ｂｓ 方式编码才是行之有效的。３ ． 可变字节 ．２ ４ 编码 （ａａｌＢｔＣｄｇ Ｖｒｂ ｙ ｏｉ ） ｉ ｅ　ｅ　 ｎ在本小节中 另外一种索引压缩的方法，叫可变字节编码［。 　　　　 介绍 ３ 该压缩方法 ９ ［是基于传统的索引结构模型。索引完全是由整数值组成，整数值越小，就能用更 少的字节来表示它。为了提高索引压缩比，需要减小索引中数值大小，因此在创 建索引之前，需要对索引进行预处理。 在 ３ 节的基于分词的索引建立的方法中已经提到， 　　　　 ． ２ 若词出现列表中的文档编 号是升序排列的，因此可以采用增量编码的方法表示文档编号，文档编号只保存 与上一篇文档编号的增量。词在文档中的出现位置序列必然是升序排列的，因此 也可以采用同 样的处理方法，同时出现位置可以用词编号来表示，而不用词相对 于文件头的字节偏移量来表示，这样可以 大大减少出 现位置的数值。 可变字节编码分为两类， 　　　　 一类是均匀变长编码， 另一大类是非均匀变长编码。 下面分别就这两种编码形式加以详细说明。 （ 　　 一）均匀变长编码 在未压缩的索引中，除了词频是单字节表示以 　　　　 外，其他都是用 ４个字节来表 示，大部分的数值根本不需要 ４个字节表示，造成了很大的浪费。设计一种整数 变长编码， 将双字的低字节的最低 ２ 位作为数值字节长度标志位。 ０１ ０－１分别表示数 值需要１ 个字 表示。 － ４ 节 除了２位作为 标志位， 其它位 字节 都用来保存数据（ 图 ３匀 － 。由图３ ２ １ － 可知字节长度和标志位是均匀映射， 称之为均匀变长编码。 １ 所以编码时，首先根据数值大小来判断字节长度标志位， 然后将数值做左移２ 位运算， 将标志位通过按位或运算写入数值的低 ２位中。在解码时，首先在当前指针处读 取一个字节，和０ ３做按位与的运算获得此数值的标志位， Ｘ 然后按照标志位读入 相应的字节，最后将读入的数据整体做右移 ２位操作就能得到源数据。比如数值１， ２ 用二进制表示为１ １００ 通过大小比 ０ １ ００， １ 较后可知需要２ 个字节来表示， 均匀压缩编码后的二进制表示为〕００１ １０００ ，可以看出大部分的增量数值只需 ）００１　 ００１ １ １ 个字节表示，而无需再用 ４ － ２ 字节。｝ ＿ Ｌ＝　 ｍ １　 ａ　　 Ａ －一 Ｆａ － ｌ ― ｌｇ － ｕ 一 州Ｆａ＝ ｌ １ ｇＦａ－ １ ｌ １ ｇ图３１ 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 － ２均匀变长编码 Ｆ ｕ ３１ Ｕ ｉｒ ｖｒｂ ｃｄ 　　　　　　　　　　　　　　　　　　　　　　　　　　 ｉ ｒ　 ２　 ｆ ｍ　ｉ ｌ ｏ吨 ｇｅ － ｎｏ ａａ ｅ　（ 二） 非均匀变长编码 通过分析可以看出，大部分情况一篇文章包含的字词数在 ４万以下，那么出 　　　　 现位置数值的增量编码则会更小。对于数据量较大的高频词，其出现文档编码的 相对增量值也不大。针对全文数据的这一特点，提出一种标志位和字节长度非均 匀的映射编码方法。由于小数值出现的机会大，可以将小数值字节表示范围划分 密集一些，而大数值字节表示范围划分粗略一点。双字的编码方式如图所示。在前面的方法中。表示词频的单字节不压缩，由分析可知，一个词在很大部分文章中出 现频率都 很低［， ｉ ｍ 针对此加入了 ｌ 对词频单字节的 压缩编码方法， 单字节编 码标志位为 １位，０或 Ｉ分别表示用半个或一个字节表示数值 （ ３１） 图 －４ 。均匀变百 一￣一月 一 ―匕 　　　　　　　　　　　　　　　　　　　　 　　　　　　　　 几 ｇ１ ０Ｆ ｇ １ 一一 　　　　　　　　　　　　　　 ｂ ＝ｏ Ｆａ＝ 】 Ｉ １一 ｇ 一 －匕 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　图３ ３ 非均匀变长编码示意图 　　　　　　　　　　　　　　　　　　　　　　　　　　 － １ Ｆ ｕ ３ ３　 － ｉｒ ｖｒｂ ｃｄ ｇ 　　　　　　　　　　　　　　　　　　　　　　 ｉ ｒ － Ｎ ｎ ｎｏ ａａｌ ｏｉ ｇ ｅ　 ｏ ｕ ｆｍ　 ｉ ｅ　 ｎ １长编码读写时，都是以字节为单位的，因此其压缩和解压缩的算法较简单；非均匀变长编码由于会出现读写时字节不对齐的情况，因此算法较为复杂，解压缩的Ｒ昭１ｂｔ １ｉ 一 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 ｎ鲍＝ １图３ ４单字节非均匀变长编码示意图 　　　　　　　　　　　　　　　　　　　　　　 － １Ｆ ｕ ３ ４　 ｌｂｔｎｎ ｎｏ ｖｒｂ ｃｄ ｇ 　　　　　　　　　　　　　　　　　　 ｉ ｒ　 Ｓ ｇ ｙ ｏ－ ｉｒ ａａｌ ｏｉ ｇｅ － ｉ ｅ　 １ ｎ ｅ　 ｕ ｆｍ　ｉ ｅ　 ｎ时间也会更长。就索引的空间来说，原来大部分用 ２字节表示的数值现在都能用 １ 倍的字节表示，这部分空间减少了 ２％，但是 １ ． ５ ５ 字节的表示长度没有变化，３ 字节现在需要 ４字节来表示，字频大部分用半个字节就能表示，从整体来说比均匀编码方式的空间缩减率在 ２％ ５ 左右。由此可以看出非均匀编码相对于均匀编码 来说， 用一个标志位状态表示 １ 个字节长度， ．个字节长度标志位合并为一个， ． ５ ３ ４使得在低数值字节表示范围上划分更细了，与实际系统中小数据出 现概率大的情 况十分匹配，因此可以获得更大的空间压缩率。 本小节主要介绍了变长编码压缩方式的两种实现形式， 　　　　 一种是均匀变长编码， 另外一种是非均匀变长编码，由以上的分析可以看出，由于实际上文档的数量和 文档的大小都会在平均的一个水平，并且不会十分的大，在这种情况下非均匀编 程编码就会在压缩率上胜过均匀变长编码。但是在相同的条件下非均匀变长编码 的编码格式比均匀变长编码的要复杂，所以其在解压缩的时间上也要长于均匀变长编码。３ ． ｌｓ　 ｍ ｃｄ ｇ ．３　 ｉ Ｇ ｍ ａ　 ｉ ４ 　Ｅ ａ ａ ｏｎ倒排表可以非常长，而信息检索是以 　　　　 磁盘为界限的。从磁盘检索一个长的倒 排表要比对它进行其他的操作花更多的时间。为了能增大从磁盘上检索的信息量， 需要针对整形数进行更有效的编码方法。在伽马编码中， 个整型 　　　　 一 数被表示成两部分， 是ｈｗ ｌ ， 头部 ｏ 个０ 尾部是ｘ 的 二 表示。 进制 这样整 表示为二 ０， ０， 数９ ０００１ 因为ｌ ｚ ３ 所以 １ ｏ ｘ ， 头部是００ 尾 ｇ＝ ０，部是 １０ ０ ０１伽马编码对于小丫些的整数其编码效率是很高的，因为头部的长度短。当数 　　　　变大，存储空间也变大了。ＥａＧｍ Ｃｄｇ 种简 压 　　　　ａ　ｉ 是一 单的 缩编码的 ｌ ａｍ ｏ ｎ ｉ ｓ　 方式， 针对数 较小的 值比 整数其编码效率很高，但是若是整数变得很大的时候该编码的方式就有一些不太实用了。３ ． Ｇ ｌｍ Ｃ ｄ ｇ ．４　 ｏ ｂ　 ｉ ４ ｏ ｏｎ在Ｇｌ ｂ 码中， 　　　　编 ｏｍ ｏ 整数ｘ 用两部 分来表示， 商和余数． 计算公 商的 式为９ ＝ Ｌｘ １／ ， （－ ）　 余数的 ｋ Ｊ 计算公式为、 一＊ ， 伪 冷１ 在这里ｋ ｏｍ 编码算法的 是Ｇｌ ｂ ｏ 基础。 如果ｒ ， 　　　　 ＜ 整数可以 ｏｚ （ 于该值的 ｐ 用Ｕｇ ｊ取大 ｋ 最小整 位 存储， 则它 数） 来 否 将需要ｌ２ （ 于该 上 数）在 里ｐ 分 （ｇｊ取大 值的 整 ， 这 是 界点， 算 法为ｐ２ｏ ｋ１　 ｏｋ 计 方 ＝ｌｇ ＋Ｊ． ｌ２ － ｋ当ｒ 时， ｏ ｍ 编码用４ １　 ， 　　　　Ｇ ｌ ｂ ＜ ｐ ｏ 个０ １ 个１ 还有ｒ 进 表示。 的二 制 否则表示方 法为９ ，　 ，以 ＋ 的 进制 个０ １ 个１ 及ｒ 二 表示． ｐ 这样， 整数９ 用ｋ ３ 编码为 可以 ＝ 的０ ， １０ ０１ １ ，对于这套编码方案来说，ｋ的选择是至关重要的，如果选择的不好，编码后 　　　　的整数会变的非常大， 需要很长时间来解压。 ｔｎ　ｌ（９４ 认为假定倒排表 Ｗｉ ｅａ １９ ） ｔ ｔ　 ｅ ．　 中整数符合 Ｂｍ ｕｉ ｅ ｏｌ模型，则一列整数 ａ 值用 ｋ ０ ９　 ｌ 的ｋ － ． Ｘ平均值 （）来计算。 ６ ａ对这些实验的ｋ 　　　　　　 值的选择用的是 Ｗｉ ｎ ｔ 的近似法，每一个倒排表都用自己 ｅ 的ｋ 来压缩。存储ｋ 的花费未被计算并且也没有包含在结果中。Ｗｉａ ｓ　Ｚｂｌ 　　　　　　 ｅ 描述了 ｏ ｍ 编码实施优化的方法， ｌｍ ａ ｏ ｌ ｎ ｉ ｄ　 对Ｇ ｌ ｂ ｏ 并且认为常规 的对整数的Ｇ ｌ ｂ ｏ ｍ 编码比Ｅ ａｇ ｍ 编码和Ｅａｄｌ 编码解码更加节省空间。 ｏ ｌｓ　 ａ ｉ ａ ｍ ｌｓ　ａ ｉ ｅ ｔ本小节说明了 Ｇ ｌ 　　　　　　　　 ｂ编码的原理，并且指出了该编码方案的关键点主要 ｏｍ ｏ 在于 ｋ值的选择，因为 ｋ 值的大小与解压的时间关系很大，若是没有选择好一个 合适的 ｋ 值那么解压的时间将变的很大，这样压缩算法就失去了意义。３ ５　ｉｒＩｅｏｔｅ　ｉ（ 进制 ． 　　 ａ 　 ｒ ｌｖＣｄｇ ４ Ｂｎ ｎ ｐ ａ ｏ ｎ 二 插入编码 ｙ ｔ ｉ ）二进制插入 码４ Ｍ ｆｔ ｔｖ ２０ 用 　　　　 编 ［ （ ｏａ和Ｓ ｉｒ　 ） 相邻数的 １ １　 ｕ ｅ ００ 信息来 编码一个单调递增的整数数列。如果在整数数列 Ｘ 中，对于任意给定的一个整数 Ｘ 　　　　 ； ｉ ，前一个数 Ｘ１ ；和后一个 ＿ 数 Ｘ１ ｉ是已知的， ＋ 那么通过减法运算我们可以 得到存储 Ｘ 所需要的最大位数。因 ｉ为Ｘ 大小是 （＿ ｌ Ｘ， １ 的 ｉ 的 在 Ｘ ＋ ，　一 ） 范围内 所需的 大位数为１ ２　 １ Ｘ １ ｊ 　ｉ ｌ ＋ ， 最 ０ （ｉ－ ｉ ９ Ｘ ＋ －－２。 ） 解码时需要Ｘ１ Ｘ１ ｉ和 ｉ 的信息，所以数列Ｘ 是从原先的Ｘ 得到的，也就是 ＿ ＋ ２ １ 说每个从表 Ｘ 得到的整数都在 Ｘ 中， １ ２ 这样也就可以递归地进行编码。 中心最小二进制编码也是二进制插入编码的一种实现形式。它是指当压缩一 　　　　个 列１． 需 ｆ　位 但 有２ｒ－ 位 编 就 浪 掉 。 些 浪 序 ． ， 要ｌ ｎ ， 是 ｆ ｌ。 的 码 被 费 了 这 被 ． ｎ ｏｌ ＆ ０ ＇ ， ｎ ２费掉的编码可以被缩短成一位并被使用 （ 只要这些短的编码不是长编码的前缀） 。这些最小化的二进制编码被置于编码范围的中心， 在进一步处理过程中，当数列 的长度不断缩小， 数列的密度也就增大了。 压缩倒排文件表和词出现的倒排表直接在倒排表上进行操作，不需要取差值。 　　　　 通过计算每个文件上累加和来得到频率值，而由频率值可以 产生一个单调递增的数列。在本小节中主要探讨了二进制插入编码的编码策略，它主要用来对一个单调 　　　　递增的整数数列进行压缩编码 。４中文全文检索系统的索引器设计实例分析从上文的分析可以知道，中文全文检索的索引库的组织结构不同其涉及的索 　　　　引的创建，索引的维护方案也不同，带来的索引创建，检索效率，维护整个索引 库的代价都是不同的，在本章中给出基于单字的倒排表索引系统的实现。４ 总体设计 ． １该系统共有三部分功能模块组成，分别是索引的创建，索引更新，索引删除， 　　　　具体的结构图如下： 源文本集图４ 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 １索引系统结构图 Ｆ ｕ 今１　 ｘ　ｔ ｓｕｔｅ 　　　　　　　　　　　　　　　　　　　　　　　　　　 ｉ ｒ Ｉ ｅ Ｓｓｍ　 ｃ ｒ ｇｅ ｎ ｙｅ ｔ ｕ ｄ ｒ由上图可知：该系统由三个功能模块、一个可调用的索引压缩类和一个索引 　　　　文件库组成， 其中文本预处理模块是对文本集进行预处理，索引压缩是在创建索 引和更新索引时用到的一个内部类模块， 所以 在此特别的列出。由第 ３章的分析 知道基于字的索引系统创建方便，并且在检索方面的查全率和检索效率方面有比 较好的效果。与之相比基于分词的索引结构需要比较多的资源来动态的维护一个 词表，而且自 然语言的自 动分词技术还没有十分成熟。综合考虑，本系统采用了 基于单字的倒排索引文件结构。在本章的各节中分别介绍了索引组织结构的形式、 索引的创建方法以及索引的维护策略。同时还给出了索引结构的一种改进的方案和其相关 的维护策略。４．２ 称文本预处理为什么要进行文本预处理？原因是待检索文本中所含有的并不全部是中文字可能含有英文字符、其它外语字符、或者一些特殊的符号，针对这些特殊字符创建索引的过程以及检索的策略与中文字符不同。所以在针对源文本集创建索引时需要将这些特殊的字符分离出来，分别对其进行索引的创建。由于本文主要 讨论中文全文检索的索引构建，所以对于西文和其它字符的索引的创建不在详细叙述。除了将其它的特殊字符，外文字符分离出来，在索引的创建时还有一个很重 　　　　要的 题一 停 词 “ｏ ｗｒ １” 处 这 词 没 实 的 义， 问 一“ 止 ｔ ｏ ）　 的 理， 些 并 有 际 意 但 ｐ　ｄ ４ ２ １是在文本中却大量的存在，比如中文字符中的 “ ， 是” “ 的” “ ， 得”等，英文中也 有类似的词 “ｎ ＂ ＂ｓ ａｄ，　 ”还有动词的过去式，过去分词等。这些词在文本中出现 ｉ 的概率很大，总量很多。但是其对实际的检索意义不是很大，若要是对这些词全部建 立索引， 将会耗费 资 所以 很多 源， 在索引创建 之前将这些 “ｔ ｗ ｒ 移除。 ｓｐ　ｄ ｏ ｏ” ＂ｏｗ ｒ” 设定 根据统计的 ｓｐ　ｄ 的 是 ｔ ｏ 规律事先设定 一个ｃ ｓ数组． 好的 ｏｔ ｎ 在具体处理时采用的策略是扫描文本时判断该字符是否为停止词，若是直接跳到下一个词进行处理。该部分在系统中其实是和索引创建紧紧相扣，文本预处理在索引创建时第一 　　　　次扫描时进行各项预处理操作，然后分别处理。具体实现流程如下图： 日 月图４ ２文本预处理流程图 Ｆｇｒ今２ ｉ ｅ ｕｏ ｔｘ ｆ　 ｔ ｅ４３ ．索引创建索引组织结构形式４３ １ ．．该实现方案中索引文件采用倒排表的索引格式，索引单位采用了单字。倒排 　　　　 表的具体的形式和工作原理在前文中已经讨论了，在本节中采用了 传统的倒排表 的形式具体介绍如下： 完整的倒排表模型的索引由两部分组成 （ 　　　　 见图４ ） －： ３ 索引头：是一个一维数组，以 　　　　 字符内码为下标，记录各个字符的索引在索引体中的开始位置。索引体： 　　　　 ３ 图４ 中的索引体示意图仅为方便理解， 实际的索引体是示意图中各 行数据依次首尾连接形成的一维数据流。 图中的每一行存放一个字符Ｑ（ ｓ ｓ） ｌ ｉｎ的索引数据，其结构为：（ｉ 　ｔ Ｏ ． ｉ． ， Ｔ ，　 （ ，　 ． ，……， 　　　　 （ｎ Ｏｌ． ｝ ｛ｉ Ｎ ，　Ｍ Ｏ ， ｝ Ｔ Ｎ ，　 ，　ｎＪ ｌ ｉ ｚ Ｏ Ｏ ｉ． ａ． ） ｛ｉ Ｎ ，〔 ． ｉ 二 　　　　 ｑ ，Ｏ ．” Ｔ ，　 ， ｉ ， ｂ ．其 ｙ　 ｓ ） 示 有 符Ｃ的 本 内 代 ， ｉ 示 本Ｔ中 　　　　 ｊｍ 表 含 字 ｉ文 的 部 号 Ｎ表 文 ｉ 字 中Ｔ （ Ｉ ｓ　 ｌ ｌ 符Ｇ出 次 （ｉ 　 ．〕 现的 数， Ｏ 　 ｙ． 指出了 本Ｔ中 符Ｃ出 具 位置。 ｌＯ ． ｂ 文 ｉ 字 Ｇ 现的 体 ｌ由于每个字符的索引数据的长度是不同的，因此需要索引头中的指针来指出 　　　　开始位置。索引头 　　　　　　　　　　　　　　 索引体图４ ３简单倒排索引示意图Ｆ ｕ ４ Ｓｍ ｌｉ ｅｅ ｌｔ 　　　　　　　　　　　　　　　　　　　　　　　　　　　　 ｉ ｒ ３　 ｐ ｎ ｒｄ　ｓ ｇ ｅ　 ｉ ｅ　 ｔ ｉ ｖ ｓ下面就该索引库组织形式的检索要求进行简要的介绍：在检索时，设待查字 　　　　 符串为 ＣＣ．Ｃ ． ，首先通过索引头定位各字符的索引数据，然后对数据进行 ＩＺ．． ．ｉ． Ｑ 分析： Ｃ． ｃ 索引数据均含有文本Ｔ的 若 １　 的 ． ． Ｃ 索引记 在ｒ 录， 个关于文本Ｔ的索引 记录又含有 ０．　 ．０ （ｉ １ Ｏ，　 ，　是属于字符Ｇ的索引数据） Ｚ ． Ｏ ． ，且Ｏ和 Ｏ １　ｓ ｓ ｉ ｉ （ ｉｒ 十 ｌ－１ 的差值刚好是 ） 字符Ｑ所占的字节数， 则文本Ｔ 为一个命中文本。 找到所有的命中文本后 （ 或是分析完毕后仍找不到命中文本） ，检索完成。在下一小节中将介 绍基于该索引组织结构的索引创建的方法。４ ． 索引的创建方法 ．２ ３在该节中主要介绍了一中传统的倒排表索引的创建算法一一排序合并式。 　　　　记文本集 ｛Ｉ　ｒ…， ｎ 为 ， 　　　　 Ｔ，　 Ｔ ２ Ｔ｝ ａ 它是有Ｔ，　 Ｉ Ｔ．…， ． 个文本组成的 ２ Ｔ等ｎ 集合，由 本集 该文 有一个唯 倒 一的 排表ｐ 之对应， 据结构如图 ４ 。 与 其数 － 在全文 ３ 检索时， 检索是直接依据倒排表０ 来进行所有的检索工作， 这就要求由 倒排表可以 直接对 应到原 上，即有ｐ ａ 显然， 文本 得到 。 一个文 本集ａ 和一个倒排表Ｐ 是具有 一 一对应的关系， 。 即 一 Ｐ 倒排表的索引“ 。 排序合并” 创建的思路正是基于上述的分析。它把源文件当成一个三元组数组，倒排表也是一个三元组数组。创建文 本索引实质就是找到由文本三元组数组建立倒排表三元组数组的方法。下面就一个实际的例子给出上述过程的详细说明，即倒排索引的创建过程。现有一文本集，它有两个文本组成，文本 Ｉ 　　　　 和文本 Ｉ ，它的倒排表如图４ ． － ４ 算法的关键是由文本 Ｉ 、文本 ｎ建立它们的倒排表。文本１ “个双字节的汉字）：一人一个文本ｎ　 个双字节的汉字）：一人一张 （ ４ 索弓头 １ 个 － 人几 “体｛ｌ６ （ ） ．　（ ．　） １ ２（ ｌ １ １ ．　 ４ ２ ） （ ０ １ ．　 ０ ６ ）（ ．　）， （ ４ ｎ ０ ｎ．　 ）图４ 示例文本索引示意图 　　　　　　　　　　　　　　　　　　　　　　　　　　　　 － ４Ｆ ｕ ４ Ｅａ ｐ ｔ ｔ　ｘ ｇ 　　　　　　　　　　　　　　　　　　　　　　　　　　 ｉ ｒ　 ｘｍ ｌ ｅ Ｉ ｅｉ ｇｅ － ４　 ｅ　 ｎ ｎ ｘ ｄ当然，真正在计算机内存储倒排表时，为了节省索引空间，倒排表的数据结 　　　　 构并不像图４ ，而是如图４ 所示 （ － ４ － ５ 在这里，暂且认为倒排表是顺序存储的，为 了简明 起见，图中字符出现的次数没填） 。个 － 人图４ 实际索引数据结构示意图 　　　　　　　　　　　　　　　　　　　　　　　　　　 － ５ Ｆ ｕ 今 Ｒａｉ ｅ ｄｔｓｕｔ 　　　　　　　　　　　　　　　　　　　　　　　　　　 ｉ ｒ ５　 ｌ　 ｘ　 ｔｃ ｒ ｇｅ ｅ ｎ ａ ｒｕ ｄ ｅ　 ｅ在本算法中， 　　　　 把源文本当成是一个三元组数组， 而倒排表是另一三元组数组， 由三元组数组 １ 和三元组数组 ２之间的关系，可以看出它们是同一个三元组集的两个不同的顺序的排序。由 此可以得出创建倒排表的方法一一把文本三元组集以 字符内码作为主关键字，文本编号为次主关键字进行重新排序，得到的新三元组 数组即为倒排三元组数组。实质上，可以 把倒排表看成是源文本字符集重新排序 而得到的新文本，它们的区别在于关键字不同。源文本的关键字依次是 （ 文本号 一文中位置一内 ，而倒排文件的关键字依次是 （ 码） 内码一文本号一文中位置） ． 具体创建时，依次扫描 ｎ个文本。对一个文本中出现的每个字符，填写 “ 　　　　 文本号一字符一文中位置”三元组。该文本扫描完成后，在内存中以 “ 字符”内码（ 拼音序）排序，并在磁盘上新创一个相应的临时索引文件用于保存数据。在所 有的文本扫描完成后，根据倒排表索引的数据格式合并 ｎ个文本对应的临时索引文件。三元组数组１ 　　　　　　　　 ：文本三元组数组 文本号 文中位置 　　　　　　　　字符（Ｉ （Ｉ （Ｉ （Ｉ （Ｉ Ｉ （Ｉ Ｉ （Ｉ Ｉ （Ｉ Ｉ２ ４ ６ ０ ２ ４ ６ ０三元组数组２ ：文本三元组数 文本号 文中位置 字符 个 、少 ６（Ｉ （Ｉ （１ １ （Ｉ （Ｉ （Ｉ Ｉ （Ｉ Ｉ （Ｉ Ｉ刁 劫 刁 们２ ２ ０ ４ ４ ０ ６人 人 一 二』、 产 、． 矛 、 ． 户 、 少 、 产排序 　　　　　　一月一） 　　　　人） 　　一） 　　　　一、张） 　　　　张、． 产少图 ４６三元组 １ － 与三元组２ 关系图Ｆｇｒ４６　 ｒａｏｓ中ｏｔ ｌ ａｄ　ｌ２ ｉ ｅ　 ｔｅ ｌｉ ｂ ｆ　 ｅ ｎ ｔ ｅ　 ｕ － ｈ ｅ ｔｎ ｉ ｒ ｌ　 ｒ ｐ ｉ ｐ用上例说明 为简明起见，本章的例子均假设已经将英文标点等其它字符处 　　　　 （ 理完毕，所处理的仅为汉字）文本 Ｉ　个双字节的汉字） （ ４ ：一人一个文本 Ｉ （ 个双字节的汉字） Ｉ　 ４ ：一人一张 索引的创建过程如下：１ ）扫描文本Ｉ 得到 ， 三元组， 见表４ ． １２ “ ）以 字符”内 （ 码 拼音序） 排序后， 得到表４ ．作为文本 Ｉ ２ 的索引存盘。表今１文档１ 原始三元组 表 ４ 文档 Ｉ － ２ 排序三元组 表 ４ 文档２ － ３ 排序三元组Ｔｂ 今ｌ ｒ ｉ ｌ　ｅ　ｉｌ　 ｌ２　ｇ ａｔ ｌｏｆｅ Ｔｂ ３　ｇ ａｔ ｌｏ}