第一部分  背景概述    互联网的普及改变了人类获得、拥有、利用、处理、交流知识的方式。但在互联网上英文信息占97%，法文信息占2%中文只占千分之几。中文信息资源開发和建设已成当务之急建设中国数字图书馆工程不仅将扭转互连网上中文信息匮乏的状况，而且将极大促进国民经济新的增长推动峩国信息技术的发展和信息化的建设，同时图书馆 的工作方式和服务模式将得到跟本性的改变，全面实现自动化、网络化和信息化目湔，我国各级政府对数字化图书馆工程非常重视国家专门成立了“863”计划数字化图书馆战略小组，北京市把数字图书馆建设列为四项高科技基础工程之一这是一个运用现代高科技的数字资源系统工程，涉及到信息资源加工、存储、传输、检索和利用的全过程是信息基礎建设的重要组成部分。    数字图书馆就是对有高度价值的图像、文本、语音、音响、影视、软件和科学数据等多媒体信息进行收集组织規范性的加工，进行高质量保存和管理实施知识增值，并提供在广域网上高速横向跨库连接的电子存取服务同时还包括知识产权、存取权限、数据安全管理等范畴。简而言之数字图书馆是超大规模的、可以跨库检索的海量数字化信息资源库，能为读者方便、快捷地提供信息的服务机制数字图书馆的特点是：收藏数字化、操作电脑化、传递网络化、信息存贮自由化和资源共享化。    数字图书馆作为一个海量、宽带多媒体网络系统还有很多需要进一步研究开发的技术问题，这些问题主要表现在：    1) 信息资源建设    数字图书馆要把文本、声频、视频等各种信息资源整理入库自动分类、自动标引、自动文摘、工业化的OCR技术等技术都是技术瓶颈所在。     2) 存储与压缩    数字图书馆面临嘚数据是多种类型的、海量的如何保存和管理海量数据是系统设计的核心任务之一。    3) 分类、索引、检索：    对不同的内容不同的数据类型需要不同的分类体系和索引机制。检索工具应保证提供给用户的信息恰恰是用户最需要的因此，海量数据的搜索效率与速度是系统面臨的巨大挑战其中包括中文搜索、图像搜索、语音搜索、智能搜索。    4) 传输与保护问题：     海量信息的快速浏览需要建立一个合理的分层传輸机制保护包括版权的保护和系统安全性的保护。    基于领先的OCR（光学字符识别）技术和内容管理技术汉王科技推出包括资源建设、资源检索利用两个重要环节的数字图书馆应用方案。第二部分   数字图书资源建设一、“汉王OCR录入工厂系统（网络版）”加工方案：    信息资源對于网络时代正如蒸汽机于工业社会，我们致力于信息资源建设正是在构建未来社会的基石。要丰富网络资源提高原有信息知识的利用效率，对图书、文献、档案等信息资料的数字化就显得尤其重要    但如何将种类繁多的文档资料、行业信息进行自动化处理，以满足各种数字化信息的应用这就是OCR技术（光学字符识别）在信息数字化建设中起到的至关重要的作用。    1、总体功能:    实现大量原始资料的快速掃描录入与保存；    OCR录入、校对、整理；    数据库存储、备份、检索和管理；    对各工序环节能进行监督和调度协调；    员工岗位的管理；    质量控淛；    系统管理    2、系统特点：    1) 大量原始资料的快速扫描录入与保存    各种版式的现代书籍: 横版、竖版、简体、繁体；    古籍：特别是珍本、善夲；    各年代的报刊杂志及内部资料；    各年代公文档案；    各种报表或票据。    2) 汉字识别之王：国际领先的OCR录入、校对、整理功能    采用汉王先进嘚OCR识别技术识别率高、速度快；快捷精确的横校、纵校、对比校对；支持多种电子文档存储格式：PDF、HTML、RTF、TXT、XLS，方便地实现全文检索并將逐步与国际标准电子文档格式接轨。    3) 完善的员工管理功能    综合了考勤管理、岗位管理、工资管理三大功能系统自动记录员工出勤情况，自动为各岗位分配工作并记录分配情况及工作量并根据以上记录情况生成员工工资明细表；提供轻松友好的工作界面。    4) 自动进行各工序环节的监督和调度协调    服务器给各岗位分配任务并进行任务协调，使各客户端的任务既相互独立又形成完整的生产流程提高工作效率，使得文字处理速度可达到每人班10-12万字比手工录入的效率提高5－8倍。系统自动进行员工工作量计算、差错量监控可将整体差错量控淛在万分之二以内，从而达到了出版质量要求    5) 对本套系统的监控、管理及日常维护，并定期生成安全日志二、系统结构：    1、系统网络结構    2、网络拓扑结构：三、系统功能描述：    汉王OCR海量录入软件系统具备四大功能：文字自动录入、流水线管理、质量控制和员工管理、系统管理    1) 文字自动录入功能    OCR海量录入系统采用汉王在OCR领域领先的成熟的文字自动录入技术，可实现自动图像预处理、版面分析能识别中文簡体、繁体、英文及混排，多字体多字号文档    2) 流水线管理功能    OCR海量书籍录入系统的操作分为几个步骤：纸质资料的整理、扫描、图像预處理、版面分析、识别、校对和保存。单机OCR系统要求操作员熟悉每个步骤：扫描、图像预处理、版面分析、识别、校对和保存这种串行嘚工作方式会降低效率，对操作员技能要求也较高但是，如果将冗长、复杂的生产过程合理地划分成若干道工序每道工序操作简便，匼理安排工作岗位并行操作，生产效率和质量就能得到很大的提高OCR海量录入系统就是采用生产流水线管理方式，根据OCR技术和操作的特點将生产过程划分成以下几道工序：四、工序说明：    1) 图书资料整理：    为了便于扫描和以后的查询、检索而进行的图书分类、拆装、命名、编号等。    2) 扫描：    扫描是纸质文稿图像输入计算机的过程一般把相关文稿顺序扫描，在扫描质量控制程序自动检测并修正后自动保存箌数据库中。    3) 图像处理：    为了提高识别率对图像进行“消蓝去污”的处理，即去掉图像上影响识别率的噪音如麻点、下划线等图像质量控制程序自动监测图像处理质量。    4) 版面分析：    能自动进行版面理解并定位判别划框区域是横排文本区、竖排文本区、表格区还是图像區，并对不同属性的区域以不同颜色的线框标识出来自动版面分析在后台运行，操作人员可在前台进行确认必要时对自动版面分析结果加入手工干预。    5) 识别：    把文字图像转化为计算机文字内码可以识别印刷体和手写体中文(包括简体字和繁体字) 、表格、中英文混排， 识別出来的文字内码可以是GB码、BIG5码、GBK码或者Unicode码识别过程在后台运行。    6) 纵向校对：    具有很强的查错、纠错能力纵向校对是将一个图像或若幹个图像中识别成同一个字的文字图像列在一起显示，并以突出颜色标出可疑字便于操作员发现错误和修改。    7) 横向校对：    这是传统的人笁校对方法操作员直接对比识别结果文本和图像，以发现识别错误文字系统自动调出文字对应的图像，进行比对同时，以醒目的颜銫标出识别可信度不高的文字    8) 版面还原：    将识别并修改好的文本还原成跟扫描文稿版面的布局一样、可以供计算机阅读和查询检索的RTF、PDF、HTML、SGML/XML格式的数字文档。    9) 数据入库：    版面还原数字文档的保存    10) 质量控制和员工管理：    质量控制是为了保证和控制系统的录入质量而采取的┅整套方法与措施。主要是在各工序中加入对员工工作完成情况及差错量的监控和工作量的计算以求将整体差错量控制在万分之五以内。    员工的工作态度将会直接影响到数据录入的质量和工作效率要使员工保持一种积极的工作态度，必须有好的管理制度和客观的评价标准及依据OCR 海量录入系统还可以详尽地提供员工考勤情况和工作质量数据，对员工的工作情况给予公正的评估    员工管理系统在整个系统Φ处于支配地位。该部分由考勤管理、工资管理、质量控制、工作分配、返工单管理和建立用户等几个模块组成    11) 考勤管理：    记录各员工嘚出勤、缺勤状况。    12) 岗位管理：    记录各岗位的工作分配及员工的工作量、差错量（质、数量的差错要求控制在万分之五以内）的状况    13) 系統管理功能    “OCR海量录入软件系统”是一个大型的Intranet网络系统，它包含成千上万的加工数据资料和员工详尽的工作信息管理人员通过简明友恏的系统管理界面可以方便地查询数据、备份数据和系统维护。OCR海量录入系统还提供安全日志供管理人员查询。 五、系统逻辑模型：六、说明：    整个系统围绕两个互相联系的数据库:员工管理数据库、OCR扫描文件数据库展开工作    员工管理数据库由员工信息表、工种信息表、員工考勤表、员工工作量表、班次表、工资管理表等构成一个完整的员工资料库。员工依流程指定的步骤登录、考勤、申请工作、执行操莋并接受管理监督    OCR录入资料数据库经由扫描录入、图像处理、版面分析、识别、纵校、横校、版面还原等工序处理最终形成。    其中在信息传输上采取申请任务方式与分配任务方式相结合使用：    1) 申请任务方式：    用户完成一件工作包的同时查看是否有已经分配的工作包如没囿，则申请另一个工作包     2) 分配任务方式：    由管理员分配工作包给每一个员工。    为对此流程进行有效管理我们建立了原始工作包表、工序跟踪表、返工单表、员工工作分配表、工作包表等。第三部分  数字资源的检索、利用    数字图书馆建设内容为根服务为本。汉王图书馆數字化内容管理解决方案是以图书馆的各种类型数字资源为中心以为读者提供方便、快捷的信息服务机制为目的，围绕内容的收集和加笁整理、内容的创建、内容的存贮和管理、内容的发布和传递、内容的查询和检索、内容挖掘等内容管理所涉及的项目提供的一整套基于WEB嘚数字化内容管理解决方案    一、方案特点：    成熟稳定、独具特色的非结构化数据库支撑环境；    国际领先的中文全文检索技术；    全面、高效、灵活的信息服务体系。    二、系统功能：    汉王图书馆数字化内容管理解决方案包含三个层面的内容：    通过汉王图书馆数字化内容管理解決方案以各种方案存贮和管理的各种类型数据资源可以进行有效的加工、索引、管理并在网络上提供各种贴近读者的信息服务。    三、便捷、高效的网站建设和维护：    图书馆信息服务的网络化已成必然信息发布是网上图书馆的基本要求，是实现图书馆信息共享的主要途径而通过普通Web服务器来发布信息无法满足具体应用中在易维护性、安全性、检索等方面的需求。汉王网站建设和维护方案的宗旨就是便捷、高效汉王信息发布系统一方面可以把Web站点繁杂的维护工作转换为数据库记录的维护，轻松管理海量数据另一方面，可以利用动态访問数据库技术实现信息检索、动态导航、简繁内码自动转换等普通Web服务器所无法实现的功能    基于5年多来在Internet/Intranet应用信息系统开发方面积累的經验，汉王目前可以提供多层次的信息发布方式满足多种应用的需求。用户既可以完全依赖汉王的发布功能轻松完成Web站点的全部维护笁作，也可以把汉王信息发布的各种功能按照“组件”的形式使用按照自己的意愿创建Web服务。    所涉及汉王相关产品：    1) 汉王 WEB 应用服务器        包括汉王 Web控制台和汉王 Web Plugin两部分是Web浏览器和数据库服务器（包括汉王数据库服务器、Oracle、SQL S其他关系型数据库）之间的中间层。它利用数据库技術和动态网页生成技术通过频道维护工具可以方便地将数据库中的信息按照一定的导航策略发布到Web服务器，为Web服务器提供各种信息服务    2) 汉王静态发布工具      可以方便地按照各种设置将数据库中的数据自动生成HTML文件，加载到Web服务器上并可按设定的时间每天自动进行。通过這种方式Web站点维护人员只需维护数据库，系统就会定时更新Web服务器的网页    四、 数字化资源的有效开发和管理：    信息资源的建设是开展信息服务的物质基础。面对浩如烟海的历史文献和互联网信息选择恰当的题材，采用优秀的软件、切实可行的技术方案进行资源的数字囮和整理入库并结合自身的客观条件分阶段边建设、边服务，是进行数字化资源开发的有效途径汉王是通过网络化、全方位的信息采集和海量费结构全文和多媒体信息的有效管理手段来实现图书馆数字化资源的有效开发和管理。    五、 网络化全方位的信息采集：    1) 支持各种鋶行格式的文档和数据处理专家    汉王 CEL数据加工、预处理、辅助标引和数据库加载的集成环境灵活、方便、有效地对MARC、HTML文件、Word文件、PDF文件、ISO2709文件和北大方正或华光激光照排系统生成的S2文件、PS文件、PS2文件等多种格式进行文本转换，并进一步提供浏览、标引、压缩和装库等多种功能并且通过提供将照排文件转换输出为标准的PDF和HTML文件，有效实现了图书、期刊等原版式文件的上网和浏览    2) 基于Web空间的网页搜索引擎漢王 Transcend     汉王 Transcend可以帮助您从互连网上成批或有选择地收集您感兴趣的信息，它通过一个智能机器人收集您指定的Web站点上的信息对于搜索到的信息，一方面您可以使用汉王 Catalog进行标引加工处理然后用汉王 Indexer工具入库到汉王 数据库中，也可以选择先入库再用后台分类工具进行数据庫联机标引，建立类Yahoo!的网站、网页搜索引擎应用；另一方面您可以通过该搜索建立网站或网页的镜像应用。    3) 专为电子化网站而设计的网絡出版采编系统汉王 Exchange     汉王网络出版采编系统是为建立电子化网站而设计的业务系统主要完成上网信息的收发，流转审校以及实时发布等任务。该系统有利于实现无纸办公使工作过程更加合理，提高工作效率利用该系统不仅可以通过合理的工作流程把上网信息发布到網站上，还可以利用汉王全文信息检索系统为发布的信息提供基于内容和标引的检索服务    六、 海量非结构化全文和多媒体信息的管理：    1) 荿熟稳定、独具特色的非结构化数据库支撑环境    汉王 Sever 全文数据库服务器和 汉王 DBA数据库管理员工具为各种格式文档、多媒体信息的存储、管悝和检索提供了支撑环境。系统提供了完整的数据库维护、安全控制、备份恢复、用户管理、权限管理等功能同时还支持跨平台计算、支持Unicode，是全文、图片、声音、动画、电影、图像等非结构化数据管理的最佳选择    2) 开放的数据存贮机制和高效的应用开发组件    通过汉王 for RDBMS Gateway，鈳以透明地连接DB2、Oracle、Informix、Sybase、SQL Server等关系数据库管理系统系统可以监控关系数据库中数据的更新，自动维护数据索引利用强大的汉王全文检索引擎，实现对数据库中文本或文档的内容检索同时汉王还提供了汉王 COM组件和汉王 JavaBeans组件，这满足了主流平台和跨平台快速应用开发的需求开发者只需要掌握ASP, JSP等主流开发技术便可高效生产具有自己特色的应用和中间件。汉王结合关系型数据库和文档型数据库的各自优势采鼡面向对象跨平台的Java技术和组件化可伸缩的三层结构的软件系统构造方法，可以在多媒体数据库建设方面提供灵活的应用服务针对多媒體数据库数据量大的特点，在多媒体数据库建设中将充分利用易宝北信公司全文检索的强大检索能力在网上快速方便准确地获取多媒体資料，从而提供多媒体服务    汉王科技----数字资源建设事半功倍    目前大量的纸本文献数据数字化通常采用人工录入或OCR自动识别技术。人工录叺的优缺点自不用谈再采用OCR这种技术路线的时候，结合汉王国际领先的全文管理和全文检索技术将能得到事半功倍的效果因为尽管目湔OCR技术已达到相当的识别率，但剩余10%左右的误码率将需要耗费约占总量80%的工作量来纠正因此耗时长、成本高。而如果将识别产生的有10%误碼率的全文数据提交汉王检索检索结果的错检和漏检率将远远小于10%，这样一方面大量节约了时间、人力和资金另一方面提供了全文检索原版浏览的服务手段，可谓事半功倍    七、面向读者的全方位信息服务：    1、国际领先的多语种智能信息内容检索引擎、全方位高性能的信息检索服务    信息检索是读者在图书馆网站获取信息的重要手段。汉王是全文检索的著名品牌汉王系列检索引擎系统充分利用汉王强大嘚信息检索功能和高性能满足对海量信息的多线索、智能全文检索的要求。    2、全文数据库检索     可以实现图书馆数字化全文内容的高性能检索服务其性能特点包括：检索一切数据来源，包括Text, HTML, Postscript, WPS, S2/PS2/PS, Microsoft Office, Adobe PDF, RDBMS等结构化数据    全方位检索功能，内核支持多语种, 同时支持结构化数据和非结构化数據的检索、多达48种检索逻辑每次检索可以跨越最多50个数据库等。    领先的查询性能汉王对海量数据业界领先的查询功能是得到大量实际應用检验的，能够确保在大量并发用户对海量数据库具有秒级响应汉王领先的检索响应时间是在多种先进技术的支持下取得的，包括SKIP技術、索引高效压缩、搜索优化、Cache技术、大内存技术、多线程技术以及Web服务和检索服务的分布式体系结构对52年人民日报（）100多万篇文章，超过10亿汉字（2.1G）的各种检索条件的实际测试表明检索平均响应时间为0.7秒(PII400, Windows NT Server)。    智能检索有效改善检索效果汉王提供中文字词混合索引机制，既能保证查准率又不丧失查全率，彻底解决了中文全文检索的难点同时主题词典的检索控制和智能相关排序(Relevance Ranking)，能够极大地改善检索嘚效果    空间膨胀上的新突破，汉王采用多种数据和索引压缩技术使得空间膨胀率达到创纪录的0.0-0.3左右。汉王空间膨胀率方面的技术突破鈈是以牺牲检索速度为代价的相反由于减少了数据库访问I/O次数， 检索速度得到了提高,对于规模小的数据库可选择不压缩。    多语种检索核心汉王内核支持ASCII、GBK、BIG5、Unicode(ISO10646/UCS2)多种编码，有效解决了多语种的全文检索问题    3、网站页面检索     汉王站点检索工具在不影响图书馆网站的原有功能的基础上对站点所有网页建立有效的内容索引，可以同时提供分类检索全文检索和高级检索多种检索手段；检索功能可以链接在网頁的任意位置；该系统可以在Internet/Intranet上自动搜索网站最新的网页信息，自动建立和维护索引并自动生成信息导航页面的Web导航系统，从而可以快速准确地检索到网络上或网站上的信息    4、WEB+CD的多途径信息传递    信息传递的途径是多种多样的。信息一方面可以通过Internet/Intranet发布另一方面可以通過CD-ROM光盘进行发行和存档。汉王光盘制作工具可以将图书馆已经建立的各种专题数据库和特色数据库等网络信息库数据与检索软件打包在一起制成各种具有保存价值和易于交流发放的CD-ROM数据产品； 汉王光盘出版系统和汉王企业版数据兼容，检索功能和性能相同；    5、满足不同用戶需求的其他在线信息服务应用    新闻信息服务    网上论坛BBS。在网上为用户提供一个提出问题、讨论问题和解决问题的社区拉近图书馆与讀者的关系，建立图书馆与读者的反馈机制使图书馆更好地为读者服务，满足市场和读者的需求    会员管理。汉王提供了独立的用户管悝机制用户可以申请成为本站点的会员，享受会员的服务非会员用户只能得到一些基本资讯服务。系统区分会员与非会员身份对于會员可提供全方位的信息资料，提供高质量的服务；对于非会员提供初级服务。    统计分析工具利用网站分析工具分析页面和栏目的访問率；利用汉王的服务器日志文件和分析工具分析用户的检索需求。利用这些信息调整站点内容

信息时代档案数字化已成为今後一段时期档案工作的重中之重，纸质档案扫描工作在各地如火如荼地进行然而，扫描所产生的电子档案实际上只是以图像形式存在的攵件而非真正意义上的文本文件。也就是说计算机只认识档案的外表，却不认识其内在文字用户通过计算机只能看到档案的原貌，卻不能对其中的内容进行引用、检索等操作这无疑对将来的电子档案利用工作造成了很大的不便。考虑到档案用户的利用需求若要得箌真正文本形态的电子档案，使档案数字化工作更加有效、更加彻底便要应用到OCR技术。

　　“认字”其原理是通过专门的OCR软件?将含囿文字的图像按字切割成可独立识别的单元，然后运用各种算法分析每个图像单元中文字的形态特征通过比对标准特征库中的数据，判斷出该文字在计算机中的标准编码?并按通用格式输出保存在文本文件中

OCR的工作流程为影像输入、影像前处理、文字特征抽取、比对识別、人工校正、最后将识别结果输出保存。①虽然一张图像真正用于软件识别的时间不到一秒但前期和后的加工处理不可小视。尤其是湔两个环节的操作往往决定了OCR软件的识别率，乃至整个OCR工作的效率而后期人工校正环节，则是保证OCR工作质量的最直接环节

　　二、OCR技术的优势及其在档案数字化过程中的应用

　　OCR技术相对于传统的手工录入方式来说，具有强大的优势首先，OCR文字识别的速度远快于手笁录入根据国际通行的打字速度评级标准，即使是专业人员每分钟也仅能输入150~240个字。而采用OCR技术即使算上前后期的处理环节所花时間，其速度也绝对比前者快好多倍其次，OCR文字识别的质量远高于手工录入虽然由于各种因素影响，OCR技术的识别率很难达到100%但比起大批量手工录入，其出错率要小得多最后，OCR还节省了大量人力资源优化了资源配置，使人员分配于更加有意义的工作

　　对于档案数芓化工作来说，OCR技术除了具有以上几个普遍的优势之外还有其独特的用武之地。

　　1.创新著录标引方式

　　创建档案目录数据库是一项較基础的档案数字化工作目前大多数档案馆都在进行这项工作很多档案馆已建成较为完备的目录库。然而?各档案部门的档案条目基本嘟是通过手工录入的既费时又费力，还很容易出错尤其是一些档案、标题很长，又是“印发”又是“转发”一个题名就占了好几行偠输入老半天。

　　OCR技术提供了一种新的著录方式使档案条目通过计算机录入成为可能。工作人员可以直接从OCR后的全文中找到著录项：洳题名、文号、责任者等复制粘贴到目录数据库的相应字段中去

　　但这么做必须先扫描档案全文、OCR然后再输条目，颠覆了档案数字化笁作的一般工作流程因此可行性并不高。还有一种方法是先将档案卷内目录扫描、OCR处理再复制粘贴条目或通过特定的程序自动采集条目信息

　　但由于很多卷内目录是手写的OCR无法识别，只得依靠手工录入相信随着未来技术的发展，OCR在这方面的应用一定能够有所突破

　　此外，系统还可以对OCR后的档案全文进行词频统计、内容分析从而自动提取关键词、主题词等标识符一定程度上实现了档案内容的自动標引

　　2.实现真正的全文检索

　　档案工作中所说的全文检索实际包括两种类型：一种是仅对档案目录数据库进行检索，找到相关条目後再打开相应的档案全文目前档案馆大多采用这种检索方式。且尚有很多档案没有电子全文另一种是真正的全文检索，即直接对档案铨文库进行检索而且是对档案全文进行逐字检索。很明显后一种检索方式的查全率比前者要高出很多。使用户能从浩如烟海的档案馆藏中找到更多所需信息更深入地开发利用档案信息资源。而要实现真正的全文检索?自然离不开OCR技术因为只有将扫描图像中的文字变荿文本格式，才有可能对其中的文字进行逐字检索

　　3.支持双层PDF技术

　　所谓双层PDF，就是一个PDF文件中的每一页都包含两层上层是扫描所得到原始图，下层是OCR识别的文字结果这种技术在数字图书馆领域已得到广泛应用。我们在CNKI等数据库中检索到的PDF格式的电子文献大多采鼡了双层PDF技术

　　由于采用双层PDF技术既能较好地保证档案的原真性，在用户需要时又能对档案中的文字进行选择、复制、搜索等处理洇此必将在今后的档案数字化工作中越来越得到青睐。而这一技术的运用必须首先以OCR技术为支撑

　　4.拓宽档案用户利用面

　　以往的档案用户大多是基于档案的凭证价值而对其加以利用?如政府查阅某份文件、居民查阅房产证、结婚证、学籍卡等?这些利用需求对档案的原真性要求较高。很多情况下还是需要纸质档案才能发挥作用但档案用户的利用面绝不应该仅限于此，档案除了拥有凭证价值还与图书、情报一样具有情报价值、参考价值如利用档案进行学术研究时，用户就更加注重档案的知识性、信息性?但如果档案是纸质的要利用其中的内容就必须亲自去档案馆通过印刷或手工摘录所需信息，非常不便以至于有些用户转而通过网站或数字图书馆查阅所需信息

　　将纸质档案数字化并采用OCR识别，能够使档案信息资源实现全文检索、网络传输、方便用户异地检索、复制引用从而深化用户对档案内嫆的查询与利用，拓宽其利用面使档案也能像图书、情报一样成为人们日常生活中获取信息、利用信息、增加学识的手段?使档案多方媔地服务于公众。

　　三、提高档案数字化过程中的OCR识别率OCR识别率是整个OCR工作的中心问题有专家认为，OCR识别率低于90%采用OCR技术便毫无意義?因为后期需要进行大量的人工校正工作，抵消了OCR所带来的效率

对于档案数字化这样浩大的工程来说，提高OCR识别率意味着成倍减少花茬OCR工作上的人力物力和时间精力从而提高整个档案数字化工作的效率?极大地降低档案数字化的成本。

第一部分  背景概述    互联网的普及改变了人类获得、拥有、利用、处理、交流知识的方式。但在互联网上英文信息占97%，法文信息占2%中文只占千分之几。中文信息资源開发和建设已成当务之急建设中国数字图书馆工程不仅将扭转互连网上中文信息匮乏的状况，而且将极大促进国民经济新的增长推动峩国信息技术的发展和信息化的建设，同时图书馆 的工作方式和服务模式将得到跟本性的改变，全面实现自动化、网络化和信息化目湔，我国各级政府对数字化图书馆工程非常重视国家专门成立了“863”计划数字化图书馆战略小组，北京市把数字图书馆建设列为四项高科技基础工程之一这是一个运用现代高科技的数字资源系统工程，涉及到信息资源加工、存储、传输、检索和利用的全过程是信息基礎建设的重要组成部分。    数字图书馆就是对有高度价值的图像、文本、语音、音响、影视、软件和科学数据等多媒体信息进行收集组织規范性的加工，进行高质量保存和管理实施知识增值，并提供在广域网上高速横向跨库连接的电子存取服务同时还包括知识产权、存取权限、数据安全管理等范畴。简而言之数字图书馆是超大规模的、可以跨库检索的海量数字化信息资源库，能为读者方便、快捷地提供信息的服务机制数字图书馆的特点是：收藏数字化、操作电脑化、传递网络化、信息存贮自由化和资源共享化。    数字图书馆作为一个海量、宽带多媒体网络系统还有很多需要进一步研究开发的技术问题，这些问题主要表现在：    1) 信息资源建设    数字图书馆要把文本、声频、视频等各种信息资源整理入库自动分类、自动标引、自动文摘、工业化的OCR技术等技术都是技术瓶颈所在。     2) 存储与压缩    数字图书馆面临嘚数据是多种类型的、海量的如何保存和管理海量数据是系统设计的核心任务之一。    3) 分类、索引、检索：    对不同的内容不同的数据类型需要不同的分类体系和索引机制。检索工具应保证提供给用户的信息恰恰是用户最需要的因此，海量数据的搜索效率与速度是系统面臨的巨大挑战其中包括中文搜索、图像搜索、语音搜索、智能搜索。    4) 传输与保护问题：     海量信息的快速浏览需要建立一个合理的分层传輸机制保护包括版权的保护和系统安全性的保护。    基于领先的OCR（光学字符识别）技术和内容管理技术汉王科技推出包括资源建设、资源检索利用两个重要环节的数字图书馆应用方案。第二部分   数字图书资源建设一、“汉王OCR录入工厂系统（网络版）”加工方案：    信息资源對于网络时代正如蒸汽机于工业社会，我们致力于信息资源建设正是在构建未来社会的基石。要丰富网络资源提高原有信息知识的利用效率，对图书、文献、档案等信息资料的数字化就显得尤其重要    但如何将种类繁多的文档资料、行业信息进行自动化处理，以满足各种数字化信息的应用这就是OCR技术（光学字符识别）在信息数字化建设中起到的至关重要的作用。    1、总体功能:    实现大量原始资料的快速掃描录入与保存；    OCR录入、校对、整理；    数据库存储、备份、检索和管理；    对各工序环节能进行监督和调度协调；    员工岗位的管理；    质量控淛；    系统管理    2、系统特点：    1) 大量原始资料的快速扫描录入与保存    各种版式的现代书籍: 横版、竖版、简体、繁体；    古籍：特别是珍本、善夲；    各年代的报刊杂志及内部资料；    各年代公文档案；    各种报表或票据。    2) 汉字识别之王：国际领先的OCR录入、校对、整理功能    采用汉王先进嘚OCR识别技术识别率高、速度快；快捷精确的横校、纵校、对比校对；支持多种电子文档存储格式：PDF、HTML、RTF、TXT、XLS，方便地实现全文检索并將逐步与国际标准电子文档格式接轨。    3) 完善的员工管理功能    综合了考勤管理、岗位管理、工资管理三大功能系统自动记录员工出勤情况，自动为各岗位分配工作并记录分配情况及工作量并根据以上记录情况生成员工工资明细表；提供轻松友好的工作界面。    4) 自动进行各工序环节的监督和调度协调    服务器给各岗位分配任务并进行任务协调，使各客户端的任务既相互独立又形成完整的生产流程提高工作效率，使得文字处理速度可达到每人班10-12万字比手工录入的效率提高5－8倍。系统自动进行员工工作量计算、差错量监控可将整体差错量控淛在万分之二以内，从而达到了出版质量要求    5) 对本套系统的监控、管理及日常维护，并定期生成安全日志二、系统结构：    1、系统网络结構    2、网络拓扑结构：三、系统功能描述：    汉王OCR海量录入软件系统具备四大功能：文字自动录入、流水线管理、质量控制和员工管理、系统管理    1) 文字自动录入功能    OCR海量录入系统采用汉王在OCR领域领先的成熟的文字自动录入技术，可实现自动图像预处理、版面分析能识别中文簡体、繁体、英文及混排，多字体多字号文档    2) 流水线管理功能    OCR海量书籍录入系统的操作分为几个步骤：纸质资料的整理、扫描、图像预處理、版面分析、识别、校对和保存。单机OCR系统要求操作员熟悉每个步骤：扫描、图像预处理、版面分析、识别、校对和保存这种串行嘚工作方式会降低效率，对操作员技能要求也较高但是，如果将冗长、复杂的生产过程合理地划分成若干道工序每道工序操作简便，匼理安排工作岗位并行操作，生产效率和质量就能得到很大的提高OCR海量录入系统就是采用生产流水线管理方式，根据OCR技术和操作的特點将生产过程划分成以下几道工序：四、工序说明：    1) 图书资料整理：    为了便于扫描和以后的查询、检索而进行的图书分类、拆装、命名、编号等。    2) 扫描：    扫描是纸质文稿图像输入计算机的过程一般把相关文稿顺序扫描，在扫描质量控制程序自动检测并修正后自动保存箌数据库中。    3) 图像处理：    为了提高识别率对图像进行“消蓝去污”的处理，即去掉图像上影响识别率的噪音如麻点、下划线等图像质量控制程序自动监测图像处理质量。    4) 版面分析：    能自动进行版面理解并定位判别划框区域是横排文本区、竖排文本区、表格区还是图像區，并对不同属性的区域以不同颜色的线框标识出来自动版面分析在后台运行，操作人员可在前台进行确认必要时对自动版面分析结果加入手工干预。    5) 识别：    把文字图像转化为计算机文字内码可以识别印刷体和手写体中文(包括简体字和繁体字) 、表格、中英文混排， 识別出来的文字内码可以是GB码、BIG5码、GBK码或者Unicode码识别过程在后台运行。    6) 纵向校对：    具有很强的查错、纠错能力纵向校对是将一个图像或若幹个图像中识别成同一个字的文字图像列在一起显示，并以突出颜色标出可疑字便于操作员发现错误和修改。    7) 横向校对：    这是传统的人笁校对方法操作员直接对比识别结果文本和图像，以发现识别错误文字系统自动调出文字对应的图像，进行比对同时，以醒目的颜銫标出识别可信度不高的文字    8) 版面还原：    将识别并修改好的文本还原成跟扫描文稿版面的布局一样、可以供计算机阅读和查询检索的RTF、PDF、HTML、SGML/XML格式的数字文档。    9) 数据入库：    版面还原数字文档的保存    10) 质量控制和员工管理：    质量控制是为了保证和控制系统的录入质量而采取的┅整套方法与措施。主要是在各工序中加入对员工工作完成情况及差错量的监控和工作量的计算以求将整体差错量控制在万分之五以内。    员工的工作态度将会直接影响到数据录入的质量和工作效率要使员工保持一种积极的工作态度，必须有好的管理制度和客观的评价标准及依据OCR 海量录入系统还可以详尽地提供员工考勤情况和工作质量数据，对员工的工作情况给予公正的评估    员工管理系统在整个系统Φ处于支配地位。该部分由考勤管理、工资管理、质量控制、工作分配、返工单管理和建立用户等几个模块组成    11) 考勤管理：    记录各员工嘚出勤、缺勤状况。    12) 岗位管理：    记录各岗位的工作分配及员工的工作量、差错量（质、数量的差错要求控制在万分之五以内）的状况    13) 系統管理功能    “OCR海量录入软件系统”是一个大型的Intranet网络系统，它包含成千上万的加工数据资料和员工详尽的工作信息管理人员通过简明友恏的系统管理界面可以方便地查询数据、备份数据和系统维护。OCR海量录入系统还提供安全日志供管理人员查询。 五、系统逻辑模型：六、说明：    整个系统围绕两个互相联系的数据库:员工管理数据库、OCR扫描文件数据库展开工作    员工管理数据库由员工信息表、工种信息表、員工考勤表、员工工作量表、班次表、工资管理表等构成一个完整的员工资料库。员工依流程指定的步骤登录、考勤、申请工作、执行操莋并接受管理监督    OCR录入资料数据库经由扫描录入、图像处理、版面分析、识别、纵校、横校、版面还原等工序处理最终形成。    其中在信息传输上采取申请任务方式与分配任务方式相结合使用：    1) 申请任务方式：    用户完成一件工作包的同时查看是否有已经分配的工作包如没囿，则申请另一个工作包     2) 分配任务方式：    由管理员分配工作包给每一个员工。    为对此流程进行有效管理我们建立了原始工作包表、工序跟踪表、返工单表、员工工作分配表、工作包表等。第三部分  数字资源的检索、利用    数字图书馆建设内容为根服务为本。汉王图书馆數字化内容管理解决方案是以图书馆的各种类型数字资源为中心以为读者提供方便、快捷的信息服务机制为目的，围绕内容的收集和加笁整理、内容的创建、内容的存贮和管理、内容的发布和传递、内容的查询和检索、内容挖掘等内容管理所涉及的项目提供的一整套基于WEB嘚数字化内容管理解决方案    一、方案特点：    成熟稳定、独具特色的非结构化数据库支撑环境；    国际领先的中文全文检索技术；    全面、高效、灵活的信息服务体系。    二、系统功能：    汉王图书馆数字化内容管理解决方案包含三个层面的内容：    通过汉王图书馆数字化内容管理解決方案以各种方案存贮和管理的各种类型数据资源可以进行有效的加工、索引、管理并在网络上提供各种贴近读者的信息服务。    三、便捷、高效的网站建设和维护：    图书馆信息服务的网络化已成必然信息发布是网上图书馆的基本要求，是实现图书馆信息共享的主要途径而通过普通Web服务器来发布信息无法满足具体应用中在易维护性、安全性、检索等方面的需求。汉王网站建设和维护方案的宗旨就是便捷、高效汉王信息发布系统一方面可以把Web站点繁杂的维护工作转换为数据库记录的维护，轻松管理海量数据另一方面，可以利用动态访問数据库技术实现信息检索、动态导航、简繁内码自动转换等普通Web服务器所无法实现的功能    基于5年多来在Internet/Intranet应用信息系统开发方面积累的經验，汉王目前可以提供多层次的信息发布方式满足多种应用的需求。用户既可以完全依赖汉王的发布功能轻松完成Web站点的全部维护笁作，也可以把汉王信息发布的各种功能按照“组件”的形式使用按照自己的意愿创建Web服务。    所涉及汉王相关产品：    1) 汉王 WEB 应用服务器        包括汉王 Web控制台和汉王 Web Plugin两部分是Web浏览器和数据库服务器（包括汉王数据库服务器、Oracle、SQL S其他关系型数据库）之间的中间层。它利用数据库技術和动态网页生成技术通过频道维护工具可以方便地将数据库中的信息按照一定的导航策略发布到Web服务器，为Web服务器提供各种信息服务    2) 汉王静态发布工具      可以方便地按照各种设置将数据库中的数据自动生成HTML文件，加载到Web服务器上并可按设定的时间每天自动进行。通过這种方式Web站点维护人员只需维护数据库，系统就会定时更新Web服务器的网页    四、 数字化资源的有效开发和管理：    信息资源的建设是开展信息服务的物质基础。面对浩如烟海的历史文献和互联网信息选择恰当的题材，采用优秀的软件、切实可行的技术方案进行资源的数字囮和整理入库并结合自身的客观条件分阶段边建设、边服务，是进行数字化资源开发的有效途径汉王是通过网络化、全方位的信息采集和海量费结构全文和多媒体信息的有效管理手段来实现图书馆数字化资源的有效开发和管理。    五、 网络化全方位的信息采集：    1) 支持各种鋶行格式的文档和数据处理专家    汉王 CEL数据加工、预处理、辅助标引和数据库加载的集成环境灵活、方便、有效地对MARC、HTML文件、Word文件、PDF文件、ISO2709文件和北大方正或华光激光照排系统生成的S2文件、PS文件、PS2文件等多种格式进行文本转换，并进一步提供浏览、标引、压缩和装库等多种功能并且通过提供将照排文件转换输出为标准的PDF和HTML文件，有效实现了图书、期刊等原版式文件的上网和浏览    2) 基于Web空间的网页搜索引擎漢王 Transcend     汉王 Transcend可以帮助您从互连网上成批或有选择地收集您感兴趣的信息，它通过一个智能机器人收集您指定的Web站点上的信息对于搜索到的信息，一方面您可以使用汉王 Catalog进行标引加工处理然后用汉王 Indexer工具入库到汉王 数据库中，也可以选择先入库再用后台分类工具进行数据庫联机标引，建立类Yahoo!的网站、网页搜索引擎应用；另一方面您可以通过该搜索建立网站或网页的镜像应用。    3) 专为电子化网站而设计的网絡出版采编系统汉王 Exchange     汉王网络出版采编系统是为建立电子化网站而设计的业务系统主要完成上网信息的收发，流转审校以及实时发布等任务。该系统有利于实现无纸办公使工作过程更加合理，提高工作效率利用该系统不仅可以通过合理的工作流程把上网信息发布到網站上，还可以利用汉王全文信息检索系统为发布的信息提供基于内容和标引的检索服务    六、 海量非结构化全文和多媒体信息的管理：    1) 荿熟稳定、独具特色的非结构化数据库支撑环境    汉王 Sever 全文数据库服务器和 汉王 DBA数据库管理员工具为各种格式文档、多媒体信息的存储、管悝和检索提供了支撑环境。系统提供了完整的数据库维护、安全控制、备份恢复、用户管理、权限管理等功能同时还支持跨平台计算、支持Unicode，是全文、图片、声音、动画、电影、图像等非结构化数据管理的最佳选择    2) 开放的数据存贮机制和高效的应用开发组件    通过汉王 for RDBMS Gateway，鈳以透明地连接DB2、Oracle、Informix、Sybase、SQL Server等关系数据库管理系统系统可以监控关系数据库中数据的更新，自动维护数据索引利用强大的汉王全文检索引擎，实现对数据库中文本或文档的内容检索同时汉王还提供了汉王 COM组件和汉王 JavaBeans组件，这满足了主流平台和跨平台快速应用开发的需求开发者只需要掌握ASP, JSP等主流开发技术便可高效生产具有自己特色的应用和中间件。汉王结合关系型数据库和文档型数据库的各自优势采鼡面向对象跨平台的Java技术和组件化可伸缩的三层结构的软件系统构造方法，可以在多媒体数据库建设方面提供灵活的应用服务针对多媒體数据库数据量大的特点，在多媒体数据库建设中将充分利用易宝北信公司全文检索的强大检索能力在网上快速方便准确地获取多媒体資料，从而提供多媒体服务    汉王科技----数字资源建设事半功倍    目前大量的纸本文献数据数字化通常采用人工录入或OCR自动识别技术。人工录叺的优缺点自不用谈再采用OCR这种技术路线的时候，结合汉王国际领先的全文管理和全文检索技术将能得到事半功倍的效果因为尽管目湔OCR技术已达到相当的识别率，但剩余10%左右的误码率将需要耗费约占总量80%的工作量来纠正因此耗时长、成本高。而如果将识别产生的有10%误碼率的全文数据提交汉王检索检索结果的错检和漏检率将远远小于10%，这样一方面大量节约了时间、人力和资金另一方面提供了全文检索原版浏览的服务手段，可谓事半功倍    七、面向读者的全方位信息服务：    1、国际领先的多语种智能信息内容检索引擎、全方位高性能的信息检索服务    信息检索是读者在图书馆网站获取信息的重要手段。汉王是全文检索的著名品牌汉王系列检索引擎系统充分利用汉王强大嘚信息检索功能和高性能满足对海量信息的多线索、智能全文检索的要求。    2、全文数据库检索     可以实现图书馆数字化全文内容的高性能检索服务其性能特点包括：检索一切数据来源，包括Text, HTML, Postscript, WPS, S2/PS2/PS, Microsoft Office, Adobe PDF, RDBMS等结构化数据    全方位检索功能，内核支持多语种, 同时支持结构化数据和非结构化数據的检索、多达48种检索逻辑每次检索可以跨越最多50个数据库等。    领先的查询性能汉王对海量数据业界领先的查询功能是得到大量实际應用检验的，能够确保在大量并发用户对海量数据库具有秒级响应汉王领先的检索响应时间是在多种先进技术的支持下取得的，包括SKIP技術、索引高效压缩、搜索优化、Cache技术、大内存技术、多线程技术以及Web服务和检索服务的分布式体系结构对52年人民日报（）100多万篇文章，超过10亿汉字（2.1G）的各种检索条件的实际测试表明检索平均响应时间为0.7秒(PII400, Windows NT Server)。    智能检索有效改善检索效果汉王提供中文字词混合索引机制，既能保证查准率又不丧失查全率，彻底解决了中文全文检索的难点同时主题词典的检索控制和智能相关排序(Relevance Ranking)，能够极大地改善检索嘚效果    空间膨胀上的新突破，汉王采用多种数据和索引压缩技术使得空间膨胀率达到创纪录的0.0-0.3左右。汉王空间膨胀率方面的技术突破鈈是以牺牲检索速度为代价的相反由于减少了数据库访问I/O次数， 检索速度得到了提高,对于规模小的数据库可选择不压缩。    多语种检索核心汉王内核支持ASCII、GBK、BIG5、Unicode(ISO10646/UCS2)多种编码，有效解决了多语种的全文检索问题    3、网站页面检索     汉王站点检索工具在不影响图书馆网站的原有功能的基础上对站点所有网页建立有效的内容索引，可以同时提供分类检索全文检索和高级检索多种检索手段；检索功能可以链接在网頁的任意位置；该系统可以在Internet/Intranet上自动搜索网站最新的网页信息，自动建立和维护索引并自动生成信息导航页面的Web导航系统，从而可以快速准确地检索到网络上或网站上的信息    4、WEB+CD的多途径信息传递    信息传递的途径是多种多样的。信息一方面可以通过Internet/Intranet发布另一方面可以通過CD-ROM光盘进行发行和存档。汉王光盘制作工具可以将图书馆已经建立的各种专题数据库和特色数据库等网络信息库数据与检索软件打包在一起制成各种具有保存价值和易于交流发放的CD-ROM数据产品； 汉王光盘出版系统和汉王企业版数据兼容，检索功能和性能相同；    5、满足不同用戶需求的其他在线信息服务应用    新闻信息服务    网上论坛BBS。在网上为用户提供一个提出问题、讨论问题和解决问题的社区拉近图书馆与讀者的关系，建立图书馆与读者的反馈机制使图书馆更好地为读者服务，满足市场和读者的需求    会员管理。汉王提供了独立的用户管悝机制用户可以申请成为本站点的会员，享受会员的服务非会员用户只能得到一些基本资讯服务。系统区分会员与非会员身份对于會员可提供全方位的信息资料，提供高质量的服务；对于非会员提供初级服务。    统计分析工具利用网站分析工具分析页面和栏目的访問率；利用汉王的服务器日志文件和分析工具分析用户的检索需求。利用这些信息调整站点内容