新闻全文检索系统的数据预处理技术

　　摘要：介绍了全文检索的概念及其中的数据预处理技术。结合安徽日报社新闻稿件采编系统和历史资料库系统实际情况，给出了一个新闻全文检索系统的模型框架，并对该目标系统采用的数据预处理技术进行了进一步的论述，结合Memcached内存管理技术提出了一种分块处理倒排索引的办法。
　　关键词：分词技术；倒排表；倒排索引；全文检索；Memcached
　　中图分类号：TP391　文献标识码：A　文章编号：1009－3044(2010)23－6402－