Lucene Query Parser

Lucene Query Parser 翻译这篇文章的初衷是希望能更系统的理解Lucene的用法,同时试试自己的翻译水平:) 原文:http://jakarta.apache.org/lucene/docs/queryparsersyntax.html 概述 虽然Lucene提供的API允许你创建你自己的Query(查询语句),但它同时也通过Query Parser(查询分析器)提供了丰富的查询语言。 这个页面提供的是Lucene的Query Parser的语法介绍:一个可通过用JavaCC把一个字符串解释成为Lucene的查询语句的规则。 在选择使用被提供的Query Parser前,请考虑一下几点: 1、如果你是通过编写程序生成一个查询语句,然后通过Query Parser分析,那么你需要认真的考虑是否该直接利用Query的API构造你的查询。换句话说,Query Parser是为那些人工输入的文本所设计的,而不是为了程序生成的文本。 2、未分词的字段最好直接加到Query中,而不要通过Query Parser。如果一个字段的值是由程序生成的,那么需要为这个字段生成一个Query Clause(查询子句)。Query Parser所用的Analyzer是为转换人工输入的文本为分词的。而程序生成的值,比如日期、关键字等,一般都由程序直接生成(?)。 3、在一个查询表单里,通常是文本的字段应该使用Query Parser。所有其他的,比如日期范围、关键字等等,最好是通过Query API直接加入到Query中。一个有有限个值的字段,比如通过下拉表单定义的那些,不应该被加到查询字串中(后面会分析到),而应该被添加为一个TermQuery子句。 分词 一个查询语句是有分词和操作符组成的。这里有两种类型的:单个的分词和短语。 一个单一分词就是一个简单的单词,比如”test”或”hello”。 一个短语就是一组被双引号包括的单词,比如”hello dolly”。 多个分词可以用布尔操作符组合起来形成一个更复杂的查询语句(下面会详细介绍)。 注意:用于建立索引的分析器(Analyzer)将被用于解释查询语句中的分词和短语。因此,合理的选择一个分析器是很重要的,当然这不会影响你在查询语句中使用的分词。 字段 Lucene支持字段数据。当执行一个搜索时,你可以指定一个字段,或者使用默认的字段。字段的名字和默认的字段是取决于实现细节的。 你可以搜索任何字段,做法是输入字段名称,结尾跟上一个冒号 “:” , 然后输入你想查找的分词。 举个例子,让我们假设Lucene的索引包含两个字段,标题和正文,正文是默认字段。如果你想标题为 “The Right Way” 并且正文包含文本 “don’t go this way”的记录的话,你可以输入:   title:”The Right Way” AND text:go  或者   title:”Do it right” … Continue reading "Lucene Query Parser"

lucene简单实例<二>

 写文章的时候,感觉比较难写的就是标题,有时候不知道起什么名字好,反正这里写的都是关于lucene的一些简单的实例,就随便起啦. Lucene 其实很简单的,它最主要就是做两件事:建立索引和进行搜索 来看一些在lucene中使用的术语,这里并不打算作详细的介绍,只是点一下而已—-因为这一个世界有一种好东西,叫搜索。 IndexWriter:lucene中最重要的的类之一,它主要是用来将文档加入索引,同时控制索引过程中的一些参数使用。 Analyzer:分析器,主要用于分析搜索引擎遇到的各种文本。常用的有StandardAnalyzer分析器,StopAnalyzer分析器,WhitespaceAnalyzer分析器等。 Directory:索引存放的位置;lucene提供了两种索引存放的位置,一种是磁盘,一种是内存。一般情况将索引放在磁盘上;相应地lucene提供了FSDirectory和RAMDirectory两个类。 Document:文档;Document相当于一个要进行索引的单元,任何可以想要被索引的文件都必须转化为Document对象才能进行索引。 Field:字段。 IndexSearcher:是lucene中最基本的检索工具,所有的检索都会用到IndexSearcher工具; Query:查询,lucene中支持模糊查询,语义查询,短语查询,组合查询等等,如有TermQuery,BooleanQuery,RangeQuery,WildcardQuery等一些类。 QueryParser: 是一个解析用户输入的工具,可以通过扫描用户输入的字符串,生成Query对象。 Hits:在搜索完成之后,需要把搜索结果返回并显示给用户,只有这样才算是完成搜索的目的。在lucene中,搜索的结果的集合是用Hits类的实例来表示的。 上面作了一大堆名词解释,下面就看几个简单的实例吧: 1、简单的的StandardAnalyzer测试例子 Java代码 package lighter.javaeye.com;      import java.io.IOException;   import java.io.StringReader;      import org.apache.lucene.analysis.Analyzer;   import org.apache.lucene.analysis.Token;   import org.apache.lucene.analysis.TokenStream;   import org.apache.lucene.analysis.standard.StandardAnalyzer;      public class StandardAnalyzerTest    {       //构造函数,       public StandardAnalyzerTest()       {       }       public static void main(String[] args)        {           //生成一个StandardAnalyzer对象           Analyzer aAnalyzer = new StandardAnalyzer();           //测试字符串           StringReader sr = new StringReader(“lighter javaeye com is the are on”);           //生成TokenStream对象           TokenStream ts = aAnalyzer.tokenStream(“name”, sr);            try {               int i=0;               Token t = ts.next();               while(t!=null)               {                   //辅助输出时显示行号                   i++;                   //输出处理后的字符                   System.out.println(“第”+i+“行:”+t.termText());                   //取得下一个字符                   t=ts.next();               }           } catch (IOException e) {               e.printStackTrace();   … Continue reading "lucene简单实例<二>"

lucene的简单实例<一>

 说明一下,这一篇文章的用到的lucene,是用2.0版本的,主要在查询的时候2.0版本的lucene与以前的版本有了一些区别. 其实这一些代码都是早几个月写的,自己很懒,所以到今天才写到自己的博客上,高深的文章自己写不了,只能记录下一些简单的记录与点滴,其中的代码算是自娱自乐的,希望高手不要把重构之类的砸下来… 1、在windows系统下的的C盘,建一个名叫s的文件夹,在该文件夹里面随便建三个txt文件,随便起名啦,就叫”1.txt”,”2.txt”和”3.txt”啦 其中1.txt的内容如下: Java代码 中华人民共和国   全国人民   2006年  中华人民共和国 全国人民 2006年而”2.txt”和”3.txt”的内容也可以随便写几写,这里懒写,就复制一个和1.txt文件的内容一样吧 2、下载lucene包,放在classpath路径中 建立索引: Java代码 package lighter.javaeye.com;      import java.io.BufferedReader;   import java.io.File;   import java.io.FileInputStream;   import java.io.IOException;   import java.io.InputStreamReader;   import java.util.Date;      import org.apache.lucene.analysis.Analyzer;   import org.apache.lucene.analysis.standard.StandardAnalyzer;   import org.apache.lucene.document.Document;   import org.apache.lucene.document.Field;   import org.apache.lucene.index.IndexWriter;      /**   * author lighter date 2006-8-7   */   public class TextFileIndexer {       public static void main(String[] args) throws Exception {           /* 指明要索引文件夹的位置,这里是C盘的S文件夹下 */           File fileDir = new File(“c:\\s”);              /* 这里放索引文件的位置 */           File indexDir = new File(“c:\\index”);           Analyzer luceneAnalyzer = new StandardAnalyzer();           IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer,                   true);           File[] textFiles = fileDir.listFiles();           long startTime = new Date().getTime();                      //增加document到索引去           for (int i = 0; i < textFiles.length; i++) {               if (textFiles[i].isFile()                       && textFiles[i].getName().endsWith(“.txt”)) {                   System.out.println(“File “ + textFiles[i].getCanonicalPath()                           + “正在被索引….”);                   String temp = FileReaderAll(textFiles[i].getCanonicalPath(),                           “GBK”);                   System.out.println(temp);                   Document document = new Document();                   Field FieldPath = new Field(“path”, textFiles[i].getPath(),   … Continue reading "lucene的简单实例<一>"