几百行代码完成百度搜索引擎,真的可以吗?

系统
阿粉最近遇到一个需求,因为数据量没有达到需要使用 ElasticSearch 的级别,也不想单独部署一套集群,所以准备自己基于 Lucene 实现一个简易的搜索服务。下面我们一起来看一下吧。

 [[347248]]

本文转载自微信公众号「Java极客技术」,作者鸭血粉丝 。转载本文请联系Java极客技术公众号。  

Hello 大家好,我是鸭血粉丝,大家都叫我阿粉,搜索引擎想必大家一定不会默认,我们项目中经常使用的 ElasticSearch 就是一种搜索引擎,在我们的日志系统中必不可少,ELK 作为一个整体,基本上是运维标配了,另外目前的搜索引擎底层都是基于 Lucene 来实现的。

阿粉最近遇到一个需求,因为数据量没有达到需要使用 ElasticSearch 的级别,也不想单独部署一套集群,所以准备自己基于 Lucene 实现一个简易的搜索服务。下面我们一起来看一下吧。

背景

**Lucene **是一套用于全文检索和搜索的开放源码程序库,由 Apache 软件基金会支持和提供。Lucene 提供了一个简单却强大的应用程序接口,能够做全文索引和搜索。Lucene 是现在最受欢迎的免费 Java 信息检索程序库。

上面的解释是来自维基百科,我们只需要知道 Lucene 可以进行全文索引和搜索就行了,这里的索引是动词,意思是我们可以将文档或者文章或者文件等数据进行索引记录下来,索引过后,我们查询起来就会很快。

索引这个词有的时候是动词,表示我们要索引数据,有的时候是名词,我们需要根据上下文场景来判断。新华字典前面的字母表或者书籍前面的目录本质上都是索引。

接入

引入依赖

首先我们创建一个 SpringBoot 项目,然后在 pom 文件中加入如下内容,我这里使用的 lucene 版本是 7.2.1,

  1. <properties> 
  2.     <lucene.version>7.2.1</lucene.version> 
  3. </properties> 
  4.  
  5. <!-- Lucene核心库 --> 
  6. <dependency> 
  7.  <groupId>org.apache.lucene</groupId> 
  8.  <artifactId>lucene-core</artifactId> 
  9.  <version>${lucene.version}</version> 
  10. </dependency> 
  11. <!-- Lucene解析库 --> 
  12. <dependency> 
  13.  <groupId>org.apache.lucene</groupId> 
  14.  <artifactId>lucene-queryparser</artifactId> 
  15.  <version>${lucene.version}</version> 
  16. </dependency> 
  17. <!-- Lucene附加的分析库 --> 
  18. <dependency> 
  19.  <groupId>org.apache.lucene</groupId> 
  20.  <artifactId>lucene-analyzers-common</artifactId> 
  21.  <version>${lucene.version}</version> 
  22. </dependency> 

索引数据

在使用 Lucene 之前我们需要先索引一些文件,然后再通过关键词查询出来,下面我们来模拟整个过程。为了方便我们这里模拟一些数据,正常的数据应该是从数据库或者文件中加载的,我们的思路是这样的:

  1. 生成多条实体数据;
  2. 将实体数据映射成 Lucene 的文档形式;
  3. 索引文档;
  4. 根据关键词查询文档;

第一步我们先创建一个实体如下:

  1. import lombok.Data; 
  2.  
  3. @Data 
  4. public class ArticleModel { 
  5.     private String title; 
  6.     private String author; 
  7.     private String content; 

我们再写一个工具类,用来索引数据,代码如下:

  1. import org.apache.commons.collections.CollectionUtils; 
  2. import org.apache.commons.lang.StringUtils; 
  3. import org.apache.lucene.analysis.Analyzer; 
  4. import org.apache.lucene.analysis.standard.StandardAnalyzer; 
  5. import org.apache.lucene.document.*; 
  6. import org.apache.lucene.index.IndexWriter; 
  7. import org.apache.lucene.index.IndexWriterConfig; 
  8. import org.apache.lucene.store.Directory; 
  9. import org.apache.lucene.store.FSDirectory; 
  10. import org.springframework.beans.factory.annotation.Value; 
  11. import org.springframework.stereotype.Component; 
  12.  
  13. import java.io.IOException; 
  14. import java.nio.file.Paths; 
  15. import java.util.ArrayList; 
  16. import java.util.List; 
  17. import java.util.Map; 
  18.  
  19. public class LuceneIndexUtil { 
  20.  
  21.     private static String INDEX_PATH = "/opt/lucene/demo"
  22.     private static IndexWriter writer; 
  23.  
  24.     public static LuceneIndexUtil getInstance() { 
  25.         return SingletonHolder.luceneUtil; 
  26.     } 
  27.  
  28.     private static class SingletonHolder { 
  29.         public final static LuceneIndexUtil luceneUtil = new LuceneIndexUtil(); 
  30.     } 
  31.  
  32.     private LuceneIndexUtil() { 
  33.         this.initLuceneUtil(); 
  34.     } 
  35.  
  36.     private void initLuceneUtil() { 
  37.         try { 
  38.             Directory dir = FSDirectory.open(Paths.get(INDEX_PATH)); 
  39.             Analyzer analyzer = new StandardAnalyzer(); 
  40.             IndexWriterConfig iwc = new IndexWriterConfig(analyzer); 
  41.             writer = new IndexWriter(dir, iwc); 
  42.         } catch (IOException e) { 
  43.             log.error("create luceneUtil error"); 
  44.             if (null != writer) { 
  45.                 try { 
  46.                     writer.close(); 
  47.                 } catch (IOException ioException) { 
  48.                     ioException.printStackTrace(); 
  49.                 } finally { 
  50.                     writer = null
  51.                 } 
  52.             } 
  53.         } 
  54.     } 
  55.  
  56.     /** 
  57.      * 索引单个文档 
  58.      * 
  59.      * @param doc 文档信息 
  60.      * @throws IOException IO 异常 
  61.      */ 
  62.     public void addDoc(Document doc) throws IOException { 
  63.         if (null != doc) { 
  64.             writer.addDocument(doc); 
  65.             writer.commit(); 
  66.             writer.close(); 
  67.         } 
  68.     } 
  69.  
  70.     /** 
  71.      * 索引单个实体 
  72.      * 
  73.      * @param model 单个实体 
  74.      * @throws IOException IO 异常 
  75.      */ 
  76.     public void addModelDoc(Object model) throws IOException { 
  77.         Document document = new Document(); 
  78.         List<Field> fields = luceneField(model.getClass()); 
  79.         fields.forEach(document::add); 
  80.         writer.addDocument(document); 
  81.         writer.commit(); 
  82.         writer.close(); 
  83.     } 
  84.  
  85.     /** 
  86.      * 索引实体列表 
  87.      * 
  88.      * @param objects 实例列表 
  89.      * @throws IOException IO 异常 
  90.      */ 
  91.     public void addModelDocs(List<?> objects) throws IOException { 
  92.         if (CollectionUtils.isNotEmpty(objects)) { 
  93.             List<Document> docs = new ArrayList<>(); 
  94.             objects.forEach(o -> { 
  95.                 Document document = new Document(); 
  96.                 List<Field> fields = luceneField(o); 
  97.                 fields.forEach(document::add); 
  98.                 docs.add(document); 
  99.             }); 
  100.             writer.addDocuments(docs); 
  101.         } 
  102.     } 
  103.  
  104.     /** 
  105.      * 清除所有文档 
  106.      * 
  107.      * @throws IOException IO 异常 
  108.      */ 
  109.     public void delAllDocs() throws IOException { 
  110.         writer.deleteAll(); 
  111.     } 
  112.  
  113.     /** 
  114.      * 索引文档列表 
  115.      * 
  116.      * @param docs 文档列表 
  117.      * @throws IOException IO 异常 
  118.      */ 
  119.     public void addDocs(List<Document> docs) throws IOException { 
  120.         if (CollectionUtils.isNotEmpty(docs)) { 
  121.             long startTime = System.currentTimeMillis(); 
  122.             writer.addDocuments(docs); 
  123.             writer.commit(); 
  124.             log.info("共索引{}个 Document,共耗时{} 毫秒", docs.size(), (System.currentTimeMillis() - startTime)); 
  125.         } else { 
  126.             log.warn("索引列表为空"); 
  127.         } 
  128.     } 
  129.  
  130.     /** 
  131.      * 根据实体 class 对象获取字段类型,进行 lucene Field 字段映射 
  132.      * 
  133.      * @param modelObj 实体 modelObj 对象 
  134.      * @return 字段映射列表 
  135.      */ 
  136.     public List<Field> luceneField(Object modelObj) { 
  137.         Map<String, Object> classFields = ReflectionUtils.getClassFields(modelObj.getClass()); 
  138.         Map<String, Object> classFieldsValues = ReflectionUtils.getClassFieldsValues(modelObj); 
  139.  
  140.         List<Field> fields = new ArrayList<>(); 
  141.         for (String key : classFields.keySet()) { 
  142.             Field field; 
  143.             String dataType = StringUtils.substringAfterLast(classFields.get(key).toString(), "."); 
  144.             switch (dataType) { 
  145.                 case "Integer"
  146.                     field = new IntPoint(key, (Integer) classFieldsValues.get(key)); 
  147.                     break; 
  148.                 case "Long"
  149.                     field = new LongPoint(key, (Long) classFieldsValues.get(key)); 
  150.                     break; 
  151.                 case "Float"
  152.                     field = new FloatPoint(key, (Float) classFieldsValues.get(key)); 
  153.                     break; 
  154.                 case "Double"
  155.                     field = new DoublePoint(key, (Double) classFieldsValues.get(key)); 
  156.                     break; 
  157.                 case "String"
  158.                     String string = (String) classFieldsValues.get(key); 
  159.                     if (StringUtils.isNotBlank(string)) { 
  160.                         if (string.length() <= 1024) { 
  161.                             field = new StringField(key, (String) classFieldsValues.get(key), Field.Store.YES); 
  162.                         } else { 
  163.                             field = new TextField(key, (String) classFieldsValues.get(key), Field.Store.NO); 
  164.                         } 
  165.                     } else { 
  166.                         field = new StringField(key, StringUtils.EMPTY, Field.Store.NO); 
  167.                     } 
  168.                     break; 
  169.                 default
  170.                     field = new TextField(key, JsonUtils.obj2Json(classFieldsValues.get(key)), Field.Store.YES); 
  171.                     break; 
  172.             } 
  173.             fields.add(field); 
  174.         } 
  175.         return fields; 
  176.     } 
  177.     public void close() { 
  178.         if (null != writer) { 
  179.             try { 
  180.                 writer.close(); 
  181.             } catch (IOException e) { 
  182.                 log.error("close writer error"); 
  183.             } 
  184.             writer = null
  185.         } 
  186.     } 
  187.  
  188.     public void commit() throws IOException { 
  189.         if (null != writer) { 
  190.             writer.commit(); 
  191.             writer.close(); 
  192.         } 
  193.     } 

有了工具类,我们再写一个 demo 来进行数据的索引

  1. import java.util.ArrayList; 
  2. import java.util.List; 
  3.  
  4. /** 
  5.  * <br> 
  6.  * <b>Function:</b><br> 
  7.  * <b>Author:</b>@author Silence<br> 
  8.  * <b>Date:</b>2020-10-17 21:08<br> 
  9.  * <b>Desc:</b>无<br> 
  10.  */ 
  11. public class Demo { 
  12.     public static void main(String[] args) { 
  13.         LuceneIndexUtil luceneUtil = LuceneIndexUtil.getInstance(); 
  14.         List<ArticleModel> articles = new ArrayList<>(); 
  15.         try { 
  16.             //索引数据 
  17.             ArticleModel article1 = new ArticleModel(); 
  18.             article1.setTitle("Java 极客技术"); 
  19.             article1.setAuthor("鸭血粉丝"); 
  20.             article1.setContent("这是一篇给大家介绍 Lucene 的技术文章,必定点赞评论转发!!!"); 
  21.             ArticleModel article2 = new ArticleModel(); 
  22.             article2.setTitle("极客技术"); 
  23.             article2.setAuthor("鸭血粉丝"); 
  24.             article2.setContent("此处省略两千字..."); 
  25.             ArticleModel article3 = new ArticleModel(); 
  26.             article3.setTitle("Java 极客技术"); 
  27.             article3.setAuthor("鸭血粉丝"); 
  28.             article3.setContent("最后邀请你加入我们的知识星球,Today is big day!"); 
  29.             articles.add(article1); 
  30.             articles.add(article2); 
  31.             articles.add(article3); 
  32.             luceneUtil.addModelDocs(articles); 
  33.             luceneUtil.commit(); 
  34.              
  35.         } catch (Exception e) { 
  36.             e.printStackTrace(); 
  37.         } 
  38.     } 

上面的 content 内容可以自行进行替换,阿粉这边避免凑字数的嫌疑就不贴了。

展示

运行结束过后,我们用过 Lucene 的可视化工具 luke 来查看下索引的数据内容,下载过后解压我们可以看到有.bat 和 .sh 两个脚本,根据自己的系统进行运行就好了。阿粉这边是 mac 用的是 sh 脚本运行,运行后打开设置的索引目录即可。

进入过后,我们可以看到下图显示的内容,选择 content 点击 show top items 可以看到右侧的索引数据,这里根据分词器的不同,索引的结果是不一样的,阿粉这里采用的分词器就是标准的分词器,小伙伴们可以根据自己的要求选择适合自己的分词器即可。

搜索数据

数据已经索引成功了,接下来我们就需要根据条件进行数据的搜索了,我们创建一个 LuceneSearchUtil.java 来操作数据。

  1. import org.apache.commons.collections.MapUtils; 
  2. import org.apache.lucene.analysis.Analyzer; 
  3. import org.apache.lucene.analysis.standard.StandardAnalyzer; 
  4. import org.apache.lucene.index.DirectoryReader; 
  5. import org.apache.lucene.queryparser.classic.QueryParser; 
  6. import org.apache.lucene.search.*; 
  7. import org.apache.lucene.store.Directory; 
  8. import org.apache.lucene.store.FSDirectory; 
  9. import org.springframework.beans.factory.annotation.Value; 
  10.  
  11. import java.io.IOException; 
  12. import java.nio.file.Paths; 
  13. import java.util.Map; 
  14.  
  15.  
  16. public class LuceneSearchUtil { 
  17.  
  18.     private static String INDEX_PATH = "/opt/lucene/demo"
  19.     private static IndexSearcher searcher; 
  20.  
  21.     public static LuceneSearchUtil getInstance() { 
  22.         return LuceneSearchUtil.SingletonHolder.searchUtil; 
  23.     } 
  24.  
  25.     private static class SingletonHolder { 
  26.         public final static LuceneSearchUtil searchUtil = new LuceneSearchUtil(); 
  27.     } 
  28.  
  29.     private LuceneSearchUtil() { 
  30.         this.initSearcher(); 
  31.     } 
  32.  
  33.     private void initSearcher() { 
  34.         Directory directory; 
  35.         try { 
  36.             directory = FSDirectory.open(Paths.get(INDEX_PATH)); 
  37.             DirectoryReader reader = DirectoryReader.open(directory); 
  38.             searcher = new IndexSearcher(reader); 
  39.         } catch (IOException e) { 
  40.             e.printStackTrace(); 
  41.         } 
  42.     } 
  43.  
  44.     public TopDocs searchByMap(Map<String, Object> queryMap) throws Exception { 
  45.         if (null == searcher) { 
  46.             this.initSearcher(); 
  47.         } 
  48.         if (MapUtils.isNotEmpty(queryMap)) { 
  49.             BooleanQuery.Builder builder = new BooleanQuery.Builder(); 
  50.             queryMap.forEach((key, value) -> { 
  51.                 if (value instanceof String) { 
  52.                     Query queryString = new PhraseQuery(key, (String) value); 
  53. //                    Query queryString = new TermQuery(new Term(key, (String) value)); 
  54.                     builder.add(queryString, BooleanClause.Occur.MUST); 
  55.                 } 
  56.             }); 
  57.             return searcher.search(builder.build(), 10); 
  58.         } 
  59.         return null
  60.     } 
  61.  

在 demo.java 中增加搜索代码如下:

  1. //查询数据 
  2.    Map<String, Object> map = new HashMap<>(); 
  3.    map.put("title""Java 极客技术"); 
  4. //   map.put("title""极客技术"); 
  5. //   map.put("content""最"); 
  6.    LuceneSearchUtil searchUtil = LuceneSearchUtil.getInstance(); 
  7.    TopDocs topDocs = searchUtil.searchByMap(map); 
  8.    System.out.println(topDocs.totalHits); 

运行结果如下,表示搜索到了两条。

通过可视化工具我们可以看到 title 为"Java 极客技术"确实是有两条记录,而且我们也确认只插入了两条数据。注意这里如果根据其他字符去查询可能查询不出来,因为阿粉这里的分词器采用的是默认的分词器,小伙伴可以根据自身的情况采用相应的分词器。

至此我们可以索引和搜索数据了,不过这还是简单的入门操作,对于不同类型的字段,我们需要使用不同的查询方式,而且根据系统的特性我们需要使用特定的分词器,默认的标准分词器不一定符合我们的使用场景。而且我们索引数据的时候也需要根据字段类型进行不同 Field 的设定。上面的案例只是 demo 并不能在生产上使用,搜索引擎在互联网行业是领头羊,很多先进的互联网技术都是从搜索引擎开始发展的。

 

责任编辑:武晓燕 来源: Java极客技术
相关推荐

2010-05-06 13:32:59

2011-05-17 18:01:52

搜索引擎优化

2011-11-15 08:40:17

百度

2011-10-28 16:19:21

百度搜索

2023-01-11 12:49:49

AIChatGPT

2009-08-07 08:29:36

百度搜索引擎

2022-11-18 12:06:48

App接口搜索

2021-01-28 06:07:32

百度搜索搜索引擎 应用

2020-06-04 13:41:35

大数据疫情技术

2018-10-19 10:05:14

区块链百度百度搜索

2009-12-04 09:27:02

搜索引擎色情

2012-11-25 15:42:47

互联网百度搜索

2020-03-17 08:23:47

搜索引擎百度Google

2018-06-13 17:43:46

熊掌号

2012-04-06 09:23:09

百度苹果

2023-09-21 15:05:12

ChatGPT搜索引擎

2010-08-12 22:20:14

百度搜索营销培训

2012-11-16 11:01:50

移动搜索ASO

2011-06-29 16:02:40

jQuery
点赞
收藏

51CTO技术栈公众号