文章目录
-
- 0、为什么要学习ElasticSearch?
- 1、Lucene创始人
- 2、ES概述
-
- 2.1 历史
- 2.2 谁在使用:
- 2.3 ELK简介
- 3、ES和Solr对比
-
- 3.1 ES简介
- 3.2 Solr简介
- 3.3 Lucene简介
- 3.4 技术选型—ES和Solr的差别
-
- 一、当单纯的对已有数据进行搜索时,Solr更快
- 二、当实时建立索引时,Solr会产生io阻塞,查询性能较差,ElasticSearch具有明显的优势
- 三、随着数据量的增加,Solr的搜索效率会变得更低,而ElasticSearch却没有明显的变化
- 四、从Solr到ES—提高搜索性能
- 五、总结
- 4、ES的安装
-
- 4.1 安装ES—Windows
- 4.2 ElasticSearch-Head插件安装
- 4.3 ElasticSearch的可视化工具Kibana安装
- 5、ES核心概念
-
- 5.1 概述
- 5.2 物理设计
-
- 节点和分片是如何工作的?
- ==倒排索引==
- Elasticsearch的索引和Lucene的索引对比
- 5.3 逻辑设计
-
- 文档("行")
- 类型("表")
- 索引("库")
- 6、IK分词器插件
-
- 6.1 下载安装
- 6.2 使用Kibana测试IK分词器
-
- ik_smart
- ik_max_word
- 测试词库
- 7、Rest风格说明
-
- 7.1 基础测试
-
- 创建索引
- 字段数据类型
- 指定字段类型PUT
- 7.2 修改
-
- PUT进行覆盖修改
- POST推荐使用)
- 7.3 删除
- 7.4 查询
-
- 基本操作
- ==复杂操作==
-
- 排序
- 分页
- 布尔值查询
- 精确查询term
- 多条件精准查询
- 高亮查询
- 8、集成SpringBoot
-
- 8.1 添加依赖
- 8.2 ES常用API
-
- 创建索引
- 判断索引是否存在
- 索引删除
- 创建文档
- 查看文档信息
- 判断文档是否存在
- 更新文档
- 删除文档
- ==查询==
- 8.3 批量插入
-
- 创建索引
- 插入数据
- 9、ES京东实战小DEMO
-
- 9.1 搭建环境
-
- pom.xml
- application.properties
- EsApiApplication
- ElasticSearchConfig
- 目录结构
- 9.2 开发步骤
-
- 创建实体类
-
- User
- Content
- 使用Jsoup爬取数据
- 编写业务
-
- 1、将爬取的数据存入到ES
- 2、编写查询逻辑
- 3、高亮查询
- 编写Controller代码
- 准备前端内容
-
- index.html
- 9.3 最终效果
- 10、工作中使用的场景
- 11、常见ES面试题
0、为什么要学习ElasticSearch?
- 学习的版本:ElasticSearch7.6.1,6.X和7.X的区别很大。
- 使用SQL数据量大的话,就十分慢,这时候就需要用到ES。项目中使用ES存储机构信息(大概有八千万条数据)
- 扩宽自己的知识面,只要学不死,就往死里学!
- 学习思路:
- 聊一下ES和Hadoop创始人:Doug Cutting
- 对比一下ES、Solr、Lucene,为了技术选型
- ES的安装
- ES的架构和生态圈
- ES插件
- RestFul操作ES
- ES的CRUD
- SpringBoot集成ES
- Demo学习
- 总结工作中使用的场景
- 常见ES面试题,思考面试官为什么会这样问
1、Lucene创始人
Lucene和Hadoop创始人:Doug Cutting,鲜枣课堂:深入浅出大数据:到底什么是Hadoop?
Lucene是一套信息检索工具包(jar包),不包含搜索引擎系统!Lucene包含:
- 索引结构
- 读写索引的工具
- 排序
- 搜索规则等工具类
Lucene和ES的关系:ES是基于Lucene做了一些封装和增强。
2、ES概述
ElaticSearch,简称为ES,ES是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别GB<TB<PB<EB)的数据。ES也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。
据国际权威的数据库产品评测机构DB Engines的统计,在2016年1月,ElasticSearch已超过Solr等,成为排名第一的搜索引擎类应用。
2.1 历史
多年前,一个叫做Shay Banon的刚结婚不久的失业开发者,由于妻子要去伦敦学习厨师,他便跟着也去了。在他找工作的过程中,为了给妻子构建一个食谱的搜索引擎,所以才接触到 Lucene。
直接基于Lucene工作会比较困难,所以Shay开始抽象Lucene代码以便Java程序员可以在应用中添加搜索功能。他发布了他的第一个开源项目,叫做“Compass”。
后来Shay找到一份工作,这份工作处在高性能和内存数据网格的分布式环境中,因此高性能的、实时的、分布式的搜索引擎也是理所当然需要的。然后他决定重写Compass库使其成为一个独立的服务叫做Elasticsearch。
第一个公开版本出现在2010年2月,在那之后Elasticsearch已经成为Github上最受欢迎的项目之一,代码贡献者超过300人。一家主营Elasticsearch的公司就此成立,他们一边提供商业支持一边开发新功能,不过Elasticsearch将永远开源且对所有人可用。Shay的妻子依旧等待着她的食谱搜索……
2.2 谁在使用:
- 维基百科,类似百度百科,全文检索,高亮,搜索推荐权重);
- The Guardian 国外新闻网站) ,类似搜狐新闻,用户行为日志点击,浏览,收藏,评论) +社交网络数据对某某新闻的相关看法) ,数据分析,给到每篇新闻文章的作者,让他知道他的文章的公众反馈好,坏,热门,垃圾,鄙视,崇拜)
- Stack Overflow 国外的程序异常讨论论坛) , IT问题,程序的报错,提交上去,有人会跟你讨论和回答,全文检索,搜索相关问题和答案,程序报错了,就会将报错信息粘贴到里面去,搜索有没有对应的答案
- GitHub 开源代码管理),搜索 上千亿行代码
- 电商网站,检索商品,日志数据分析, logstash采集日志, ES进行复杂的数据分析, ELK技术, elasticsearch+logstash+kibana
- 商品价格监控网站,用户设定某商品的价格阈值,当低于该阈值的时候,发送通知消息给用户,比如说订阅牙膏的监控,如果高露洁牙膏的家庭套装低于50块钱,就通知我,我就去买
- BI系统,商业智能 Business Intelligence。比如说有个大型商场集团,BI ,分析一下某某区域最近3年的用户消费金额的趋势以及用户群体的组成构成,产出相关的数张报表,最近3年,每年消费金额呈现100%的增长,而且用户群体85%是高级白领。ES执行数据分析和挖掘, Kibana进行数据可视化
- 国内:
- 站内搜索电商,招聘,门户,等等);
- IT系统搜索OA,CRM,ERP等等);
- 数据分析ES热门的一个使用场景)
2.3 ELK简介
ELK是Elasticsearch、Logstash、 Kibana三大开源框架首字母大写简称。市面上也被成为Elastic Stack。
-
其中Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。
- 像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用Elasticsearch作为底层支持框架,可见Elasticsearch提供的搜索能力确实强大,市面上很多时候我们简称Elasticsearch为es。
- Logstash是ELK的中央数据流引擎,用于从不同目标文件/数据存储/MQ )收集的不同格式数据,经过过滤后支持输出到不同目的地文件/MQ/redis/elasticsearch/kafka等)。
-
Kibana可以将elasticsearch的数据通过友好的页面展示出来,提供实时分析的功能。
-
市面上很多开发只要提到ELK能够一致说出它是一个日志分析架构技术栈总称,但实际上ELK不仅仅适用于日志分析,它还可以支持其它任何数据分析和收集的场景,日志分析和收集只是更具有代表性。并非唯一性。
收集清洗数据Logstash) ==> 搜索、存储ElasticSearch) ==> 展示Kibana)
3、ES和Solr对比
3.1 ES简介
- Elasticsearch是一个实时分布式搜索和分析引擎。 它让你以前所未有的速度处理大数据成为可能。
- 它用于全文搜索、结构化搜索、分析以及将这三者混合使用:
维基百科
使用Elasticsearch提供全文搜索并高亮关键字,以及输入实时搜索search-asyou-type)和搜索纠错did-you-mean)等搜索建议功能。英国卫报
使用Elasticsearch结合用户日志和社交网络数据提供给他们的编辑以实时的反馈,以便及时了解公众对新发表的文章的回应。- StackOverflow结合全文搜索与地理位置查询,以及more-like-this功能来找到相关的问题和答案。
- Github使用Elasticsearch检索1300亿行的代码。
- 但是Elasticsearch不仅用于大型企业,它还让像DataDog以及Klout这样的创业公司将最初的想法变成可扩展的解决方案。
- Elasticsearch可以在你的笔记本上运行,也可以在数以百计的服务器上处理PB级别的数据。
- Elasticsearch是一个基于Apache Lucene™的开源搜索引擎。无论在开源还是专有领域, Lucene可被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。
- 但是 Lucene只是一个库。 想要使用它,你必须使用Java来作为开发语言并将其直接集成到你的应用中,更糟糕的是, Lucene非常复杂,你需要深入了解检索的相关知识来理解它是如何工作的。
- Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。
3.2 Solr简介
- Solr是Apache下的一个顶级开源项目,采用Java开发,它是基于Lucene的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对索引、搜索性能进行了优化
- Solr可以独立运行,运行在 Jetty Tomcat等这些Selrvlet容器中 , Solr 索引的实现方法很简单,用POST方法向Solr服务器发送一个描述Field及其内容的XML文档, Solr根据xml文档添加、删除、更新索引。Solr 搜索只需要发送HTTP GET请求,然后对Solr返回xml、json等格式的查询结果进行解析,组织页面布局。
- Solr不提供构建UI的功能,Solr提供了一个管理界面,通过管理界面可以查询Solr的配置和运行情况。
- Solr是基于lucene开发企业级搜索服务器,实际上就是封装了lucene。
- Solr是一个独立的企业级搜索应用服务器,它对外提供类似于Web-service的API接口。用户可以通过http请求,向搜索引擎服务器提交-定格式的文件,生成索引;也可以通过提出查找请求,并得到返回结果。
3.3 Lucene简介
Lucene是apache软件基金会4 jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,但它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎(英文与德文两种西方语言)。
Lucene的目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。
Lucene是一套用于全文检索和搜寻的开源程式库,由Apache软件基金会支持和提供。Lucene提供了一个简单却强大的应用程式接口,能够做全文索引和搜寻。
在Java开发环境里Lucene是一个成熟的免费开源工具。就其本身而言,Lucene是当前以及最近几年最受欢迎的免费]ava信息检索程序库。人们经常提到信息检索程序库,虽然与搜索引擎有关,但不应该将信息检索程序库与搜索引擎相混淆。
Lucene是一个全文检索引擎的架构,那什么是全文搜索引擎﹖
全文搜索引擎是名副其实的搜索引擎,国外具代表性的有Google、Fast/AlTheWeb、AltaVista、Inktomi、Teoma、WiseNut等,国内著名的有百度 Baidu )。它们都是通过从互联网上提取的各个网站的信息(以网页文字为主)而建立的数据库中,检索与用户查询条件匹配的相关记录,然后按一定的排列顺序将结果返回给用户,因此他们是真正的搜索引擎。
从搜索结果来源的角度,全文搜索引擎又可细分为两种,一种是拥有自己的检索程序 Indexer ),俗称"蜘蛛" Spider )程序或"机器人" Robot )程序,并自建网页数据库,搜索结果直接从自身的数据库中调用,如上面提到的7家引擎﹔另一种则是租用其他引擎的数据库,并按自定的格式排列搜索结果,如Lycos引擎。
3.4 技术选型—ES和Solr的差别
一、当单纯的对已有数据进行搜索时,Solr更快
二、当实时建立索引时,Solr会产生io阻塞,查询性能较差,ElasticSearch具有明显的优势
三、随着数据量的增加,Solr的搜索效率会变得更低,而ElasticSearch却没有明显的变化
四、从Solr到ES—提高搜索性能
五、总结
1、ES基本是开箱即用(解压就可以用) ,非常简单。Solr安装略微复杂一些。
2、Solr 利用Zookeeper进行分布式管理,而Elasticsearch自身带有分布式协调管理功能。
3、Solr 支持更多格式的数据,比如JSON、XML、 CSV ,而Elasticsearch仅支持json文件格式。
4、Solr 官方提供的功能更多,而Elasticsearch本身更注重于核心功能,高级功能多有第三方插件提供,例如图形化界面需要kibana友好支撑
5、Solr 查询快,但更新索引时慢即插入删除慢) ,用于电商等查询多的应用。
- ES建立索引快即查询慢) ,即实时性查询快,用于facebook新浪等搜索。
- Solr是传统搜索应用的有力解决方案,但Elasticsearch更适用于新兴的实时搜索应用。
6、Solr比较成熟,有一个更大,更成熟的用户、开发和贡献者社区,而Elasticsearch相对开发维护者较少,更新太快,学习使用成本较高。
4、ES的安装
使用Java开发,最低要求JDK8,必须保证ElasticSearch的版本与Java的核心jar包版本对应。
4.1 安装ES—Windows
下载地址:https://www.elastic.co/cn/downloads/
历史版本下载:https://www.elastic.co/cn/downloads/past-releases/
解压即可(尽量将ElasticSearch相关工具放在统一目录 D:\hs-soft\elasticsearch 下)
// ES目录结构:
D:\hs-soft\elasticsearch\elasticsearch-7.6.1bin 启动文件目录config 配置文件目录1og4j2 日志配置文件jvm.options java 虚拟机相关的配置默认启动占1g内存默认在20行左右,内容不够需要自己调整)elasticsearch.ym1 elasticsearch 的配置文件! 默认9200端口!跨域!1ib 相关jar包modules 功能模块目录plugins 插件目录 ik分词器
启动ES:运行elasticsearch.bat文件
访问:http://127.0.0.1:9200
即使是单机。ElasticSearch也是集群形式的,且集群名称默认是elasticsearch
4.2 ElasticSearch-Head插件安装
- 采用Google浏览器插件安装
- 采用本地web项目安装(我们选用)
安装步骤:
// 该目录下:D:\hs-soft\elasticsearch\elasticsearch-head-master>cnpm install
// 启动npm run start
// 访问http://127.0.0.1:9100/// 连接ES会存在跨域问题需要配置ElasticSearch的跨域,不然不能访问。修改elasticsearch.yml文件http.cors.enabled: truehttp.cors.allow-origin: "*"重启ES即可
如何理解上图:
索引 可以看做 “数据库”
类型 可以看做 “表”
文档 可以看做 “库中的数据(表中的行)”
这个Head,我们只是把它当做可视化数据展示工具,之后所有的查询都在kibana中进行,因为不支持json格式化,不方便
4.3 ElasticSearch的可视化工具Kibana安装
Kibana是一个针对ElasticSearch的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana,可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。它操作简单,基于浏览器的用户界面可以快速创建仪表板 dashboard )实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编码或者额外的基础架构,几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。
下载的版本需要与ElasticSearch版本对应
历史版本下载:https://www.elastic.co/cn/downloads/past-releases/
解压即可(尽量将ElasticSearch相关工具放在统一目录下)
修改config/kibana.yml,进行kibana汉化
// 在kibana.yml的116行
il8n.locale: "zh-CN"
// 启动
kibana.bat
// 访问
http://127.0.0.1:5601/
5、ES核心概念
5.1 概述
- 集群,节点,索引,类型,文档,映射
- ElasticSearch是面向文档,关系型数据库和ElasticSearch客观对比!一切都是JSON!
Relational DB | ElasticSearch |
---|---|
数据库(database) | 索引(indices) |
表(tables) | types (慢慢会被弃用) |
行(rows) | documents |
字段(columns) | fields |
Elasticsearch(集群)中可以包含多个索引(数据库)
每个索引中可以包含多个类型(表)
每个类型下又包含多个文档(行)
每个文档中又包含多个字段(列)。
5.2 物理设计
Elasticsearch在后台把每个索引划分成多个分片,每个分片可以在集群中的不同服务器间迁移,一个ES就是一个集群! 即启动的ElasticSearch服务,默认就是一个集群,且默认集群名为elasticsearch。
节点和分片是如何工作的?
一个集群至少有一个节点,而一个节点就是一个Elasricsearch进程,节点可以有多个索引默认的,如果你创建索引,那么索引将会有个5个分片(primary shard ,又称主分片)构成的,每一个主分片会有一个副本replica shard,又称复制分片)
上图是一个有3个节点的集群,可以看到主分片P和对应的复制分片R都不会在同一个节点内,这样有利于某个节点挂掉了,数据也不至于丢失。实际上,一个分片是一个Lucene索引(一个ElasticSearch索引包含多个Lucene索引),一个包含倒排索引的文件目录,倒排索引的结构使得Eelasticsearch在不扫描全部文档的情况下,就能告诉你哪些文档包含特定的关键字。
倒排索引
Elasticsearch使用的是一种称为倒排索引的结构,采用Lucene倒排索作为底层。这种结构适用于快速的全文搜索,一个索引由文档中所有不重复的列表构成,对于每一个词,都有一个包含它的文档列表。 例如,现在有两个文档,每个文档包含如下内容:
Study every day, good good up to forever # 文 档1包含的内容
To forever, study every day,good good up # 文档2包含的内容
为创建倒排索引,我们首先要将每个文档拆分成独立的词或称为词条或者tokens) ,然后创建一个包含所有不重复的词条的排序列表,然后列出每个词条出现在哪个文档:
term | doc_1 | doc_2 |
---|---|---|
Study | √ | x |
To | x | x |
every | √ | √ |
forever | √ | √ |
day | √ | √ |
study | x | √ |
good | √ | √ |
every | √ | √ |
to | √ | x |
up | √ | √ |
现在,我们试图搜索 to forever,只需要查看包含每个词条的文档
term | doc_1 | doc_2 |
---|---|---|
to | √ | x |
forever | √ | √ |
total | 2 | 1 |
两个文档都匹配,但是第一个文档比第二个匹配程度更高。如果没有别的条件,现在,这两个包含关键字的文档都将返回。再来看一个示例,比如我们通过博客标签来搜索博客文章。那么倒排索引列表就是这样的一个结构:
如果要搜索含有python标签的文章,那相对于查找所有原始数据而言,查找倒排索引后的数据将会快的多。只需要查看标签这一栏,然后获取相关的文章ID即可。完全过滤掉无关的所有数据,提高效率!
什么是倒排索引?
Elasticsearch的索引和Lucene的索引对比
在Elasticsearch中,索引库)这个词被频繁使用,这就是术语的使用。在Elasticsearch中 ,索引被分为多个分片,每份分片是一个Lucene的索引。所以一个Elasticsearch索引是由多 个Lucene索引组成的。别问为什么,谁让Elasticsearch使用Lucene作为底层呢!如无特指,说起索引都是指Elasticsearch的索引。
5.3 逻辑设计
一个索引类型中,包含多个文档,比如说文档1,文档2。当我们索引一篇文档时,可以通过这样的顺序找到它:索引 => 类型 => 文档ID ,通过这个组合我们就能索引到某个具体的文档。 注意:ID不必是整数,实际上它是个字符串。
文档(“行”)
之前说Elasticsearch是面向文档的,那么就意味着索引和搜索数据的最小单位是文档,在Elasticsearch中,文档有几个重要属性:
- 自我包含,一篇文档同时包含字段和对应的值,也就是同时包含key:value (name:zhangsan)
- 可以是层次型的,一个文档中包含自文档,复杂的逻辑实体就是这么来的{就是一个json对象 ! fastjson进行自动转换 !}
- 灵活的结构,文档不依赖预先定义的模式,我们知道关系型数据库中,要提前定义字段才能使用,在Elasticsearch中,对于字段是非常灵活的,有时候,我们可以忽略该字段,或者动态的添加一个新的字段。
尽管我们可以随意的新增或者忽略某个字段,但是,每个字段的类型非常重要,比如一个年龄字段类型,可以是字符串也可以是整形。因为Elasticsearch会保存字段和类型之间的映射及其他的设置。这种映射具体到每个映射的每种类型,这也是为什么在elasticsearch中,类型有时候也称为映射类型。
类型(“表”)
类型是文档的逻辑容器,就像关系型数据库一样,表格是行的容器。类型中对于字段的定义称为映射,比如name映射为字符串类型。我们说文档是无模式的,它们不需要拥有映射中所定义的所有字段,比如新增一个字段,那么Elasticsearch是怎么做的呢?
Elasticsearch会自动的将新字段加入映射,但是这个字段的不确定它是什么类型,Elasticsearch就开始猜,如果这个值是18,那么Elasticsearch会认为它是整形。但是Elasticsearch也可能猜不对,所以最安全的方式就是提前定义好所需要的映射,这点跟关系型数据库殊途同归了,先定义好字段,然后再使用,别整什么幺蛾子。
索引(“库”)
索引是映射类型的容器, Elasticsearch中的索引是一个非常大的文档集合。 索引存储了映射类型的字段和其他设置。然后它们被存储到了各个分片上了。我们来研究下分片是如何工作的。
6、IK分词器插件
分词:即把一段中文或者别的划分成一个个的关键字,我们在搜索时候会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一一个匹配操作,默认的中文分词是将每个字看成一个词(不使用用IK分词器的情况下),比如”我爱狂神”会被分为”我”,”爱”,”狂”,”神” ,这显然是不符合要求的,所以我们需要安装中文分词器ik来解决这个问题。
IK提供了两个分词算法: ik_smart和ik_max_word
- ik_smart为最少切分
- ik_max_word为最细粒度划分(穷尽词库的可能)
6.1 下载安装
版本要与ElasticSearch版本对应
// 也可以通过命令查看插件
elasticsearch-plugin list
6.2 使用Kibana测试IK分词器
ik_smart
GET _analyze
{"analyzer":"ik_smart","text":"中国共产党"
}// 结果
{"tokens" : [{"token" : "中国共产党","start_offset" : 0,"end_offset" : 5,"type" : "CN_WORD","position" : 0}]
}
ik_max_word
GET _analyze
{"analyzer":"ik_max_word","text":"中国共产党"
}// 结果
{"tokens" : [{"token" : "中国共产党","start_offset" : 0,"end_offset" : 5,"type" : "CN_WORD","position" : 0},{"token" : "中国","start_offset" : 0,"end_offset" : 2,"type" : "CN_WORD","position" : 1},{"token" : "国共","start_offset" : 1,"end_offset" : 3,"type" : "CN_WORD","position" : 2},{"token" : "共产党","start_offset" : 2,"end_offset" : 5,"type" : "CN_WORD","position" : 3},{"token" : "共产","start_offset" : 2,"end_offset" : 4,"type" : "CN_WORD","position" : 4},{"token" : "党","start_offset" : 4,"end_offset" : 5,"type" : "CN_CHAR","position" : 5}]
}
测试词库
GET _analyze
{"analyzer":"ik_smart","text":"梦赵倩蔚"
}GET _analyze
{"analyzer":"ik_max_word","text":"梦赵倩蔚"
}// 结果:
{"tokens" : [{"token" : "梦","start_offset" : 0,"end_offset" : 1,"type" : "CN_CHAR","position" : 0},{"token" : "赵","start_offset" : 1,"end_offset" : 2,"type" : "CN_CHAR","position" : 1},{"token" : "倩","start_offset" : 2,"end_offset" : 3,"type" : "CN_CHAR","position" : 2},{"token" : "蔚","start_offset" : 3,"end_offset" : 4,"type" : "CN_CHAR","position" : 3}]
}
赵倩蔚被拆分开了,这是因为IK分词器的词典中并没有这个词,需要我们手动添加。
以后的话,如果需要配置分词,就可以在自定义的dic文件中进行配置了。
7、Rest风格说明
一种软件架构风格,而不是标准,只是提供了一组设计原则和约束条件。它主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁,更有层次,更易于实现缓存等机制。
method | url地址 | 描述 |
---|---|---|
PUT(创建,修改) | localhost:9200/索引名称/类型名称/文档id | 创建文档(指定文档id) |
POST(创建) | localhost:9200/索引名称/类型名称 | 创建文档(随机文档id) |
POST(修改) | localhost:9200/索引名称/类型名称/文档id/_update | 修改文档 |
DELETE(删除) | localhost:9200/索引名称/类型名称/文档id | 删除文档 |
GET(查询) | localhost:9200/索引名称/类型名称/文档id | 查询文档通过文档ID |
POST(查询) | localhost:9200/索引名称/类型名称/文档id/_search | 查询所有数据 |
7.1 基础测试
创建索引
字段数据类型
字符串类型
text、keyword
text:支持分词,全文检索,支持模糊、精确查询,不支持聚合,排序操作;text类型的最大支持的字符长度无限制,适合大字段存储;
keyword:不进行分词,直接索引、支持模糊、支持精确匹配,支持聚合、排序操作。keyword类型的最大支持的长度为——32766个UTF-8类型的字符,可以通过设置ignore_above指定自持字符长度,超过给定长度后的数据将不被索引,无法通过term精确匹配检索返回结果。
数值型
- long、Integer、short、byte、double、float、half float、scaled float
日期类型
- date
布尔类型
- boolean
二进制类型
- binary
指定字段类型PUT
1、创建规则
PUT /test2/
{"mappings":{"properties": {"name":{"type": "text"},"age": {"type": "long"}}}
}2、获取具体信息
GET test2
// 查看默认类型
PUT /test3/_doc/3
{"name":"狂神说","age":18
}
// 如果自己的文档字段没有指定,那么ES就会给我们默认配置字段类型
GET test3
虚心学习,这个世界大佬很多!
扩展:GET _cat/xxx
GET _cat/indices GET _cat/aliases GET _cat/allocation GET _cat/count GET _cat/fielddata GET _cat/health GET _cat/indices GET _cat/master GET _cat/nodeattrs GET _cat/nodes GET _cat/pending_tasks GET _cat/plugins GET _cat/recovery GET _cat/repositories GET _cat/segments GET _cat/shards GET _cat/snapshots GET _cat/tasks GET _cat/templates GET _cat/thread_pool
7.2 修改
PUT进行覆盖修改
PUT /index/_doc/id
// 修改方式一:使用PUT进行覆盖修改,版本增加1 PUT /test3/_doc/3
{"name":"狂神说123","age":18
}// 结果
{"_index" : "test3","_type" : "_doc","_id" : "3","_version" : 2,"result" : "updated","_shards" : {"total" : 2,"successful" : 1,"failed" : 0},"_seq_no" : 1,"_primary_term" : 1
}
POST推荐使用)
POST /test3/_doc/3/_update
{"doc":{"name":"法外狂徒张三"}
}
7.3 删除
DELETE /test3
DELETE /test3/_doc/3GET /test3
7.4 查询
初始化数据
PUT /kuangshen/user/1
{"name":"狂神说","age":18,"desc": "一顿操作猛如虎,一看工资两块五","tags":["技术宅","暖"]
}PUT /kuangshen/user/2
{"name":"张三","age":18,"desc": "一顿操作猛如虎,一看工资两千五","tags":["渣男","交朋友"]
}PUT /kuangshen/user/3
{"name":"狂神说Java","age":18,"desc": "一顿操作猛如虎,一看工资两块五","tags":["技术宅","暖"]
}PUT /kuangshen/user/4
{"name":"狂神说前端","age":18,"desc": "一顿操作猛如虎,一看工资两块五","tags":["技术宅","暖"]
}
基本操作
// 查询数据,通过文档id查询
GET /kuangshen/user/1
// 简单的条件查询
GET /kuangshen/user/_search?q=name:狂神
复杂操作
复杂操作搜索select(排序,分页,高亮,模糊查询,精准查询!)
注意这个hits,集成SpringBoot后会有这个对象。
match:匹配(会使用分词器解析(先分析文档,然后进行查询))
_source:过滤字段
sort:排序
form、size 分页
结果的过滤:
// 结果的过滤: "_source": ["name"]
GET /kuangshen/user/_search
{"query":{"match":{"name":"狂神"}},"_source": ["name"]
}
排序
GET /kuangshen/user/_search
{"query":{"match":{"name":"狂神"}},"sort": [{"age": {"order": "desc"}}]
}
分页
GET /kuangshen/user/_search{"query":{"match":{"name":"狂神"}},"from":0,// pageNo"size": 1// pageSize}
布尔值查询
must类似于and
should类似于or
must_not
GET /kuangshen/user/_search{"query":{"bool":{"must": [{"match": {"name": "狂"}},{"match": {"age": 3}}]}}}GET /kuangshen/user/_search{"query":{"bool":{"should": [{"match": {"name": "狂"}},{"match": {"age": 3}}]}}}
过滤filter
GET /kuangshen/user/_search{"query":{"bool":{"must": [{"match": {"name": "狂"}}],"filter": {"range": {"age": {"gte": 2,"lte": 17}}}}}}
精确查询term
term直接通过 倒排索引 指定词条查询
match 会使用分词器解析(先分析文档,然后进行查询)
text和keyword
text:
- 支持分词,全文检索、支持模糊、精确查询,不支持聚合,排序操作;
- text类型的最大支持的字符长度无限制,适合大字段存储;
keyword:
- 不进行分词,直接索引、支持模糊、支持精确匹配,支持聚合、排序操作。
- keyword类型的最大支持的长度为——32766个UTF-8类型的字符,可以通过设置ignore_above指定自持字符长度,超过给定长度后的数据将不被索引,无法通过term精确匹配检索返回结果。
多条件精准查询
GET /kuangshen/user/_search{"query":{"bool":{"must": [{"term": {"name": "狂"}},{"term": {"age":18}}]}}}
高亮查询
GET /kuangshen/user/_search{"query":{"bool":{"must": [{"term": {"name": "狂"}}]}},"highlight": {"fields": {"name":{}}}}
还能自定义高亮的样式
"pre_tags": "<span style='color:red'>","post_tags": "</span>",
8、集成SpringBoot
8.1 添加依赖
<!-- jsoup解析页面 --><!-- 解析网页 爬视频可 研究tiko --><dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.10.2</version></dependency><!-- thymeleaf --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-thymeleaf</artifactId></dependency><dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId><version>1.2.70</version></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-elasticsearch</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency>
8.2 ES常用API
索引系列请求:XXXXIndexRequest
package cn.itbuild.esapi;@SpringBootTest
class EsApiApplicationTests {/*** 索引名称*/public static final String INDEX_NAME = "zqw_index";@Autowiredpublic RestHighLevelClient restHighLevelClient;}
创建索引
/*** 测试索引的创建, Request PUT liuyou_index** @throws IOException*/@Testpublic void testCreateIndex) throws IOException {CreateIndexRequest request = new CreateIndexRequestINDEX_NAME);// 发送请求CreateIndexResponse response = restHighLevelClient.indices).createrequest, RequestOptions.DEFAULT);System.out.printlnresponse.isAcknowledged));// 查看是否创建成功System.out.printlnresponse);// 查看返回对象restHighLevelClient.close);}
判断索引是否存在
/*** 测试获取索引,并判断其是否存在** @throws IOException*/@Testpublic void testIndexIsExists) throws IOException {// import org.elasticsearch.client.indices.GetIndexRequest;GetIndexRequest request = new GetIndexRequestINDEX_NAME);boolean exists = restHighLevelClient.indices).existsrequest, RequestOptions.DEFAULT);System.out.printlnexists);// 索引是否存在restHighLevelClient.close);}
索引删除
/*** 测试索引删除** @throws IOException*/@Testpublic void testDeleteIndex) throws IOException {DeleteIndexRequest request = new DeleteIndexRequest"bulk");AcknowledgedResponse response = restHighLevelClient.indices).deleterequest, RequestOptions.DEFAULT);System.out.printlnresponse.isAcknowledged));// 是否删除成功restHighLevelClient.close);}
创建文档
/*** 测试添加文档先创建一个User实体类,添加fastjson依赖)** @throws IOException*/@Testpublic void testAddDocument) throws IOException {// 创建一个User对象User zqw = new User"zqw", 18);// 创建请求IndexRequest request = new IndexRequestINDEX_NAME);// 制定规则 PUT /zqw_index/_doc/1// 设置文档IDrequest.id"1");request.timeoutTimeValue.timeValueMillis1000));// request.timeout"1s")// 将我们的数据放入请求中request.sourceJSON.toJSONStringzqw), XContentType.JSON);// 客户端发送请求,获取响应的结果IndexResponse response = restHighLevelClient.indexrequest, RequestOptions.DEFAULT);System.out.printlnresponse.status));// 获取建立索引的状态信息 CREATED/*** 查看返回内容* IndexResponse[index=zqw_index,type=_doc,id=1,version=1,result=created,seqNo=0,primaryTerm=1,shards={"total":2,"successful":1,"failed":0}]*/System.out.printlnresponse);}
查看文档信息
/*** 测试获得文档信息** @throws IOException*/@Testpublic void testGetDocument) throws IOException {GetRequest request = new GetRequestINDEX_NAME, "1");GetResponse response = restHighLevelClient.getrequest, RequestOptions.DEFAULT);// {"age":18,"name":"zqw"}System.out.printlnresponse.getSourceAsString));// 打印文档内容System.out.printlnrequest);// 返回的全部内容和命令是一样的restHighLevelClient.close);}
判断文档是否存在
/*** 获取文档,判断是否存在 get /zqw_index/_doc/1** @throws IOException*/@Testpublic void testDocumentIsExists) throws IOException {GetRequest request = new GetRequestINDEX_NAME, "1");// 不获取返回的 _source的上下文了request.fetchSourceContextnew FetchSourceContextfalse));request.storedFields"_none_");boolean exists = restHighLevelClient.existsrequest, RequestOptions.DEFAULT);System.out.printlnexists);}
更新文档
/*** 测试更新文档内容** @throws IOException*/@Testpublic void testUpdateDocument) throws IOException {UpdateRequest request = new UpdateRequestINDEX_NAME, "1");User user = new User"dcm", 16);request.docJSON.toJSONStringuser), XContentType.JSON);UpdateResponse response = restHighLevelClient.updaterequest, RequestOptions.DEFAULT);System.out.printlnresponse.status)); // OKrestHighLevelClient.close);}
删除文档
/*** 测试删除文档** @throws IOException*/@Testpublic void testDeleteDocument) throws IOException {DeleteRequest request = new DeleteRequestINDEX_NAME, "1");request.timeout"1s");DeleteResponse response = restHighLevelClient.deleterequest, RequestOptions.DEFAULT);System.out.printlnresponse.status));// OK}
查询
/*** 查询* SearchRequest 搜索请求* SearchSourceBuilder 条件构造* HighlightBuilder 高亮* TermQueryBuilder 精确查询* MatchAllQueryBuilder* xxxQueryBuilder ...** @throws IOException*/@Testpublic void testSearch) throws IOException {// 1.创建查询请求对象SearchRequest searchRequest = new SearchRequest);// 2.构建搜索条件SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder);// 1)查询条件 使用QueryBuilders工具类创建// 精确查询TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery"name", "zqw");// 匹配查询// MatchAllQueryBuilder matchAllQueryBuilder = QueryBuilders.matchAllQuery);// 2)其他<可有可无>:(可以参考 SearchSourceBuilder 的字段部分)// 设置高亮searchSourceBuilder.highlighternew HighlightBuilder));// 分页searchSourceBuilder.from0);searchSourceBuilder.size10);searchSourceBuilder.timeoutnew TimeValue60, TimeUnit.SECONDS));// 3)条件投入searchSourceBuilder.querytermQueryBuilder);// 3.添加条件到请求searchRequest.sourcesearchSourceBuilder);// 4.客户端查询请求SearchResponse search = restHighLevelClient.searchsearchRequest, RequestOptions.DEFAULT);// 5.查看返回结果SearchHits hits = search.getHits);System.out.printlnJSON.toJSONStringhits));System.out.println"=======================");for SearchHit documentFields : hits.getHits)) {System.out.printlndocumentFields.getSourceAsMap));}}
8.3 批量插入
创建索引
/*** 上面的这些api无法批量增加数据(只会保留最后一个source)** @throws IOException*/@Testpublic void test) throws IOException {IndexRequest request = new IndexRequest"bulk");// 没有id会自动生成一个随机IDrequest.sourceJSON.toJSONStringnew User"zqw", 1)), XContentType.JSON);request.sourceJSON.toJSONStringnew User"dcj", 2)), XContentType.JSON);request.sourceJSON.toJSONStringnew User"lmm", 3)), XContentType.JSON);IndexResponse index = restHighLevelClient.indexrequest, RequestOptions.DEFAULT);System.out.printlnindex.status));// created}
插入数据
我们实际项目中,使用多线程将八千万条数据通过这种方式将数据插入到ES中
/*** 特殊的,真的项目一般会 批量插入数据** @throws IOException*/@Testpublic void testBulk) throws IOException {BulkRequest bulkRequest = new BulkRequest);bulkRequest.timeout"10s");List<User> users = new ArrayList<>);users.addnew User"zqw-1", 1));users.addnew User"zqw-2", 2));users.addnew User"zqw-3", 3));users.addnew User"zqw-4", 4));users.addnew User"zqw-5", 5));users.addnew User"zqw-6", 6));// 批量请求处理for int i = 0; i < users.size); i++) {bulkRequest.add// 这里是数据信息new IndexRequest"bulk").id"" + i + 1)) // 没有设置id 会自定生成一个随机id.sourceJSON.toJSONStringusers.geti)), XContentType.JSON));}BulkResponse bulk = restHighLevelClient.bulkbulkRequest, RequestOptions.DEFAULT);System.out.printlnbulk.status));// ok}
9、ES京东实战小DEMO
9.1 搭建环境
pom.xml
<dependencies><!-- jsoup解析页面 --><!-- 解析网页 爬视频可 研究tiko --><dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.10.2</version></dependency><!-- thymeleaf --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-thymeleaf</artifactId></dependency><dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId><version>1.2.70</version></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-elasticsearch</artifactId></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency></dependencies>
application.properties
# 更改端口,防止冲突
server.port=9999
# 关闭thymeleaf缓存
spring.thymeleaf.cache=false
EsApiApplication
@SpringBootApplication
public class EsApiApplication {public static void mainString[] args) {SpringApplication.runEsApiApplication.class, args);}}
ElasticSearchConfig
@Configuration
public class ElasticSearchConfig {/*** 注册 rest高级客户端** @return*/@Beanpublic RestHighLevelClient restHighLevelClient) {RestHighLevelClient client = new RestHighLevelClientRestClient.buildernew HttpHost"127.0.0.1", 9200, "http")));return client;}
}
目录结构
9.2 开发步骤
创建实体类
User
@Data
@NoArgsConstructor
@AllArgsConstructor
public class User implements Serializable {private static final long serialVersionUID = -3843548915035470817L;private String name;private Integer age;
}
Content
@Data
@AllArgsConstructor
@NoArgsConstructor
public class Content implements Serializable {private static final long serialVersionUID = -8049497962627482693L;private String name;private String img;private String price;
}
使用Jsoup爬取数据
可以通过WebMagic来进行扩展
package cn.itbuild.esapi.util;import cn.itbuild.esapi.entity.Content;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;import java.io.IOException;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;/*** JSOUP解析HTML**/
public class HtmlParseUtil {public static List<Content> parseJDString keyword) throws IOException {/// 使用前需要联网// 请求urlString url = "http://search.jd.com/search?keyword=" + keyword;// 1.解析网页jsoup 解析返回的对象是浏览器Document对象)Document document = Jsoup.parsenew URLurl), 30000);// 使用document可以使用在js对document的所有操作// 2.获取元素(通过id)Element j_goodsList = document.getElementById"J_goodsList");// 3.获取J_goodsList ul 每一个 liElements lis = j_goodsList.getElementsByTag"li");// 4.获取li下的 img、price、name// list存储所有li下的内容List<Content> contents = new ArrayList<Content>);for Element li : lis) {// 由于网站图片使用懒加载,将src属性替换为data-lazy-imgString img = li.getElementsByTag"img").eq0).attr"data-lazy-img");// 获取li下 第一张图片String name = li.getElementsByClass"p-name").eq0).text);String price = li.getElementsByClass"p-price").eq0).text);// 封装为对象Content content = new Contentname, img, price);// 添加到list中contents.addcontent);}System.out.printlncontents);// 5.返回 listreturn contents;}
}
编写业务
1、将爬取的数据存入到ES
@Service
public class ContentService {@Autowiredprivate RestHighLevelClient restHighLevelClient;/*** 1、解析数据放入 es 索引中** @param keyword* @return* @throws IOException*/public Boolean parseContentString keyword) throws IOException {// 获取内容List<Content> contents = HtmlParseUtil.parseJDkeyword);// 内容放入 es 中BulkRequest bulkRequest = new BulkRequest);bulkRequest.timeout"2m"); // 可更具实际业务是指for int i = 0; i < contents.size); i++) {bulkRequest.addnew IndexRequest"jd_goods")
// .id""+i+1)).sourceJSON.toJSONStringcontents.geti)), XContentType.JSON));}BulkResponse bulk = restHighLevelClient.bulkbulkRequest, RequestOptions.DEFAULT);restHighLevelClient.close);return !bulk.hasFailures);}
}
2、编写查询逻辑
/*** 2、根据keyword分页查询结果** @param keyword* @param pageIndex* @param pageSize* @return* @throws IOException*/public List<Map<String, Object>> searchString keyword, Integer pageIndex, Integer pageSize) throws IOException {if pageIndex < 0){pageIndex = 0;}SearchRequest jd_goods = new SearchRequest"jd_goods");// 创建搜索源建造者对象SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder);// 条件采用:精确查询 通过keyword查字段nameTermQueryBuilder termQueryBuilder = QueryBuilders.termQuery"name", keyword);searchSourceBuilder.querytermQueryBuilder);searchSourceBuilder.timeoutnew TimeValue60, TimeUnit.SECONDS));// 60s// 分页searchSourceBuilder.frompageIndex);searchSourceBuilder.sizepageSize);// 高亮// ....// 搜索源放入搜索请求中jd_goods.sourcesearchSourceBuilder);// 执行查询,返回结果SearchResponse searchResponse = restHighLevelClient.searchjd_goods, RequestOptions.DEFAULT);// 解析结果SearchHits hits = searchResponse.getHits);List<Map<String,Object>> results = new ArrayList<>);for SearchHit documentFields : hits.getHits)) {Map<String, Object> sourceAsMap = documentFields.getSourceAsMap);results.addsourceAsMap);}System.out.println"results = " + results);// 返回查询的结果return results;}
3、高亮查询
// 3、 在2的基础上进行高亮查询public List<Map<String, Object>> highlightSearchString keyword, Integer pageIndex, Integer pageSize) throws IOException {SearchRequest searchRequest = new SearchRequest"jd_goods");SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder);// 精确查询,添加查询条件TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery"name", keyword);searchSourceBuilder.timeoutnew TimeValue60, TimeUnit.SECONDS));searchSourceBuilder.querytermQueryBuilder);// 分页searchSourceBuilder.frompageIndex);searchSourceBuilder.sizepageSize);// 高亮 =========HighlightBuilder highlightBuilder = new HighlightBuilder);highlightBuilder.field"name");highlightBuilder.preTags"<span style='color:red'>");highlightBuilder.postTags"</span>");searchSourceBuilder.highlighterhighlightBuilder);// 执行查询searchRequest.sourcesearchSourceBuilder);SearchResponse searchResponse = restHighLevelClient.searchsearchRequest, RequestOptions.DEFAULT);// 解析结果 ==========SearchHits hits = searchResponse.getHits);List<Map<String, Object>> results = new ArrayList<>);for SearchHit documentFields : hits.getHits)) {// 使用新的字段值(高亮),覆盖旧的字段值Map<String, Object> sourceAsMap = documentFields.getSourceAsMap);// 高亮字段Map<String, HighlightField> highlightFields = documentFields.getHighlightFields);HighlightField name = highlightFields.get"name");// 替换if name != null){org.elasticsearch.common.text.Text[] fragments = name.fragments);StringBuilder new_name = new StringBuilder);for Text text : fragments) {new_name.appendtext);}sourceAsMap.put"name",new_name.toString));}results.addsourceAsMap);}return results;}
编写Controller代码
@Controller
public class IndexController {@Autowiredprivate ContentService contentService;@GetMapping{"/","/es"})public String jdIndex) {return "index";}@ResponseBody@GetMapping"/parse/{keyword}")public Boolean parse@PathVariable"keyword") String keyword) throws IOException {return contentService.parseContentkeyword);}@ResponseBody@GetMapping"/search/{keyword}/{pageIndex}/{pageSize}")public List<Map<String, Object>> highlightParse@PathVariable"keyword") String keyword,@PathVariable"pageIndex") Integer pageIndex,@PathVariable"pageSize") Integer pageSize) throws IOException {return contentService.highlightSearchkeyword,pageIndex,pageSize);}
}
准备前端内容
将下载好的vue.js和axios.js放在js目录下
index.html
<!DOCTYPE html>
<html xmlns:th="http://www.thymeleaf.org">
<head><meta charset="utf-8"/><title>狂神说Java-ES仿京东实战</title><link rel="stylesheet" th:href="@{/css/style.css}"/><script th:src="@{/js/jquery.min.js}"></script>
</head>
<body class="pg">
<div class="page"><div id="app" class=" mallist tmall- page-not-market "><!-- 头部搜索 --><div id="header" class=" header-list-app"><div class="headerLayout"><div class="headerCon "><!-- Logo--><h1 id="mallLogo"><img th:src="@{/images/jdlogo.png}" alt=""></h1><div class="header-extra"><!--搜索--><div id="mallSearch" class="mall-search"><form name="searchTop" class="mallSearch-form clearfix"><fieldset><legend>天猫搜索</legend><div class="mallSearch-input clearfix"><div class="s-combobox" id="s-combobox-685"><div class="s-combobox-input-wrap"><input v-model="keyword" type="text" autocomplete="off" id="mq"class="s-combobox-input" aria-haspopup="true"></div></div><button type="submit" @click.prevent="searchKey" id="searchbtn">搜索</button></div></fieldset></form><ul class="relKeyTop"><li><a>狂神说Java</a></li><li><a>狂神说前端</a></li><li><a>狂神说Linux</a></li><li><a>狂神说大数据</a></li><li><a>狂神聊理财</a></li></ul></div></div></div></div></div><!-- 商品详情页面 --><div id="content"><div class="main"><!-- 品牌分类 --><form class="navAttrsForm"><div class="attrs j_NavAttrs" style="display:block"><div class="brandAttr j_nav_brand"><div class="j_Brand attr"><div class="attrKey">品牌</div><div class="attrValues"><ul class="av-collapse row-2"><li><a href="#"> 狂神说 </a></li><li><a href="#"> Java </a></li></ul></div></div></div></div></form><!-- 排序规则 --><div class="filter clearfix"><a class="fSort fSort-cur">综合<i class="f-ico-arrow-d"></i></a><a class="fSort">人气<i class="f-ico-arrow-d"></i></a><a class="fSort">新品<i class="f-ico-arrow-d"></i></a><a class="fSort">销量<i class="f-ico-arrow-d"></i></a><a class="fSort">价格<i class="f-ico-triangle-mt"></i><i class="f-ico-triangle-mb"></i></a></div><!-- 商品详情 --><div class="view grid-nosku" ><div class="product" v-for="result in results"><div class="product-iWrap"><!--商品封面--><div class="productImg-wrap"><a class="productImg"><img :src="result.img"></a></div><!--价格--><p class="productPrice"><em v-text="result.price"></em></p><!--标题--><p class="productTitle"><a v-html="result.name"></a></p><!-- 店铺名 --><div class="productShop"><span>店铺: 狂神说Java </span></div><!-- 成交信息 --><p class="productStatus"><span>月成交<em>999笔</em></span><span>评价 <a>3</a></span></p></div></div></div></div></div></div>
</div>
<script th:src="@{/js/vue.min.js}"></script>
<script th:src="@{/js/axios.min.js}"></script>
<script>new Vue{el:"#app",data:{"keyword": '', // 搜索的关键字"results":[] // 后端返回的结果},methods:{searchKey){var keyword = this.keyword;console.logkeyword);axios.get'search/'+keyword+'/1/20').thenresponse=>{console.logresponse.data);this.results=response.data;})}}});
</script>
</body>
</html>
9.3 最终效果
10、工作中使用的场景
工作中有一些机构数据(大概八千万条数据),需要使用ES进行存储和查询。
使用流程:
- 部署ES7.xx
- 配置ESConfiguration配置类(读取配置文件的中ES的IP和Port,初始化RestHighLevelClient类)
- 新建EsUtil工具类,包括:创建索引、精准查询、模糊查询、批量插入、单条插入、封装成VO
- 基于业务需求,结合EsUtil工具类完成开发。
11、常见ES面试题
待续…