ES是什么?
ES全称ElasticSearch,是一个基于Lucene的搜索服务器。(其实就是对Lucene进行封装,提供了REST API的操作接口)
ElasticSearch作为一个高度可拓展的开源全文搜索和分析引擎,可用于快速的对大数据进行存储,搜索和分析。
ElasticSearch是基于Java开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎。
根据DB-Engines排名显示,ElasticSearch是最受欢迎的企业级搜索引擎。
ElasticSearch和Logstash(数据收集、日志解析引擎)、Kibana(分析和可视化平台)一起开发的。这三个产品被设计成一个集成解决方案,称为“Elastic Stack”以前被称为ELK技术栈)。
ElasticSearch官方文档
ElasticSearch的使用场景
- 云计算。能够达到实时搜索、稳定、可靠、快速、安装使用方便。
- 搜索各种文档。
ElasticSearch的主要特点:
- 分布式(无需人工搭建集群,solr就需要人为配置,使用Zookeeper作为注册中心)
- 高可用
- 异步写入
- 多API(一切API都遵循RESTful原则,容易上手近实时搜索,数据更新在ElasticSearch中几乎完全同步)
- 面向文档
ElasticSearch的核心概念
- 近实时
- 集群
- 节点(保存数据)
- 索引
- 分片(将索引分片)注意:一旦创建了索引就无法更改主分片的数量。
- 副本(分片可设置多个副本)
它可以快速的储存、搜索和分析海量数据
ElasticSearch的有关概念
- cluster:代表一个集群,集群中有多个节点,其中一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。ES的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看ES集群,在逻辑上是个整体,你与任何一个节点的通信和与整个ES集群通信是等价的。
- shards:代表索引分片,ES可以把一个完整的索引分成多个分片,这样的好处是可以把一个大索引拆分成多个,分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定,并且索引创建后不能更改。
- replicas:代表索引副本,ES可以设置多个索引的副本,副本的作用一是提高系统的容错性,当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高ES的查询效率,ES会自动对搜索请求进行负载均衡。
- recovery:代表数据恢复或叫数据重新分布,ES在有节点加入或退出时会根据机器的负载均衡对索引分片进行重新分配,挂掉的节点重新启动时也会进行数据恢复。
- river:代表ES的一个数据源,也是其他存储方式(如:数据库)同步数据到ES的一个方法。它是以插件方式存在的一个ES服务,通过读取river中的数据并把他索引到ES中,官方的river有couchDB的,RabbitMQ的,Twitter的,Wikipedia的。
- gateway:代表ES索引快照的存储方式,ES默认是先把索引存放到内存中,当内存满了时再持久化到本地硬盘。gateway对索引快照进行存储,当这个ES集群关闭再重新启动时就会从gateway中读取索引备份数据。ES支持多种类型的gateway,有本地文件系统(默认),分布式文件系统,Hadoop的HDFS和amazon的s3云存储服务。
- discovery.zen:代表ES的自动发现节点机制,ES是一个基于p2p的系统,它先通过广播寻找存在的节点,再通过多播协议来进行节点之间的通信,同时也支持点对点的交互。
- Transport:代表ES内部节点或集群与客户端的交互方式,默认内部是使用TCP协议进行交互,同时它支持http协议(json格式)、thrift、servlet、memcached、zeroMQ等传输协议(通过插件方式集成)。
ElasticSearch的使用案例
- 维基百科
- Stack Overflow
- Github
- …
参考文献
百度百科:elasticsearch
程序员大本营:Elasticsearch的简单入门:(一)ES简介与安装
博客园:虚无境的博客(遵循[ CC 4.0 BY-SA ]版权协议)