Elastic Stack概述
如果你没有听说过Elastic Stack,那你一定听说过ELK,实际上ELK是三款软件的简称,分别是Elasticsearch、 Logstash、Kibana组成,在发展的过程中,又有新成员Beats的加入,所以就形成了Elastic Stack。所以说,ELK是旧的称呼,Elastic Stack是新的名字。

全系的Elastic Stack技术栈包括:

- Elasticsearch
Elasticsearch 基于java,是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。 - Logstash
Logstash 基于java,是一个开源的用于收集,分析和存储日志的工具。 - Kibana
Kibana 基于nodejs,也是一个开源和免费的工具,Kibana可以为 Logstash 和ElasticSearch 提供的日志分析友好的Web 界面,可以汇总、分析和搜索重要数据日志。 - Beats
Beats是elastic公司开源的一款采集系统监控数据的代理agent,是在被监控服务器上以客户端形式运行的数据收集器的统称,可以直接把数据发送给Elasticsearch或者通过Logstash发送给Elasticsearch,然后进行后续的数据分析活动。
Beats由如下组成:
+ Packetbeat:是一个网络数据包分析器,用于监控、收集网络流量信息,Packetbeat嗅探服务器之间的流量,解析应用层协议,并关联到消息的处理,其支 持ICMP (v4 and v6)、DNS、HTTP、Mysql、PostgreSQL、Redis、MongoDB、Memcache等协议。
+ Filebeat:用于监控、收集服务器日志文件,其已取代 logstash forwarder。
+ Metricbeat:可定期获取外部系统的监控指标信息,其可以监控、收集 Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、Redis、System、Zookeeper等服务。
+ Winlogbeat:用于监控、收集Windows系统的日志信息。
ElasticSearch概述
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎。ElasticSearch用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。官方客户端在Java、.NET(C#)、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。
安装
Elasticsearch的发展是非常快速的,所以在ES5.0之前,ELK的各个版本都不统一,出现了版本号混乱的状态,所以从5.0开始,所有Elastic Stack中的项目全部统一版本号。
下载地址: https://www.elastic.co/cn/downloads/elasticsearch
因为启动Elasticsearch5.0版本及以上需要使用非root用户,需要新建一个用户来启动Elasticsearch
useradd elk
mkdir -pv /opt/elk/{data,logs}
chown -R elk:elk /opt/elk/
将下载后的压缩包解压
mv elasticsearch-7.6.1-linux-x86_64.tar.gz /opt/
tar -xvf elasticsearch-7.6.1-linux-x86_64.tar.gz
mv elasticsearch-7.6.1 elasticsearch
chown -R elk:elk /opt/elasticsearch/
修改安装目录下的/conf/elasticsearch.yml
network.host: 0.0.0.0
path.data: /opt/elk/data
path.logs: /opt/elk/logs
discovery.seed_hosts: ["127.0.0.1","[::1]"]
cluster.initial_master_nodes: ["node-1"]
在Elasticsearch中如果,network.host不是localhost或者127.0.0.1的话,就会认为是生产环境,会对环境的要求比较高,我们的测试环境不一定能够满足,一般情况下需要修改几处配置:
修改jvm.options
# -Xms1g
# -Xmx1g
-Xms128m
-Xmx128m
修改/etc/sysctl.conf
,添加一行,目的是确保系统有足够的资源启动Elasticsearch:
vm.max_map_count=655360
执行以下命令确保配置生效:
sysctl -p
修改/etc/security/limits.conf
,在文件末尾添加下面内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072
修改/etc/security/limits.d/20-nproc.conf
,在文件末尾添加下面内容:
elk soft nproc 65536
使用elk用户身份启动elastic search
su elk
cd ../bin
./elasticsearch 或 ./elasticsearch -d #后台启动
运行成功后,访问9200端口即可看到一段json输出
elasticsearch head使用
elasticsearch head是第三方开发的ElasticSearch界面管理工具,可以通过chrome插件安装: https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmecolpfloofpjologoblkegm/

Elasticsearch基本概念
索引
- 索引(index)是Elasticsearch对逻辑数据的逻辑存储,所以它可以分为更小的部分。
- 可以把索引看成关系型数据库的表,索引的结构是为快速有效的全文索引准备的,特别是它不存储原始值。
- Elasticsearch可以把索引存放在一台机器或者分散在多台服务器上,每个索引有一或多个分片(shard),每个分片可以有多个副本(replica)。
文档
就是lucene的底层存储吧。
- 存储在Elasticsearch中的主要实体叫文档(document)。用关系型数据库来类比的话,一个文档相当于数据库表中的一行记录。
- Elasticsearch和MongoDB中的文档类似,都可以有不同的结构,但Elasticsearch的文档中,相同字段必须有相同类型。
- 文档由多个字段组成,每个字段可能多次出现在一个文档里,这样的字段叫多值字段(multivalued)。
- 每个字段的类型,可以是文本、数值、日期等。字段类型也可以是复杂类型,一个字段包含其他子文档或者数组。
映射
- 所有文档写进索引之前都会先进行分析,如何将输入的文本分割为词条、哪些词条又会被过滤,这种行为叫做映射(mapping)。一般由用户自己定义规则。
文档类型
- 在Elasticsearch中,一个索引对象可以存储很多不同用途的对象。例如,一个博客应用程序可以保存文章和评论。
- 每个文档可以有不同的结构。
- 不同的文档类型不能为相同的属性设置不同的类型。例如,在同一索引中的所有文档类型中,一个叫title的字段必须具有相同的类型。
RESTful API使用
在Elasticsearch中,提供了功能丰富的RESTful API的操作,包括基本的CRUD、创建索引、删除索引等操作。
创建索引库
创建空索引库:
PUT /haoke
{
"settings": {
"index": {
"number_of_shards": "2", #分片数
"number_of_replicas": "0" #副本数
}
}
}
#删除索引
DELETE /haoke
{
"acknowledged": true
}
插入文档
在Lucene中,创建索引是需要定义字段名称以及字段的类型的,在Elasticsearch中提供了非结构化的索引,就是不需要创建索引结构,即可写入数据到索引中,实际上在Elasticsearch底层会进行结构化操作,此操作对用户是透明的。
POST /{索引库}/{类型}/{id}
这里的id是手动指定文档的id,如果不写会分配一个随机的文档id。
POST /haoke/user/1001
#数据
{
"id":1001,
"name":"张三",
"age":20,
"sex":"男"
}
#响应
{
"_index": "haoke",
"_type": "user",
"_id": "1",
"_version": 1,
"result": "created",
"_shards": {
"total": 1,
"successful": 1,
"failed": 0
},
"_seq_no": 0,
"_primary_term": 1
}
更新数据
也就是lucene的先删除再创建
PUT /haoke/user/1001
{
"id":1001,
"name":"张三",
"age":21,
"sex":"女"
}
可以通过在url后面附上/_update来局部更新
#注意:这里多了_update标识
POST /haoke/user/1001/_update
{
"doc":{
"age":23
}
}
响应的_version
会加一。
删除文档
在Elasticsearch中,删除文档数据,只需要发起DELETE请求即可。
DELETE /haoke/user/1001
删除一个文档也不会立即从磁盘上移除,它只是被标记成已删除。Elasticsearch将会在你之后添加更多索引的时候才会在后台进行删除内容的清理。
响应的_version
会加一。
普通搜索
根据文档id查询
GET /_index/_type/{id}
GET /haoke/user/BbPe_WcB9cFOnF3uebvr
#返回的数据如下
{
"_index": "haoke",
"_type": "user",
"_id": "BbPe_WcB9cFOnF3uebvr",
"_version": 8,
"found": true,
"_source": { #原始数据在这里
"id": 1002,
"name": "李四",
"age": 40,
"sex": "男"
}
}
获取全部数据
默认返回10条数据
GET /haoke/user/_search
关键词搜索
#查询年龄等于20的用户
GET /haoke/user/_search?q=age:20
高级搜索DSL
Elasticsearch提供丰富且灵活的查询语言叫做DSL查询(Query DSL),它允许你构建更加复杂、强大的查询。
DSL(Domain Specific Language特定领域语言)以JSON请求体的形式出现。
标准查询
POST /haoke/user/_search
#请求体
{
"query" : {
"match" : { #match只是查询的一种
"age" : 20
}
}
}
范围查询
POST /haoke/user/_search
#请求数据
{
"query": {
"bool": {
"must": {
"range": {
"age": {
"gt": 30
}
}
},
"must": {
"match": {
"sex": "男"
}
}
}
}
}
bool
又是一个组合查询,对应lucene里面的BooleanQuery
精确匹配
使用term或terms
高亮显示
field指定要匹配的域,可以填写要高亮的词。
POST /haoke/user/_search
{
"query": {
"match": {
"name": "张三 李四"
}
},
"highlight": {
"fields": {
"name": {}
}
}
}
聚合
在Elasticsearch中,支持聚合操作,类似SQL中的group by操作。
POST /haoke/user/_search
{
"aggs": {
"all_interests": {
"terms": {
"field": "age"
}
}
}
}
这表示使用"age"域进行聚合。
原创文章,作者:彭晨涛,如若转载,请注明出处:https://www.codetool.top/article/elasticsearch%e6%a6%82%e8%bf%b0%e5%92%8c%e5%b8%b8%e7%94%a8rest-api%e4%bd%bf%e7%94%a8/