ElasticSearch概述和常用Rest API使用

Elastic Stack概述

如果你没有听说过Elastic Stack,那你一定听说过ELK,实际上ELK是三款软件的简称,分别是Elasticsearch、 Logstash、Kibana组成,在发展的过程中,又有新成员Beats的加入,所以就形成了Elastic Stack。所以说,ELK是旧的称呼,Elastic Stack是新的名字。

ElasticSearch概述和常用Rest API使用

全系的Elastic Stack技术栈包括:

ElasticSearch概述和常用Rest API使用
  • Elasticsearch
    Elasticsearch 基于java,是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。
  • Logstash
    Logstash 基于java,是一个开源的用于收集,分析和存储日志的工具。
  • Kibana
    Kibana 基于nodejs,也是一个开源和免费的工具,Kibana可以为 Logstash 和ElasticSearch 提供的日志分析友好的Web 界面,可以汇总、分析和搜索重要数据日志。
  • Beats
    Beats是elastic公司开源的一款采集系统监控数据的代理agent,是在被监控服务器上以客户端形式运行的数据收集器的统称,可以直接把数据发送给Elasticsearch或者通过Logstash发送给Elasticsearch,然后进行后续的数据分析活动。

Beats由如下组成:
+ Packetbeat:是一个网络数据包分析器,用于监控、收集网络流量信息,Packetbeat嗅探服务器之间的流量,解析应用层协议,并关联到消息的处理,其支 持ICMP (v4 and v6)、DNS、HTTP、Mysql、PostgreSQL、Redis、MongoDB、Memcache等协议。
+ Filebeat:用于监控、收集服务器日志文件,其已取代 logstash forwarder。
+ Metricbeat:可定期获取外部系统的监控指标信息,其可以监控、收集 Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、Redis、System、Zookeeper等服务。
+ Winlogbeat:用于监控、收集Windows系统的日志信息。

ElasticSearch概述

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java语言开发的,并作为Apache许可条款下的开放源码发布,是一种流行的企业级搜索引擎。ElasticSearch用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。官方客户端在Java、.NET(C#)、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。

安装

Elasticsearch的发展是非常快速的,所以在ES5.0之前,ELK的各个版本都不统一,出现了版本号混乱的状态,所以从5.0开始,所有Elastic Stack中的项目全部统一版本号。

下载地址: https://www.elastic.co/cn/downloads/elasticsearch

因为启动Elasticsearch5.0版本及以上需要使用非root用户,需要新建一个用户来启动Elasticsearch

useradd elk
mkdir -pv /opt/elk/{data,logs}
chown -R elk:elk /opt/elk/

将下载后的压缩包解压

mv elasticsearch-7.6.1-linux-x86_64.tar.gz /opt/
tar -xvf elasticsearch-7.6.1-linux-x86_64.tar.gz
mv elasticsearch-7.6.1 elasticsearch
chown -R elk:elk /opt/elasticsearch/

修改安装目录下的/conf/elasticsearch.yml

network.host: 0.0.0.0

path.data: /opt/elk/data

path.logs: /opt/elk/logs

discovery.seed_hosts: ["127.0.0.1","[::1]"]
cluster.initial_master_nodes: ["node-1"]

在Elasticsearch中如果,network.host不是localhost或者127.0.0.1的话,就会认为是生产环境,会对环境的要求比较高,我们的测试环境不一定能够满足,一般情况下需要修改几处配置:

修改jvm.options

# -Xms1g 
# -Xmx1g
-Xms128m
-Xmx128m

修改/etc/sysctl.conf,添加一行,目的是确保系统有足够的资源启动Elasticsearch:

vm.max_map_count=655360

执行以下命令确保配置生效:

sysctl -p

修改/etc/security/limits.conf,在文件末尾添加下面内容:

* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072

修改/etc/security/limits.d/20-nproc.conf,在文件末尾添加下面内容:

elk soft nproc 65536

使用elk用户身份启动elastic search

su elk
cd ../bin
./elasticsearch 或 ./elasticsearch -d #后台启动

运行成功后,访问9200端口即可看到一段json输出

elasticsearch head使用

elasticsearch head是第三方开发的ElasticSearch界面管理工具,可以通过chrome插件安装: https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmecolpfloofpjologoblkegm/

ElasticSearch概述和常用Rest API使用

Elasticsearch基本概念

索引

  • 索引(index)是Elasticsearch对逻辑数据的逻辑存储,所以它可以分为更小的部分。
  • 可以把索引看成关系型数据库的表,索引的结构是为快速有效的全文索引准备的,特别是它不存储原始值。
  • Elasticsearch可以把索引存放在一台机器或者分散在多台服务器上,每个索引有一或多个分片(shard),每个分片可以有多个副本(replica)。

文档

就是lucene的底层存储吧。

  • 存储在Elasticsearch中的主要实体叫文档(document)。用关系型数据库来类比的话,一个文档相当于数据库表中的一行记录。
  • Elasticsearch和MongoDB中的文档类似,都可以有不同的结构,但Elasticsearch的文档中,相同字段必须有相同类型。
  • 文档由多个字段组成,每个字段可能多次出现在一个文档里,这样的字段叫多值字段(multivalued)。
  • 每个字段的类型,可以是文本、数值、日期等。字段类型也可以是复杂类型,一个字段包含其他子文档或者数组。

映射

  • 所有文档写进索引之前都会先进行分析,如何将输入的文本分割为词条、哪些词条又会被过滤,这种行为叫做映射(mapping)。一般由用户自己定义规则。

文档类型

  • 在Elasticsearch中,一个索引对象可以存储很多不同用途的对象。例如,一个博客应用程序可以保存文章和评论。
  • 每个文档可以有不同的结构。
  • 不同的文档类型不能为相同的属性设置不同的类型。例如,在同一索引中的所有文档类型中,一个叫title的字段必须具有相同的类型。

RESTful API使用

在Elasticsearch中,提供了功能丰富的RESTful API的操作,包括基本的CRUD、创建索引、删除索引等操作。

创建索引库

创建空索引库:

PUT /haoke

{
    "settings": {
        "index": {
            "number_of_shards": "2", #分片数
            "number_of_replicas": "0" #副本数
        }
    }
}

#删除索引
DELETE /haoke

{
    "acknowledged": true
}

插入文档

在Lucene中,创建索引是需要定义字段名称以及字段的类型的,在Elasticsearch中提供了非结构化的索引,就是不需要创建索引结构,即可写入数据到索引中,实际上在Elasticsearch底层会进行结构化操作,此操作对用户是透明的。

POST /{索引库}/{类型}/{id}

这里的id是手动指定文档的id,如果不写会分配一个随机的文档id。

POST /haoke/user/1001
#数据
{
    "id":1001,
    "name":"张三",
    "age":20,
    "sex":"男"
}

#响应
{
    "_index": "haoke",
    "_type": "user",
    "_id": "1",
    "_version": 1,
    "result": "created",
    "_shards": {
        "total": 1,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 0,
    "_primary_term": 1
}

更新数据

也就是lucene的先删除再创建

PUT /haoke/user/1001

{
    "id":1001,
    "name":"张三",
    "age":21,
    "sex":"女"
}

可以通过在url后面附上/_update来局部更新

#注意:这里多了_update标识
POST /haoke/user/1001/_update
{
    "doc":{
        "age":23
    }
}

响应的_version会加一。

删除文档

在Elasticsearch中,删除文档数据,只需要发起DELETE请求即可。

DELETE /haoke/user/1001

删除一个文档也不会立即从磁盘上移除,它只是被标记成已删除。Elasticsearch将会在你之后添加更多索引的时候才会在后台进行删除内容的清理。

响应的_version会加一。

普通搜索

根据文档id查询

GET /_index/_type/{id}

GET /haoke/user/BbPe_WcB9cFOnF3uebvr

#返回的数据如下
{
    "_index": "haoke",
    "_type": "user",
    "_id": "BbPe_WcB9cFOnF3uebvr",
    "_version": 8,
    "found": true,
    "_source": {  #原始数据在这里
        "id": 1002,
        "name": "李四",
        "age": 40,
        "sex": "男"
    }
}

获取全部数据

默认返回10条数据

GET /haoke/user/_search

关键词搜索

#查询年龄等于20的用户
GET /haoke/user/_search?q=age:20

高级搜索DSL

Elasticsearch提供丰富且灵活的查询语言叫做DSL查询(Query DSL),它允许你构建更加复杂、强大的查询。

DSL(Domain Specific Language特定领域语言)以JSON请求体的形式出现。

标准查询

POST /haoke/user/_search

#请求体
{
    "query" : {
        "match" : {  #match只是查询的一种
            "age" : 20
        }
    }
}

范围查询

POST /haoke/user/_search

#请求数据
{
    "query": {
        "bool": {
            "must": {
                "range": {
                    "age": {
                        "gt": 30
                    }
                }
            },
            "must": {
                "match": {
                    "sex": "男"
                }
            }
        }
    }
}

bool又是一个组合查询,对应lucene里面的BooleanQuery

精确匹配

使用term或terms

高亮显示

field指定要匹配的域,可以填写要高亮的词。

POST /haoke/user/_search
{
    "query": {
        "match": {
            "name": "张三 李四"
        }
    },
    "highlight": {
        "fields": {
            "name": {}
        }
    }
}

聚合

在Elasticsearch中,支持聚合操作,类似SQL中的group by操作。

POST /haoke/user/_search
{
    "aggs": {
        "all_interests": {
            "terms": {
                "field": "age"
            }
        }
    }
}

这表示使用"age"域进行聚合。

原创文章,作者:彭晨涛,如若转载,请注明出处:https://www.codetool.top/article/elasticsearch%e6%a6%82%e8%bf%b0%e5%92%8c%e5%b8%b8%e7%94%a8rest-api%e4%bd%bf%e7%94%a8/