1. 代码段小站首页
  2. 编程
  3. 中间件/工具/框架

ElasticSearch概述和常用Rest API使用

彭晨涛 • • 中间件/工具/框架 • 阅读 20

Elastic Stack概述

如果你没有听说过Elastic Stack，那你一定听说过ELK，实际上ELK是三款软件的简称，分别是Elasticsearch、 Logstash、Kibana组成，在发展的过程中，又有新成员Beats的加入，所以就形成了Elastic Stack。所以说，ELK是旧的称呼，Elastic Stack是新的名字。

ElasticSearch概述和常用Rest API使用

全系的Elastic Stack技术栈包括：

ElasticSearch概述和常用Rest API使用
  • Elasticsearch
    Elasticsearch 基于java，是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
  • Logstash
    Logstash 基于java，是一个开源的用于收集,分析和存储日志的工具。
  • Kibana
    Kibana 基于nodejs，也是一个开源和免费的工具，Kibana可以为 Logstash 和ElasticSearch 提供的日志分析友好的Web 界面，可以汇总、分析和搜索重要数据日志。
  • Beats
    Beats是elastic公司开源的一款采集系统监控数据的代理agent，是在被监控服务器上以客户端形式运行的数据收集器的统称，可以直接把数据发送给Elasticsearch或者通过Logstash发送给Elasticsearch，然后进行后续的数据分析活动。

Beats由如下组成:
+ Packetbeat：是一个网络数据包分析器，用于监控、收集网络流量信息，Packetbeat嗅探服务器之间的流量，解析应用层协议，并关联到消息的处理，其支 持ICMP (v4 and v6)、DNS、HTTP、Mysql、PostgreSQL、Redis、MongoDB、Memcache等协议。
+ Filebeat：用于监控、收集服务器日志文件，其已取代 logstash forwarder。
+ Metricbeat：可定期获取外部系统的监控指标信息，其可以监控、收集 Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、Redis、System、Zookeeper等服务。
+ Winlogbeat：用于监控、收集Windows系统的日志信息。

ElasticSearch概述

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。ElasticSearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。

安装

Elasticsearch的发展是非常快速的，所以在ES5.0之前，ELK的各个版本都不统一，出现了版本号混乱的状态，所以从5.0开始，所有Elastic Stack中的项目全部统一版本号。

下载地址： https://www.elastic.co/cn/downloads/elasticsearch

因为启动Elasticsearch5.0版本及以上需要使用非root用户，需要新建一个用户来启动Elasticsearch

useradd elk
mkdir -pv /opt/elk/{data,logs}
chown -R elk:elk /opt/elk/

将下载后的压缩包解压

mv elasticsearch-7.6.1-linux-x86_64.tar.gz /opt/
tar -xvf elasticsearch-7.6.1-linux-x86_64.tar.gz
mv elasticsearch-7.6.1 elasticsearch
chown -R elk:elk /opt/elasticsearch/

修改安装目录下的/conf/elasticsearch.yml

network.host: 0.0.0.0

path.data: /opt/elk/data

path.logs: /opt/elk/logs

discovery.seed_hosts: ["127.0.0.1","[::1]"]
cluster.initial_master_nodes: ["node-1"]

在Elasticsearch中如果，network.host不是localhost或者127.0.0.1的话，就会认为是生产环境，会对环境的要求比较高，我们的测试环境不一定能够满足，一般情况下需要修改几处配置：

修改jvm.options

# -Xms1g 
# -Xmx1g
-Xms128m
-Xmx128m

修改/etc/sysctl.conf，添加一行，目的是确保系统有足够的资源启动Elasticsearch：

vm.max_map_count=655360

执行以下命令确保配置生效：

sysctl -p

修改/etc/security/limits.conf，在文件末尾添加下面内容：

* soft nofile 65536
* hard nofile 131072
* soft nproc 65536
* hard nproc 131072

修改/etc/security/limits.d/20-nproc.conf，在文件末尾添加下面内容：

elk soft nproc 65536

使用elk用户身份启动elastic search

su elk
cd ../bin
./elasticsearch 或 ./elasticsearch -d #后台启动

运行成功后，访问9200端口即可看到一段json输出

elasticsearch head使用

elasticsearch head是第三方开发的ElasticSearch界面管理工具，可以通过chrome插件安装： https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmecolpfloofpjologoblkegm/

ElasticSearch概述和常用Rest API使用

Elasticsearch基本概念

索引

  • 索引（index）是Elasticsearch对逻辑数据的逻辑存储，所以它可以分为更小的部分。
  • 可以把索引看成关系型数据库的表，索引的结构是为快速有效的全文索引准备的，特别是它不存储原始值。
  • Elasticsearch可以把索引存放在一台机器或者分散在多台服务器上，每个索引有一或多个分片（shard），每个分片可以有多个副本（replica）。

文档

就是lucene的底层存储吧。

  • 存储在Elasticsearch中的主要实体叫文档（document）。用关系型数据库来类比的话，一个文档相当于数据库表中的一行记录。
  • Elasticsearch和MongoDB中的文档类似，都可以有不同的结构，但Elasticsearch的文档中，相同字段必须有相同类型。
  • 文档由多个字段组成，每个字段可能多次出现在一个文档里，这样的字段叫多值字段（multivalued）。
  • 每个字段的类型，可以是文本、数值、日期等。字段类型也可以是复杂类型，一个字段包含其他子文档或者数组。

映射

  • 所有文档写进索引之前都会先进行分析，如何将输入的文本分割为词条、哪些词条又会被过滤，这种行为叫做映射（mapping）。一般由用户自己定义规则。

文档类型

  • 在Elasticsearch中，一个索引对象可以存储很多不同用途的对象。例如，一个博客应用程序可以保存文章和评论。
  • 每个文档可以有不同的结构。
  • 不同的文档类型不能为相同的属性设置不同的类型。例如，在同一索引中的所有文档类型中，一个叫title的字段必须具有相同的类型。

RESTful API使用

在Elasticsearch中，提供了功能丰富的RESTful API的操作，包括基本的CRUD、创建索引、删除索引等操作。

创建索引库

创建空索引库：

PUT /haoke

{
    "settings": {
        "index": {
            "number_of_shards": "2", #分片数
            "number_of_replicas": "0" #副本数
        }
    }
}

#删除索引
DELETE /haoke

{
    "acknowledged": true
}

插入文档

在Lucene中，创建索引是需要定义字段名称以及字段的类型的，在Elasticsearch中提供了非结构化的索引，就是不需要创建索引结构，即可写入数据到索引中，实际上在Elasticsearch底层会进行结构化操作，此操作对用户是透明的。

POST /{索引库}/{类型}/{id}

这里的id是手动指定文档的id，如果不写会分配一个随机的文档id。

POST /haoke/user/1001
#数据
{
    "id":1001,
    "name":"张三",
    "age":20,
    "sex":"男"
}

#响应
{
    "_index": "haoke",
    "_type": "user",
    "_id": "1",
    "_version": 1,
    "result": "created",
    "_shards": {
        "total": 1,
        "successful": 1,
        "failed": 0
    },
    "_seq_no": 0,
    "_primary_term": 1
}

更新数据

也就是lucene的先删除再创建

PUT /haoke/user/1001

{
    "id":1001,
    "name":"张三",
    "age":21,
    "sex":"女"
}

可以通过在url后面附上/_update来局部更新

#注意：这里多了_update标识
POST /haoke/user/1001/_update
{
    "doc":{
        "age":23
    }
}

响应的_version会加一。

删除文档

在Elasticsearch中，删除文档数据，只需要发起DELETE请求即可。

DELETE /haoke/user/1001

删除一个文档也不会立即从磁盘上移除，它只是被标记成已删除。Elasticsearch将会在你之后添加更多索引的时候才会在后台进行删除内容的清理。

响应的_version会加一。

普通搜索

根据文档id查询

GET /_index/_type/{id}

GET /haoke/user/BbPe_WcB9cFOnF3uebvr

#返回的数据如下
{
    "_index": "haoke",
    "_type": "user",
    "_id": "BbPe_WcB9cFOnF3uebvr",
    "_version": 8,
    "found": true,
    "_source": {  #原始数据在这里
        "id": 1002,
        "name": "李四",
        "age": 40,
        "sex": "男"
    }
}

获取全部数据

默认返回10条数据

GET /haoke/user/_search

关键词搜索

#查询年龄等于20的用户
GET /haoke/user/_search?q=age:20

高级搜索DSL

Elasticsearch提供丰富且灵活的查询语言叫做DSL查询(Query DSL),它允许你构建更加复杂、强大的查询。

DSL(Domain Specific Language特定领域语言)以JSON请求体的形式出现。

标准查询

POST /haoke/user/_search

#请求体
{
    "query" : {
        "match" : {  #match只是查询的一种
            "age" : 20
        }
    }
}

范围查询

POST /haoke/user/_search

#请求数据
{
    "query": {
        "bool": {
            "must": {
                "range": {
                    "age": {
                        "gt": 30
                    }
                }
            },
            "must": {
                "match": {
                    "sex": "男"
                }
            }
        }
    }
}

bool又是一个组合查询，对应lucene里面的BooleanQuery

精确匹配

使用term或terms

高亮显示

field指定要匹配的域，可以填写要高亮的词。

POST /haoke/user/_search
{
    "query": {
        "match": {
            "name": "张三 李四"
        }
    },
    "highlight": {
        "fields": {
            "name": {}
        }
    }
}

聚合

在Elasticsearch中，支持聚合操作，类似SQL中的group by操作。

POST /haoke/user/_search
{
    "aggs": {
        "all_interests": {
            "terms": {
                "field": "age"
            }
        }
    }
}

这表示使用"age"域进行聚合。

原创文章，作者：彭晨涛，如若转载，请注明出处：https://www.codetool.top/article/elasticsearch%e6%a6%82%e8%bf%b0%e5%92%8c%e5%b8%b8%e7%94%a8rest-api%e4%bd%bf%e7%94%a8/

赞 (0)
彭晨涛彭晨涛管理者
0 0
上一篇 2020年3月28日 18:48
下一篇 2020年3月29日 00:13

发表回复

登录后才能评论