开源可观测性平台Signoz（三）【服务器主机监控篇】

转载说明：如果您喜欢这篇文章并打算转载它，请私信作者取得授权。感谢您喜爱本文，请文明转载，谢谢。

前文链接：
开源可观测性平台Signoz系列（一）【开篇】
开源可观测性平台Signoz（二）【日志采集篇】

在前文中，分享了signoz的安装、基础配置、日志采集，本文则分享signoz中如何添加主机监控。

1. 主机监控接入

对主机的监控，也同docker日志收集一样，signoz所在主机会默认收集自身的主机监控指标，非signoz主机需要接入主机监控指标，就需要通过otel-collector客户端收集和上传指标。

1.1 修改配置文件

1）在开源可观测性平台Signoz（二）【日志采集篇】收集日志的配置文件otel-collector-config.yaml的基础上，再增加主机采集配置即可。
如下注释，增加三段内容：

[root@test102 otel]# cat otel-collector-config.yaml 
receivers:
  filelog/containers:
    include: [  "/var/lib/docker/containers/*/*.log" ]
    start_at: end
    include_file_path: true
    include_file_name: false
    operators:
    - type: json_parser
      id: parser-docker
      output: extract_metadata_from_filepath
      timestamp:
        parse_from: attributes.time
        layout: '%Y-%m-%dT%H:%M:%S.%LZ'
    - type: regex_parser
      id: extract_metadata_from_filepath
      regex: '^.*containers/(?P<container_id>[^_]+)/.*log$'
      parse_from: attributes["log.file.path"]
      output: parse_body
    - type: move
      id: parse_body
      from: attributes.log
      to: body
      output: add_source
    - type: add
      id: add_source
      field: resource["source"]
      value: "docker"
    - type: remove
      id: time
      field: attributes.time
  filelog:
    include: [ "/var/log/nginx/*.log" ]  #本机nginx日志路径
    start_at: beginning
    operators:
      - type: json_parser
        timestamp:
          parse_from: attributes.time
          layout: '%Y-%m-%d,%H:%M:%S %z'
      - type: move
        from: attributes.message
        to: body
      - type: remove
        field: attributes.time
#####新增内容-1开始#####
   hostmetrics:
    collection_interval: 30s
    scrapers:
      cpu: {}
      load: {}
      memory: {}
      disk: {}
      filesystem: {}
      network: {}
#####新增内容-1结束#####
processors:
  batch:
    send_batch_size: 10000
    send_batch_max_size: 11000
    timeout: 10s
#####新增内容-2开始######
  resourcedetection:
    # Using OTEL_RESOURCE_ATTRIBUTES envvar, env detector adds custom labels.
    detectors: [env, system] # include ec2 for AWS, gce for GCP and azure for Azure.
    timeout: 2s
#####新增内容-2结束######
exporters:
  otlp/log:
    endpoint: http://10.0.0.101:4317  #如果部署signoz未修改端口映射，则默认是4317 
    tls:
      insecure: true
service:
  pipelines:
    logs:
      receivers: [filelog/containers,filelog]
      processors: [batch]
      exporters: [ otlp/log ]
#####新增加内容-3开始######
    metrics:        #加载前面每一个相关模块的配置
      receivers: [hostmetrics]
      processors: [batch,resourcedetection]
      exporters: [otlp/log]   #因为exporters信息简单，所以这里复用了[otlp/log]，如有个性化设置，可再增加一个[otlp/xx]模块。名称不可重复
#####新增加内容-3结束######
[root@test102 otel]#

如果不要日志采集，只需要加个host监控，则可以这样简单配置：


[root@test102 otel]# cat otel-collector-config.yaml
receivers:
  hostmetrics:
    collection_interval: 30s
    scrapers:
      cpu: {}
      load: {}
      memory: {}
      disk: {}
      filesystem: {}
      network: {}
processors:
  batch:
    send_batch_size: 10000
    send_batch_max_size: 11000
    timeout: 10s
  resourcedetection:
    # Using OTEL_RESOURCE_ATTRIBUTES envvar, env detector adds custom labels.
    detectors: [env, system] # include ec2 for AWS, gce for GCP and azure for Azure.
    timeout: 2s
exporters:
  otlp/host: #如果与日志收集配置文件合并，这里可以共用
    endpoint: http://10.0.0.101:4317  #如果部署signoz未修改端口映射，则默认是4317 
    tls:
      insecure: true
service:
  pipelines:
    metrics:        #加载前面每一个相关模块的配置
      receivers: [hostmetrics]
      processors: [batch,resourcedetection]
      exporters: [otlp/host]   
[root@test102 otel]#

2）检查docker-compose.yaml文件，确保有如下内容：

[root@test102 otel]# cat docker-compose.yaml 
version: "3"
services:
  otel-collector:
    image: signoz/signoz-otel-collector:0.66.5
    command: ["--config=/etc/otel-collector-config.yaml"]
    user: root # required for reading docker container logs
    container_name: signoz-host-otel-collector
    volumes:
      - ./otel-collector-config.yaml:/etc/otel-collector-config.yaml
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
      - /var/log/nginx:/var/log/nginx:ro
 ##这块env主要用在主机监控时用
    environment:  
      - OTEL_RESOURCE_ATTRIBUTES=host.name=test102,os.type=linux  #${hostname}改为本机hostname
      - DOCKER_MULTI_NODE_CLUSTER=false
      - LOW_CARDINAL_EXCEPTION_GROUPING=false
    restart: on-failure
[root@test102 otel]#

1.2 修重启目标主机otel-collector

重启：

[root@test102 otel]# docker-compose -f docker-compose.yaml  restart otel-collector
Restarting signoz-host-otel-collector ... done
[root@test102 otel]#

1.3 创建或导入dashboard看板

Dashboard—New Dashboard：

如图，dashboard有三种创建方式：

Create Dashboard：手动创建一个新的dashboard，添加自己关心的指标；

Import JSON：导入编辑好的、适应signoz的jsonz的dashboard看板json文件；

Import Grafana JSON：导入Grafana的模板文件，导入后，某些数据会自动进行一些改动，以适应signoz的dashboard。但这种方式目前尚处于实验阶段，从0.16.2版本试用来看，支持还不够友好，需要手动进行较大的调整修改。

目前signoz官网有几个可用的看板可以直接导入使用：https://github.com/SigNoz/dashboards

导入带变量的模板hostmetrics-with-variable.json后，效果如下：

以主机名为变量，查看多个主机的监控看板信息。

1.4 给主机创建独立dashboard看板

如果要给某个特别的主机创建它单独使用的dashboard，即不带hostname变量那种，则步骤如下：

1）在https://github.com/SigNoz/dashboards下载dashboards-main到目标服务器上；

2）修改脚本dashboards-main/hostmetrics/hostmetrics-import.sh，将SIGNOZ_ENDPOINT="http://localhost:3301"中localhost 改为signoz的真实IP或域名；

3）执行脚本sh hostmetrics-import.sh，生成本机的Host Metrics dashboard：

将新生成的文件signoz-hostmetrics-test102.json导入dashboard即可：

1.5 监看监控指标

登录clickhouse可以查看支持的监控指标，语法和mysql类似。登录和查询全步骤如下：

[root@test101 clickhouse-setup]# docker exec -it clickhouse /bin/bash  #进入clickhouse容器
bash-5.1# 
bash-5.1# clickhouse-client   #登录clickhouse
ClickHouse client version 22.8.8.3 (official build).
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 22.8.8 revision 54460.

Warnings:
 * Linux transparent hugepages are set to "always". Check /sys/kernel/mm/transparent_hugepage/enabled
 * Linux threads max count is too low. Check /proc/sys/kernel/threads-max
 * Available memory at server startup is too low (2GiB).
clickhouse :) 
clickhouse :) 
clickhouse :) select DISTINCT(JSONExtractString(time_series_v2.labels,'__name__')) as metrics from time_series_v2  #查看指标
##也可以将指标导出到某个文件
clickhouse :) select DISTINCT(labels) from signoz_metrics.time_series_v2 INTO OUTFILE '/tmp/output.csv'  #导出指标到文件

2. 告警设置

2.1 配置告警渠道

Setting—Alert Channels—New Alert Channel，添加告警渠道：

目前支持的告警渠道只有三种：slack、webhook、Pagerduty。

此处用webhook作个实验。

访问https://webhook.site，拿到一个url：https://webhook.site/da782b0b-0f81-43cd-bda0-1dd1625c9220

将此URL配置到告警渠道，填写好信息后，可以点“test”按钮测试连通性：

test测试成功后，https://webhook.site/界面能收到信息：

2.2 创建一个测试告警

告警可以基于指标、日志、链路、异常数据等方式创建告警，此处创建一个简单的基于metric的告警做测试：

内容如下：

创建完成：

过了会儿，达到告警阈值时，开始告警了：

同时，https://webhook.site/上也收到了告警信息：

当阈值恢复时，signoz界面的告警又从Firing状态变回OK状态。
至此，主机监控接入和告警配置完成。