本文の内容は、docs.sysdig.com上のCollect Prometheus Metricsを元に日本語に翻訳・再構成した内容となっております。(2021年7月5日現在)

Sysdigは、Prometheusのネイティブメトリクスやラベルの収集、保存、クエリーをサポートします。Sysdigは、Prometheusと同じように、Prometheus Query Language (PromQL)を使ってダッシュボードやアラートを作成することができます。SysdigはPrometheus HTTP APIと互換性があり、PromQLを使ってプログラム的に監視データをクエリーしたり、SysdigをGrafanaのような他のプラットフォームに拡張することもできます。

メトリクス収集の観点からは、軽量のPrometheusサーバーをSysdigエージェントに直接組み込み、メトリクス収集を容易にしています。また、Prometheusの構文を使ったフィルタリングや再ラベル付けで、ターゲット、インスタンス、ジョブをサポートします。エージェントは、自身のホスト上でPrometheusメトリクスエンドポイントを公開しているこれらのプロセスを識別し、Sysdigコレクターに送って保存し、さらに処理するように設定することができます。

このドキュメントでは、メトリクスとタイムシリーズを同義で使用しています。設定パラメータの説明では「メトリクス」に言及していますが、Prometheusの厳密な用語では、これらはタイムシリーズを意味します。つまり、100メトリクスという制限を適用することは、タイムシリーズの制限を適用することを意味し、すべてのタイムシリーズデータが同じメトリクス名を持たない可能性があります。

• • Sysdig agent v10.5.0: Prometheusネイティブサービスディスカバリーをサポートするpromscrape.v2をリリースしました。これをサポートするために、デフォルトのprometheus.yamlファイルに、Prometheusのネイティブサービスディスカバリーが有効な場合に使用するKubernetesポッドディスカバリールールが追加されました。

  • Sysdig agent v10.0.0以上: Prometheusメトリクスのスクレイピングには、軽量のPrometheusサーバーであるpromscrapeがデフォルトで使用されます。このコンポーネントは、オープンソースのPrometheusをベースにしています。

  • Sysdig agent v9.8.0～v10.0: Prometheusのメトリクスをスクレイピングするために、v9.8.0では軽量のPromescrapeが導入されています。この方法を使用するには、dragent.yamlファイルでpromscrapeを有効にする必要があります。

  • Sysdig エージェント v0.70.0 以上: Prometheus エクスポーターからメトリクスを自動的に収集するためのサポートを提供します。

Prometheusメトリクスの使用

エージェントv10.0.0で導入されたPrometheusの機能

• Prometheusのデータを利用する新しい機能

• • PromQLクエリを使用してデータを可視化する機能。PromQLの使用を参照してください
  • PromQLベースのダッシュボードからアラートを作成する。パネルアラートの作成を参照してください
  • ダッシュボード v2 とアラートの後方互換性

• • Prometheusメトリクス： 8000
  • StatsDのメトリクス：1000
  • JMXメトリクス： 500
  • AppChecks：500
• 10秒単位のデータ粒度
• 新しいメトリクスストアの保持期間が長くなりました。
• 新しいメトリクスの命名規則
  • legacy Prometheusメトリクスは、promlegacyという接頭辞を付けて利用できます。命名規則は promlegacy.<metrics> です。例えば、cortex_build_info は promlegacy.cortex_build_info と名前が変わります。
  • 

前提条件とガイドライン

• 最新のPrometheus機能を利用するには、Sysdig agent v 10.0.0以上が必要です。
• Prometheus機能はdragent.yamlファイルで有効になります。

prometheus:
  enabled: true

• ターゲットのエンドポイントは、エージェントへのTCP接続が利用可能である必要があります。エージェントは、dragent.yamlのIP:PortまたはURLで指定されたリモートまたはローカルのターゲットをスクレイピングします。

サービスディスカバリー

1. プロセスは、一連のプロセスフィルタの包含／除外ルールにポジティブにマッチした場合、スクレイピングの対象となる可能性があると判断されます。詳細については、「プロセスフィルター」を参照してください。
2. エージェントは、ポートのサブセットや別のエンドポイント名にスクレイピングを制限する追加の設定がない限り、/metricsエンドポイントのすべてのリスニングTCPポートで適格なプロセスをスクレイピングしようとします。
3. agent v9.8.0では、取り込み時のメトリクスのフィルタリングが有効になっています。有効にすると、メトリクスを受信する際にインジェストでフィルタリングルールが適用されます。詳細は「Prometheusメトリクスのフィルタリング」を参照してください。
4. メトリクスを受信すると、エージェントは以下のルールを適用してからSysdigコレクターに送信します。

• • グローバルなmetrics_filterルールを適用します。
    詳細は、「カスタムメトリクスを含める/除外する」を参照してください。

• • 設定されたmax_metricsを適用して、メトリクスの数を制限します。

環境の設定

クイックスタート Kubernetes環境の場合

- name: ADDITIONAL_CONF
  value: "prometheus:\n  enabled: true"

spec:
  template:
    metadata:
      annotations:
        prometheus.io/scrape: "true"
        prometheus.io/port: "exporter-TCP-port"

prometheus.io/path: "/exporter-endpoint-name"

コンテナ環境のクイックスタート

• io.prometheus.scrape=true

• io.prometheus.port=<exporter-port>

• io.prometheus.path=<exporter-path>

docker -d -l io.prometheus.scrape=true -l io.prometheus.port=9104 -l io.prometheus.path=/metrics mysqld-exporter

Sysdigエージェントの設定

主な設定パラメーター

promscrape

prometheus

# docker run -d -p 8080:8080 \
    --label class="exporter" \
    --name my-java-app \
    luca3m/prometheus-java-app
 
# ps auxww | grep app.jar
root     11502 95.9  9.2 3745724 753632 ?      Ssl  15:52   1:42 java -jar /app.jar --management.security.enabled=false
 
# curl http://localhost:8080/prometheus
...
random_bucket{le="0.005",} 6.0
random_bucket{le="0.01",} 17.0
random_bucket{le="0.025",} 51.0
...

- include:
    container.image: luca3m/prometheus-java-app
    container.name: my-java-app
    container.label.class: exporter
    process.name: java
    process.cmdline: "*app.jar*"
    port: 8080

conf

host: 192.168.1.101
- or -
host: subdomain.example.com
- or -
host: localhost

• ユーザ名/パスワード認証の場合

  • username

  • password

• トークンを使った認証の場合

  • auth_token_path

• 証明書キーを用いた証明書認証の場合

  • auth_cert_path

  • auth_key_path

備考

トークンの置き換えは、すべての認証パラメータでサポートされています。例えば、Kubernetesのアノテーションからユーザー名を取得するには、次のように指定します。

conf 認証例

• username/passwordは、OpenShiftで使用されているデフォルトのアノテーションから取得しています。
• auth tokenパスは、Kubernetesのデプロイメントで一般的に使用されます。
• ここでetcdに使用されているcertificateとkeyは、通常、エージェントからは簡単にアクセスできない場合があります。このケースでは、ホストのネームスペースから抽出し、Kubernetesのシークレットに構築して、エージェントコンテナにマウントしています。

prometheus: 
  enabled: true
  process_filter: 
    - include: 
        port: 1936
        conf: 
            username: "{kubernetes.service.annotation.prometheus.openshift.io/username}"
            password: "{kubernetes.service.annotation.prometheus.openshift.io/password}"
    - include: 
        process.name: kubelet
        conf: 
            port: 10250
            use_https: true
            auth_token_path: "/run/secrets/kubernetes.io/serviceaccount/token"
    - include: 
        process.name: etcd
        conf: 
            port: 2379
            use_https: true
            auth_cert_path: "/run/secrets/etcd/client-cert"
            auth_key_path: "/run/secrets/etcd/client-key"

Kubernetes Objects

• daemonSet

• deployment

• namespace

• node

• pod

• replicaSet

• replicationController

• service

• statefulset

Prometheus ネイティブサービスディスカバリーの有効化

Promscrape V2

• promscrape.v2は、metric_relabel_configsに加えて、Prometheusネイティブのrelabel_configをサポートします。Relabel configurationでは以下のことが可能です。
  • ラベルをスクレイピングする前に、ターゲットのラベルフォーマットを編集する
  • メトリクスから不要なメトリクスや不要なラベルを削除する
• promscrape.v2では、通常のサンプルフォーマット（メトリクス名、ラベル、メトリクスの読み方）に加えて、エージェントに送られるすべてのサンプルにメトリクスタイプ（カウンター、ゲージ、ヒストグラム、サマリー）が含まれます。
• promscrape.v2は、フェデレーション、ブラックボックスエクスポーターなど、あらゆるタイプのスクレイピング設定をサポートします。
• メトリクスは、Prometheusのラベル名を既知のエージェントタグにマッピングするソースラベルを使用することで、そのソース（ポッド、プロセス）にマッピングすることができます。

Promscrape V2の制限事項

• promscrape.v2は計算済みメトリクスをサポートしていません。
• promscrape.v2は、レコーディングルールやアラート管理などのクラスターワイドな機能をサポートしていません。
• promscrapeとpromscrape.v2のサービスディスカバリー設定には互換性がなく、翻訳できません。
• promscrape.v2を有効にすると、エージェントを実行しているすべてのノードで実行され、prometheus.yamlファイルで指定されたローカルまたはリモートのターゲットからメトリクスを収集することを目的としています。

• promscrape.v2はクラスタビューを持たないため、クラスタ全体のメトリクス収集で使用されるレコーディングルールやアラートの設定を無視しています。

• • alert_relabel_configs

  • alertmanager_config

  • Recording Rules

  • remote_write

  • remote_read

• Sysdigでは__HOSTNAME__を使用していますが、これはPrometheusの標準的なキーワードではありません。

Promscrape V2の有効化

prometheus:
  prom_service_discovery: true

Prometheusのデフォルト設定ファイル

global:
  scrape_interval: 10s
scrape_configs:
- job_name: 'k8s-pods'
  tls_config:
    insecure_skip_verify: true
  kubernetes_sd_configs:
  - role: pod
  relabel_configs:
    # Trying to ensure we only scrape local targets
    # __HOSTIPS__ is replaced by promscrape with a regex list of the IP addresses
    # of all the active network interfaces on the host
  - action: keep
    source_labels: [__meta_kubernetes_pod_host_ip]
    regex: __HOSTIPS__
  - action: keep
    source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
    regex: true
  - action: replace
    source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scheme]
    target_label: __scheme__
    regex: (https?)
  - action: replace
    source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]
    target_label: __metrics_path__
    regex: (.+)
  - action: replace
    source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port]
    regex: ([^:]+)(?::\d+)?;(\d+)
    replacement: $1:$2
    target_label: __address__
    # Holding on to pod-id and container name so we can associate the metrics
    # with the container (and cluster hierarchy)
  - action: replace
    source_labels: [__meta_kubernetes_pod_uid]
    target_label: sysdig_k8s_pod_uid
  - action: replace
    source_labels: [__meta_kubernetes_pod_container_name]
    target_label: sysdig_k8s_pod_container_name

スクレイプの間隔

ホスト名の選択

リラベリング設定

- action: replace
  source_labels: [__meta_kubernetes_pod_uid]
  target_label: sysdig_k8s_pod_uid
- action: replace
  source_labels: [__meta_kubernetes_pod_container_name]
  target_label: sysdig_k8s_pod_container_name

Prometheusのメトリクス収集に制限をかける

• Prometheusメトリクスのフィルタリング
• Prometheusのエンドポイントをスクレイピングした直後に

Prometheusメトリクスのフィルタリング

• dragent.yamlファイルでPrometheusのスクレイピングが有効になっていることを確認します。

prometheus:
  enabled: true

• エージェント v9.8.0 以降では、dragent.yaml の use_promscrape パラメーターを true に設定して、この機能を有効にします。詳細は、「取り込み時のフィルタリングの有効化」を参照してください。agent v10.0では、メトリクスのスクレイピングにデフォルトでpromscrapeが使用されます。
• prometheus.yaml ファイルの設定を編集します。「Prometheus設定ファイルの編集」を参照してください。
• Sysdig固有の設定はprometheus.yamlファイルにあります。

取り込み時のフィルタリングの有効化

use_promscrape: true

備考

agent v10.0では、デフォルトでuse_promscrapeが有効になっています。Prometheusのメトリクスをスクレイピングするためにpromscrapeが使用されることを意味します。

Prometheus設定ファイルの編集

• デフォルトのスクレイプ間隔（オプション）。

• Prometheusが提供するラベリングパラメータのうち、Sysdigはmetric_relabel_configsのみをサポートしています。relabel_configパラメータはサポートされていません。

• 0個以上のプロセス固有のフィルタリング設定（オプション）。

• • フィルタリングのルール

• • スクレイピングするサンプル数の制限（オプション）

• デフォルトのフィルタリング設定（オプション）。 「デフォルト構成」を参照してください。

• • フィルタリングのルール

• • スクレイプされるサンプル数の制限（オプション）

デフォルトの設定

Kubernetes環境

sysdig_sd_configs:
- tags:
    namespace: backend
    deployment: my-api

daemonset: my_daemon
deployment: my_deployment
hpa: my_hpa
namespace: my_namespace
node: my_node
pod: my_pode
replicaset: my_replica
replicationcontroller: my_controller
resourcequota: my_quota
service: my_service
stateful: my_statefulset

Docker環境

sysdig_sd_configs:
- tags:
    host: my-host
    port: 8080

Prometheusの設定ファイルのサンプル

global:
  scrape_interval: 20s
scrape_configs:
- job_name: 'default'
  sysdig_sd_configs: # default config
  relabel_configs:
- job_name: 'my-app-job'
  sample_limit: 2000
  sysdig_sd_configs:  # apply this filtering config only to my-app
  - tags:
      namespace: backend
      deployment: my-app
  metric_relabel_configs:
  # Drop all metrics starting with http_
  - source_labels: [__name__]
    regex: "http_(.+)"
    action: drop
  metric_relabel_configs:
  # Drop all metrics for which the city label equals atlantis
  - source_labels: [city]
    regex: "atlantis"
    action: drop

Prometheusメトリクス収集の制限

メトリクスの制限

• カスタムメトリクス： 10,000
• Prometheusメトリクス： 8,000

エージェントの設定

prometheus:
  max_tags_per_metric: 20
  max_metrics_per_process: 1000
  max_metrics: 1000

max_metrics

max_metrics_per_process

max_tags_per_metric

設定例

デフォルト設定

prometheus:
  enabled: true
  interval: 10
  log_errors: true
  max_metrics: 1000
  max_metrics_per_process: 100
  max_tags_per_metric: 20
 
  # Filtering processes to scan. Processes not matching a rule will not
  # be scanned
  # If an include rule doesn't contain a port or port_filter in the conf
  # section, we will scan all the ports that a matching process is listening to.
  process_filter:
    - exclude:
        process.name: docker-proxy
    - exclude:
        container.image: sysdig/agent
    # special rule to exclude processes matching configured prometheus appcheck
    - exclude:
        appcheck.match: prometheus
    - include:
        container.label.io.prometheus.scrape: "true"
        conf:
            # Custom path definition
            # If the Label doesn't exist we'll still use "/metrics"
            path: "{container.label.io.prometheus.path}"
 
            # Port definition
            # - If the Label exists, only scan the given port.
            # - If it doesn't, use port_filter instead.
            # - If there is no port_filter defined, skip this process
            port: "{container.label.io.prometheus.port}"
            port_filter:
                - exclude: [9092,9200,9300]
                - include: 9090-9500
                - include: [9913,9984,24231,42004]
    - exclude:
        container.label.io.prometheus.scrape: "false"
    - include:
        kubernetes.pod.annotation.prometheus.io/scrape: true
        conf:
            path: "{kubernetes.pod.annotation.prometheus.io/path}"
            port: "{kubernetes.pod.annotation.prometheus.io/port}"
    - exclude:
        kubernetes.pod.annotation.prometheus.io/scrape: false

• デフォルトでは、Prometheusによるスクレイピングはすべて無効になっています。ここで示した構成全体を有効にするには、dragent.yamlに以下を追加するだけです。

prometheus:
  enabled: true

• 有効にすると、このデフォルト設定は、「Kubernetes環境のクイックスタート」で説明したユースケースに該当します。

• Process Filterルールは、ほとんどの環境に存在する可能性が高いですが、Dockerプロキシーやエージェント自体などのPrometheusメトリクスをエクスポートしないことがわかっているプロセスを除外します。

• 別のProcess Filterルールにより、従来のPrometheusアプリケーションチェックによってスクレイピングされるように構成されたプロセスがスクレイピングされないことが保証されます。

• 別のProcess Filterルールは、コンテナラベルを使用するように調整されています。コンテナラベルio.prometheus.scrapeでマークされたプロセスは、スクレイピングの対象となり、さらにコンテナラベルio.prometheus.portおよび/またはio.prometheus.pathでマークされた場合は、このポートおよび/またはエンドポイントでのみスクレイピングが試みられます。コンテナにパスラベルが指定されていない場合は、/metrics エンドポイントのスクレイピングが試みられます。コンテナに指定されたポートラベルが付いていない場合、port_filter に含まれるすべてのリッスンポートに対してスクレイピングが試行されます（デフォルトのこの port_filter は、一般的な Prometheus エクスポーターのポート範囲に設定されており、エクスポーターではない他のアプリケーションで使用されていることが知られている範囲のポートは除外されています）。

• 最終的なProcess Filter Includeルールは、「Quick Start For Kubernetes Environments」で説明したユースケースに合わせています。

シングルカスタムプロセスのスクレイピング

prometheus:
  enabled: true
  process_filter:
    - include:
        process.name: java
        port: 9000
        conf:
          # ensure we only scrape port 9000 as opposed to all ports this process may be listening to
          port: 9000
          path: "/prometheus"

備考

portは、設定のどこに置かれるかによって目的が異なります。includeセクションの下に置かれた場合、それはincludeルールにマッチするための条件となります。

confの下にポートを配置すると、プロセスがリッスンしている可能性のあるすべてのポートではなく、ルールがマッチしたときにその特定のポートだけがスクレイピングされることを示します。

この例では、ポート9000でリッスンしているJavaプロセスに対して、最初のルールがマッチします。ポート9000のみをリッスンしているJavaプロセスが消去されます。

コンテナラベルに基づいてシングルカスタムプロセスをスクレイプする

prometheus:
  enabled: true
  process_filter:
    - include:
        process.name: java
        port: 9000
        conf:
          # ensure we only scrape port 9000 as opposed to all ports this process may be listening to
          port: 9000
          path: "/prometheus"
    - exclude:
        process.name: docker-proxy
    - include:
        container.label.io.prometheus.scrape: "true"
        conf:
            path: "{container.label.io.prometheus.path}"
            port: "{container.label.io.prometheus.port}"

備考

portは、設定のどこに置かれているかによって意味が異なります。includeセクションの下に置かれた場合、それはincludeルールにマッチするための条件となります。

confの下に置かれたportは、プロセスがリッスンしている可能性のあるすべてのポートではなく、ルールがマッチしたときにそのポートだけがスクレイピングされることを示します。

この例では、最初のルールは、ポート9000でリッスンしているプロセスに対してマッチします。ポート9000のみをリッスンしているjavaプロセスはスクレイプされます。

コンテナ環境

# docker run -d -p 8080:8080 \
    --label io.prometheus.scrape="true" \
    --label io.prometheus.port="8080" \
    --label io.prometheus.path="/prometheus" \
    luca3m/prometheus-java-app

Kubernetes環境

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: prometheus-java-app
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: prometheus-java-app
      annotations:
        prometheus.io/scrape: "true"
        prometheus.io/path: "/prometheus"
        prometheus.io/port: "8080"
    spec:
      containers:
        - name: prometheus-java-app
          image: luca3m/prometheus-java-app
          imagePullPolicy: Always

コンテナ化されていない環境

prometheus:
  enabled: true
  interval: 1
  process_filter:
    - include:
        process.cmdline: "*app.jar*"
        conf:
          port: 8080
          path: "/prometheus"
    - include:
        port: 5005
        conf:
          port: 5005
          path: "/wacko"

備考

portは、設定のどこに置かれているかによって意味が異なります。includeセクションの下に置かれた場合、それはincludeルールにマッチするための条件となります。confの下に置かれたportは、プロセスがリッスンしている可能性のあるすべてのポートではなく、ルールがマッチしたときにそのポートだけがスクレイピングされることを示します。

この例では、最初のルールは*app.jar*というプロセスに対してマッチします。ポート8080のみをリッスンしているjavaプロセスは、*app.jar*がリッスンしている可能性のあるすべてのポートではなく、スクレイプされます。2つ目のルールは、ポート5005に対してマッチし、5005でのみリッスンしているプロセスがスクレイプされます。

ロギングとトラブルシューティング

ロギング

2018-05-04 21:42:10.048, 8820, Information, 05-04 21:42:10.048324 Starting export of Prometheus metrics

2018-05-04 21:50:46.068, 11212, Debug, 05-04 21:50:46.068141 First prometheus metrics since agent start: pid 9583: 5 metrics including: randomSummary.95percentile

トラブルシューティング

# curl http://localhost:5002/metrics
This ain't no Prometheus metrics!