CLS(Cloud Log Service)は、ログ(Log)と指標(Metric)データの収集、ETL、検索分析、可視化、アラートをサポートする一体型の可観測性SaaSサービスです。
機能概要
CLSが主に提供する機能は以下の通りです:
ログ収集
CLSは現在、LogListener、API、Kafkaプロトコル、COS(Cloud Object Storage)インポートなど、複数の収集方法をサポートしています:
Loglistenerリアルタイム収集:Tencent Cloud LogListenerを使用してログを収集し、簡単にインストールでき、サービスは安定・信頼性・安全性に優れ、ほとんどの主要Linuxオペレーティングシステムをサポートし、高いパフォーマンスと低リソース消費を両立します。
API経由:LogListenerをインストールすることなく、APIを直接呼び出してログをアップロードでき、複数の言語をサポートしています。
Kafkaプロトコル:Kafka Producer SDKを使用してログをCLSにアップロードすることをサポートしています。
COSインポート:Tencent Cloud COS内のデータをCLSにインポートします。
日志ストレージ
ユーザーのログ検索レイテンシとログ処理能力に対する異なる要件に応じて、2つのストレージを提供します:
リアルタイムストレージ:ユーザーがログに対して統計分析のニーズがある場合に適しており、ログの秒単位検索、リアルタイム統計分析、リアルタイム監視、ストリーミング消費などのアプリケーション機能を提供します。
低頻度ストレージ:アクセス頻度が低く、統計分析の必要がないログ(監査アーカイブログなど)に適しています。低頻度ストレージはログの全文検索機能を提供し、ユーザーの履歴ログの遡及検索、アーカイブ保存などのニーズに対応します。長期間保存する場合、全体の利用コストはリアルタイムストレージと比較して80%削減されます。
ログ検索・分析
CLSに保存されているログに対してリアルタイム検索分析を行い、ユーザーが異常ログを迅速に特定し、システムおよびビジネス指標を統計するのを支援します。
日志检索:キーワードを使用して全文またはフィールドでログを検索します。
統計分析:SQLを使用してログ内のシステムおよびビジネス指標を柔軟に統計し、グラフで表示します。SQL 92標準に準拠し、200以上のSQL関数をサポートしています。例えば、省別にビジネスリクエスト数を統計し、時間別にリクエストエラー率の変化傾向を照会します。
優れたパフォーマンス:秒単位でクエリ結果を返し、億レベルのログ検索分析をサポートします。
メトリクス収集・ストレージ
Prometheusエコシステムと互換性があり、以下のメトリック収集・保存機能を提供します:
メトリック収集:Prometheus Remote Writeプロトコルをサポートし、このプロトコルに対応する各種コレクターを使用してメトリックを収集し、メトリックトピックに報告できます。例えば、VMAgentおよびTelegrafです。
ログからメトリックへの変換:元のログに対して定期SQLを実行して統計することで、その中の主要な指標を取得できます。例えば、ログに基づいてインターフェースのスループットと処理時間を統計します。
指標ストレージ:Prometheusの指標データモデルと互換性があり、PromQLを使用して指標のクエリと統計計算を行うことができます。
ダッシュボード
ダッシュボードは豊富なグラフタイプを提供し、ユーザーがログデータと指標データを統計分析し、グラフで表示することをサポートします。
複数のグラフタイプ:時系列グラフ、円グラフ、単一値グラフ、サンキーダイアグラム、マップ、ワードクラウド、グローバルフィルタリング、変数設定などをサポートしています。
ダッシュボードのサブスクリプション:ダッシュボードのサブスクリプションをサポートし、ダッシュボードを画像形式でエクスポートできます。メール、WeComなどの方法で指定した対象に定期的に送信します。
インタラクティブイベント:グラフのカスタムインタラクティブイベント機能は、グラフ内容をクリックしてインタラクションをトリガーし、検索分析ページ、ダッシュボードページ、第三者URLなどを開くことをサポートします。
DataSight
DataSightは、CLSが提供する独立コンソールです。Tencent CloudアカウントなしでCLSを利用でき、カスタムのアカウントパスワードによるログインまたはログイン不要をサポートしています。複数人・複数チームでCLSを共有するシーンに適しています。
アラート
ログ内に多くのエラーログが発生した場合、またはシステムおよびビジネス指標がしきい値を超えた場合に秒単位でアラートを発し、システムおよびビジネスの異常問題を能動的に検出します。
通知チャネル:電話、SMS、メール、WeChat、WeCom、DingTalk、Feishu、カスタムインターフェースコールバックをサポートします。
多次元分析:アラート発生時に元のログに対して追加の検索分析を実行し、結果をアラート通知に添付して、アラート原因の特定を支援します。
ログデータ処理
データ加工:ログのフィルタリングとクリーニング、マスキング、構造化、配信を行います。非構造化ログの場合、データ加工によって構造化データに処理することで、その後のSQL分析、ダッシュボード、アラートなどに利用できます。データ加工は、指定されたルールに従って元のログを異なるログトピックに配信することをサポートします。
定时SQL分析:ログを指標(Metric)に変換し、そのMetricをダッシュボードやアラートに使用することで、クエリ性能が向上し、ストレージ容量を削減できます。ログOLAPは、指定された時間とウィンドウに従ってオフラインSQL分析タスクをスケジュールし、日次レポートや週次レポートなどの結果データを生成します。
ログ配信・消費
ログをTencent Cloud製品に配信できます。例えば、COS、メッセージミドルウェアCkafkaです。また、CLSログを他のビッグデータコンポーネントにコンシュームすることもできます。
ログをCOSに配信:ログの長期アーカイブ、ビッグデータコンピューティング。
ログをCkafkaに配信:ログのリアルタイム処理と計算。
Kafkaプロトコル消費:ネイティブKafkaプロトコルをサポートし、Flink、Logstash、Flumeなどのビッグデータコンポーネントと容易に連携できます。また、Python/Java SDKを使用して消費することもできます。