CLSとは何ですか?
CLS(Cloud Log Service)は、ワンストップのログデータソリューションを提供します。拡張や縮小などのリソース問題を気にする必要はなく、5分で迅速かつ簡単にアクセスでき、ログの収集、保存、加工、検索分析、消費配信、ダッシュボード生成、アラートなどの全方位で安定した信頼性の高いサービスを利用できます。問題の特定と指標監視の効率を全面的に向上させ、ログ運用保守のハードルを大幅に引き下げます。
CLSが主に提供する機能は以下の通りです:
ログ収集:クロスリージョン、マルチチャネル、マルチプラットフォーム、さまざまなデータソースのログデータを便利かつリアルタイムに収集し、他のさまざまなTencent Cloud製品のログを簡単に収集します。
ログストレージ:2つのストレージタイプ(リアルタイムストレージと低頻度ストレージ)を提供します。
ログ検索分析:キーワードを使用してログを検索し、ユーザーが異常ログを迅速に特定するのを支援します。同時に、SQLを使用してログを統計分析し、ログ件数の時間変化傾向、エラーログ比率などの統計指標を取得できます。
ログデータ加工:ログのフィルタリング、クリーニング、マスキング、エンリッチメント、配信、構造化を行います。
ログ配信と消費:Tencent Cloudストレージ、ミドルウェアに配信し、ストリームコンピューティングに消費します。
ダッシュボード:検索分析結果をカスタムDashboardにすばやく生成します。
アラート:異常ログの秒単位アラートに対応し、電話、SMS、メール、カスタムインターフェースのコールバックなどの方法でユーザーに通知します。
CLSは1つのログをどのように定義しますか?
ログ(Log)は、アプリケーションシステムの実行中に生成される記録データです。例えば、ユーザー操作ログ、インターフェースアクセスログ、システムエラーログなどがあります。ログは通常、テキスト形式でアプリケーションシステムが配置されているマシンに保存されます。1件のシステム実行記録に対応するログは、1行のテキスト(単一行ログ)の場合もあれば、複数行のテキスト(複数行ログ)の場合もあります。
ログはどのくらいの期間保存できますか?
CLSはログライフサイクル管理を提供します。ログトピックの作成時にログの有効保存期間を指定でき、1~3600日間の保存または永久保存に対応します。保存期間を過ぎると、データはクリアされ、ストレージ料金は発生しなくなります。
ログセットとログトピックの違いは何ですか?
ログトピック(Topic)は、ログデータをCLS(Cloud Log Service)プラットフォームで収集、保存、検索、分析するための基本単位です。収集された大量のログは、ログトピックを単位として管理されます。これには、収集ルールの設定、保存期間の設定、ログの検索分析、ログのダウンロード/消費/配信などが含まれます。
ログセット(Logset)はログトピックを分類するためのものです。1つのログセットには複数のログトピックを含めることができます。ログセット自体はログデータを一切保存せず、ユーザーがログトピックを管理しやすくするためのものです。
1つのログトピックで最大何件のログを収集できますか?
大量のログ収集ニーズに対応するため、1つのログトピックには複数のトピックパーティションが含まれます。各トピックパーティションの書き込みリクエストは最大500QPS、書き込みトラフィックは最大5MB/sです。収集するログ量が多い場合は、トピックパーティションの自動分割機能を有効にすることをお勧めします(デフォルトで有効)。1つのログトピックは最大50個のパーティションを持つことができ、この場合、1つのログトピックの書き込みリクエストは最大50 * 500 = 25000QPS、書き込みトラフィックは最大50 * 5 = 250MB/sです。 ここでの書き込みリクエストと書き込みトラフィックは、単純にログ件数やログ量と等しくなるわけではありません。ログアップロード時には、複数のログが1つのロググループにパッケージ化され、圧縮されます。実際にサポートされるログ件数とログ量は、上記の制限を大幅に上回ります。Loglistenerを使用する場合、ログのパッケージ化と圧縮は自動的に行われるため、具体的なパッケージ化戦略を意識する必要はありません。 インデックスと単語分割とは何ですか?
インデックス設定は、CLS(Cloud Log Service)を使用して検索分析を行うための必要条件です。インデックスを有効にして初めて、ログの検索分析が可能になります。インデックスの作成は、実際には元のログを指定された記号で複数のセグメント(つまり分かち書き)に分割し、分かち書きに対して転置インデックスを作成するプロセスです。 全文インデックスとキーバリューインデックスの違いは何ですか?
全文インデックス:全文インデックスは元のログ全体を複数のトークンに分割してインデックスを構築します。検索時はキーワードで直接検索します(つまり全文検索)。例えば、errorと入力すると、errorキーワードを含むログを検索することを表します。
キー値インデックス:キー値インデックスは、元のログをフィールド(つまり key:value)ごとに複数のトークンに分割してインデックスを構築します。検索時はキー値方式で検索します(つまりキー値検索)。例えば、level:errorと入力すると、levelフィールドにerrorを含むログを検索することを表します。
検索と分析の違いは何ですか?
検索:指定された条件に基づいて一致する元のログを検索します。例えば、status:404を使用して、レスポンスステータスコードが404のアプリケーションリクエストログを検索します。
分析:検索条件に一致するログに対してSQLを使用して統計分析を行います。例えば、status:404 | select count(*) as logCountsを使用して、レスポンスステータスコードが404のアプリケーションリクエストログ数を集計します。
ログの検索・分析パフォーマンスはどのようなものですか?
検索性能:百億レベルのログに対して、秒単位で結果を返します。
分析性能:億レベルのログでは秒単位で結果を返し、百億レベルのログでは1分以内に結果を返します。この性能は分析に使用するSQLの複雑さに大きく依存し、SQLが非常に複雑な場合はこの性能指標を下回る可能性があります。
ログ生成から検索可能になるまでどのくらいかかりますか?
Loglistenerを使用してログを収集する場合、遅延は1分以内です。APIおよびSDKを使用してログを収集する場合、API呼び出しを開始してからログを検索できるようになるまで1分以内です。
サービスがTencent Cloud上にない場合でも、CLSを利用できますか?
使用できます。CLSはログソースに対して制限要件がありません。ログソースとCLSのサーバー間でネットワークが到達可能であれば、ログをCLSに収集できます。CLSがサポートするリージョンおよび対応するドメイン名については、利用可能なリージョンを参照してください。 サーバーのIPアドレス変更後、Loglistenerはどのように適応すればよいですか?
サーバーがマシン識別子によってマシングループにバインドされている場合、ユーザーはLoglistenerの設定を変更する必要はありません。サーバーIPを頻繁に変更する必要がある場合は、マシン識別子を使用してマシングループを設定することをお勧めします。詳細を見るをクリックしてください。 サーバーがIPアドレスでマシングループにバインドされている場合、ユーザーは以下の設定変更を行う必要があります:
1. Loglistenerのインストールディレクトリにある/etc/loglistener.confファイルを変更します。ここではインストールディレクトリとして/user/localを例にします:
vi /usr/local/loglistener-2.3.0/etc/loglistener.conf
2. キーボードでiキーを押して、編集モードに入ります。
3. 設定ファイル内のgroup_ip部分を変更し、変更後のIPアドレスを入力します。
4. 設定を保存してエディタを終了します。具体的な操作手順:Escキーを押し、:wqを入力し、Enterキーを押します。
5. 以下のコマンドを実行して、Loglistenerを再起動します。
/etc/init.d/loglistenerd restart
6. CLSコンソールにログインし、左側のナビゲーションバーでマシングループ管理をクリックし、このサーバーにバインドされているマシングループの設定を変更し、新しいIPアドレスで元のマシンIPアドレスを置き換え、確定をクリックします。 テストアラート通知チャネルのエラーまたはテストメッセージ未受信をどのように調査しますか?
ケース1:ページに「送信失敗」と表示されます
マウスを「送信失敗」に重ねると、エラーコードと詳細な失敗原因を確認できます。一般的なエラーコードは以下の通りです:
|
| | 一般的には、受信対象のユーザーまたはユーザーグループに携帯電話やメールアドレスが未設定または未検証であることが原因です。ユーザーリストで確認および設定できます。 |
| この通知チャネルでは一部のメッセージの送信に失敗しました。例えば、一部のユーザーへの送信が失敗した場合や、一部のチャネルでの送信が失敗した場合があります。 | 一般的には、受信対象の一部のユーザーまたはユーザーグループに携帯電話やメールアドレスが未設定または未検証であることが原因です。ユーザーリストで確認および設定できます。 |
| カスタムインターフェースのコールバックでエラーが発生しました。 | 詳細な失敗原因に基づいてさらに調査してください。よくあるエラーは以下のとおりです: invalid URI for request:有効なURLアドレスではありません。 i/o timeout:インターフェースアクセスがタイムアウトしました。インターフェースアドレスと、パブリックネットワーク経由で直接アクセスできるかどうかを確認してください。 callback custom error with status:xxx:インターフェース応答でエラーが発生しました。インターフェースアドレスとバックエンドサービスが正常かどうかを確認してください。 ssrf attack:コールバックインターフェースアドレスは、パブリックネットワークから直接アクセスできるアドレスである必要があります。インターフェースアドレスがTencent Cloudのプライベートネットワークである場合、このエラーが発生する可能性があります。 |
ケース2:ページに「送信済み」と表示されますが、実際にはテストメッセージを受信していません
受信チャネルに応じて、一般的な原因は以下の通りです:
|
| 重複通知によるユーザーへの迷惑を避けるため、1日以内に同一ユーザーに対して同一チャネルでテストメッセージを送信できるのは1回のみです。 |
カスタムインターフェースコールバック(DingTalkおよびFeishuボットアドレス) | テストメッセージがDingTalkおよびFeishuのAPIインターフェース要件を満たしていないため、メッセージは無視されます。この場合、テスト通知チャネル機能は実質的な意味を持ちません。アラームポリシーでDingTalkおよびFeishuのAPI要件に従って適切なリクエストヘッダーとリクエスト内容を設定し、アラームを送信できます。 |
カスタムインターフェースコールバック(その他のアドレス) | CLSはHTTPレスポンスステータスコードに基づいてメッセージ送信の成否を判断します。カスタムインターフェースに、HTTPレスポンスステータスコードは正常であるものの、他の業務ロジック上の制限が存在するケースがないか確認してください。 |