Kafkaプロトコルを使用したログの消費
ダウンロード
フォーカスモード
フォントサイズ
Kafkaプロトコル消費機能を使用すると、1つのログトピックを1つのKafka Topicとして消費できます。CLSに収集されたログデータを、下流のビッグデータコンポーネントまたはデータウェアハウスに消費できます。
例えば、Flink、Flume、Logstash、Splunk、およびTencent Cloud Oceanusです。
前提条件
現在の操作アカウントにKafkaプロトコル消費を有効にする権限があることを確認してください。権限の問題については、CLSアクセスポリシーテンプレートを参照してください。
イントラネット消費とインターネット消費の説明
イントラネット消費：イントラネットドメイン名を使用してログを消費し、トラフィック料金は0.18元/GBです。例えば、元のログが100GBで、消費時にSnappy圧縮を選択した場合、課金対象は約50GBとなり、イントラネット読み取りトラフィック料金は50GB * 0.18元、つまり9元です。一般的に、消費側とログトピックが同じVPCまたは同じリージョンにある場合、イントラネット消費を使用できます。
外部ネットワーク消費：パブリックドメイン名を使用してログを消費し、トラフィック料金は0.8元/GBです。例えば、元のログが100GBで、消費時にSnappy圧縮を選択した場合、課金対象は約50GBとなり、外部ネットワーク読み取りトラフィック料金は50GB * 0.8元、つまり40元です。一般的に、消費側とログトピックが同じVPCにも同じリージョンにもない場合、外部ネットワーク消費を使用する必要があります。セキュリティ上の要件がある場合は、設定項目で外部ネットワーク消費を無効にできます。
操作手順
1. CLSコンソールにログインし、左側のナビゲーションバーでログトピックを選択します。
2. ログトピックページで、Kafkaプロトコルを使用して消費する必要があるログトピックのID/名前をクリックし、ログトピック管理ページに入ります。
3. ログトピック管理ページで、配信と消費 >Kafkaプロトコル消費タブを選択します。
4. 右側の編集をクリックし、有効状態のスイッチボタンをオンに設定した後、以下の設定項目を編集し、確定をクリックします。
設定項目 | 説明 | ルール |
データ範囲 | 履歴+最新：新バージョンでは、ログトピックのライフサイクル内のすべてのデータを消費できます。 最新：旧バージョンでは、最新データのみを消費できます。 注意： データ範囲が異なる2つのログトピックでは、同じコンシューマーグループを使用して消費することはできません。例えば、ログトピックAの消費データ範囲が履歴+最新に設定され、トピックBが最新に設定されている場合、ログトピックAとBは同じコンシューマーグループを使用して消費することはできません。 | 選択 |
消費データ形式 | JSON、JSONデータ形式でログを消費します。 元のコンテンツ、元の形式でログを消費します。 | 選択 |
消費ログフィールド | 消費するログフィールドを選択してください。 JSON形式のエスケープ/非エスケープの説明は以下の通りです： エスケープは、JSONの第1階層ノードの値をStringに変換します。第1階層ノードの値がStructの場合、下流でのデータ格納時または計算時に、事前にそのStructをStringに変換する必要がある場合は、このオプションを選択できます。 エスケープしない場合、JSON構造と階層は変更されず、ログ形式は収集側と一致します。 注意： JSONの第1階層ノードに数値が含まれている場合、消費後に自動的にint、floatに変換されます。 ログ：{"a":123, "b":"123", "c":"-123", "d":"123.45", "e":{"e1":123,"f1":"123"}} 消费：{"a":123,"b":123,"c":-123,"d":123.45,"e":{"e1":123,"f1":"123"}} __TAG__メタ情報をフラット化するかしないかの説明は以下の通りです。 例：__TAG__メタ情報：{"__TAG__":{"fieldA":200, "fieldB":"text"}} フラット化：{"__TAG__.fieldA":200,"__TAG__.fieldB":"text"} 非フラット化：{"__TAG__":{"fieldA":200, "fieldB":"text"}} | 選択 |
データ圧縮形式 | SNAPPY、LZ4、圧縮なしの3種類をサポートしています。 | 選択 |
消費ログプレビュー | 消費したログデータをプレビューします。 | - |
外部ネットワーク消費 | 無効にすると、外部ネットワークからログを消費することはできず、内部ネットワークからのみ消費できます。 | スイッチ |
サービスログ | 消費に関連するログは、お客様の消費監視グラフに使用されます。このデータはCLSによって無料で提供されます。 | スイッチ |
5. コンソールにはTopic、Host+Portの情報が表示されます。この情報をコピーして、コンシューマー（KafkaConsumer）を構築できます。また、基本情報タブページの右上にあるコンシューマー自動生成ツールを使用して、実行可能なコンシューマークライアントを生成できます。他のビジネスロジックがある場合は、コードを変更してください。
コンシューマーパラメータの説明
パラメータ | 説明 |
ユーザー認証方式 | 現在、SASL_PLAINTEXTのみをサポートしています。 |
hosts | 内部ネットワーク消費：kafkaconsumer-${region}.cls.tencentyun.com:9095。 外部ネットワーク消費：kafkaconsumer-${region}.cls.tencentcs.com:9096。詳細については、利用可能なドメイン名 - Kafka ログ消費を参照してください。 |
topic | コンシューマートピックIDは、Kafkaプロトコルコンシューマーのコンソールでコピーしてください。例：XXXXXX-633a268c-XXXX-4a4c-XXXX-7a9a1a7baXXXX。 |
username | ${LogSetID}、つまりログセットIDとして設定します。例：0f8e4b82-8adb-47b1-XXXX-XXXXXXXXXX。Kafkaプロトコルコンシューマーのコンソールでコピーしてください。 |
password | ${SecretId}#${SecretKey}として設定します。例：XXXXXXXXXXXXXX#YYYYYYYY。Tencent Cloud CAMにログインし、左側のナビゲーションバーでアクセスキーをクリックしてください。APIキーまたはプロジェクトキーのいずれも使用できます。子アカウントでこの機能を使用する必要がある場合は、子アカウントキーの使用を推奨します。子アカウントに権限を付与する際は、アクセスポリシーのactionとresourceを最小範囲に設定することを推奨します。詳細はKafkaプロトコルコンシューマー権限付与をご参照ください。 |
コンシューマーDemo
コンシューマーグループ管理
消費オフセットのリセット：消費するデータ範囲として履歴+最新を選択した場合、コンシューマーグループを送信した後、コンシューマータブページでそのコンシューマーグループを見つけ、コンシューマーグループに対して消費オフセットを再起動する操作を行います。
説明：
コンシューマーグループのステータスがEmptyの場合にのみ、消費オフセットをリセットできます。消費クライアントのプログラムを停止すると、コンシューマーグループのステータスはサーバーによってEmptyと認識されます。
消費オフセットには以下の3種類があります：
最新位置：最新データから消費を開始します。
最早位置：最も古いデータから消費を開始します。
時間を指定します。その時間がログトピックのライフサイクル内である必要があることに注意してください。
監視詳細：監視詳細をクリックすると、そのコンシューマーグループの監視情報にジャンプできます。
フィードバック