tencent cloud

Cloud Log Service

データ処理

ダウンロード
フォーカスモード
フォントサイズ
最終更新日: 2026-10-12 14:07:53
AI翻訳

データ加工

データ加工とは、ログデータに対してフィルタリング、クリーニング、マスキング、エンリッチメント、ターゲットログトピックへの配信を行うプロセスを指し、ログETL(Extract-Transform-Load)として理解できます。
ソースログトピック:データ加工タスクの入力です。
ターゲットログトピック:データ加工タスクの出力です。
ターゲット名:ターゲットトピック名をカスタマイズします。1つ目はターゲットトピックの可読性(ビジネス属性)を向上させるためです。2つ目はログを指定したターゲットトピックに出力する際に、呼び出す関数log_output("别名")で使用するためです。データ加工タスクには出力先のターゲットトピックが必須であり、そうでない場合タスクは作成できません。
DSL加工関数:DSL(Domain Specific Language)は、CLSがログETLの要件に基づいて開発したログデータ処理関数です。関数はシンプルで使いやすく、処理性能が高く、基盤はFlinkに基づいて実装されており、リアルタイムにログを処理できます。

定時SQL分析

定时SQL分析とは、指定された時間ウィンドウに基づいて、定期的にログデータをクエリし(検索とSQLをサポート)、クエリ結果をターゲットログトピックに保存するプロセスを指します。
ソースログトピック:定时SQLタスクの入力です。
ターゲットログトピック:定时SQLタスクの出力です。
スケジュール範囲:ログをクエリする時間範囲です。例えば、2023年1月1日 00:00:00から2023年3月31日00:00:00までのログデータをクエリする必要があります。
スケジュール周期:定期的にクエリを実行します。値の範囲は1~1440分です。日次レポートを生成する必要がある場合は、1440分に設定できます。
SQL時間ウィンドウ:クエリ文の時間ウィンドウを指定します。スケジュール周期と組み合わせることで、タンブリングウィンドウ、スライディングウィンドウを実現できます。
タンブリングウィンドウ:重複のないクエリウィンドウです。例えば、スケジュール周期が60分で、SQL時間ウィンドウが60分の場合です。典型的なシナリオ:時間レポートです。
スライディングウィンドウ:重複のあるクエリウィンドウです。例えば、スケジュール周期が1分で、SQL時間ウィンドウが60分の場合です。典型的なシナリオ:「1時間以内のアクティブユーザー」の時系列図を作成し、時間軸の粒度は1分です。
遅延実行:クエリ遅延の時間です。コンソールの【詳細設定】において、値の範囲は60~120秒です。ログのインデックス生成には通常遅延が発生し、インデックスが生成される前はクエリできません。そのため、60秒の遅延クエリを設定します。この時点でインデックスは生成済みです(99.9%のインデックスデータは5秒以内に生成されます)。

ヘルプとサポート

この記事はお役に立ちましたか?

フィードバック