tencent cloud

Cloud Log Service

ドキュメントCloud Log Service操作ガイド配信と消費COSへの配信新しい配信タスクの作成

新しい配信タスクの作成

ダウンロード
フォーカスモード
フォントサイズ
最終更新日: 2026-10-12 14:51:41
AI翻訳

操作シナリオ

ログをCLSに収集した後、ログデータをCOSに配信して保存または分析することができます。このドキュメントでは、COSへの配信を作成する操作手順について説明します。

前提条件

1. CLSを有効化し、ログセットとログトピックを作成し、正常にログデータを収集します。
2. Tencent COSサービスを有効化し、かつ配信先ログトピックのリージョンにストレージバケットを作成済みである必要があります。詳細な設定については、ストレージバケットの作成ドキュメントを参照してください。
3. サブアカウント/コラボレーターはメインアカウントの承認が必要です。承認手順についてはCAMベースの権限管理を、承認ポリシーについてはCLSアクセスポリシーテンプレートを参照してください。
4. Tencent Cloud CLSサービスロールにCOSへのアクセス権限が付与されています。ほとんどのユーザーはコンソールから操作する際、システムがユーザーを認可手続きに案内します。一部のユーザーはコンソールを介さず直接APIを呼び出すため、手動で認可を行う必要があります。詳細については配信タスクロールの認可を参照してください。

操作手順

1. CLSコンソールにログインします。
2. 左側のナビゲーションバーでログトピックをクリックします。
3. 配信対象のログトピックID/名をクリックして、ログトピック管理ページに移動します。
4. COSへ配信タブをクリックし、COSへ配信設定ページに移動して、配信設定を追加をクリックします。
5. ログをアーカイブする必要がある場合、CLSのログ移行機能を使用して、コールドデータを低頻度ストレージに移行できます。移行後、ストレージ費用を効果的に削減しながら、ログの検索は引き続き可能です。例えば、合計保存期間を180日間に設定し、そのうち標準ストレージ（ホットデータ）を30日間、低頻度ストレージ（コールドデータ）を150日間にすることで、ログの監査要件を満たすことができます。引き続きCOSへの配信を選択する場合は、以下の設定を参照してください：
設定項目
説明
ルール
必須/任意
配信タスク名
配信タスクの名前を設定します。
-
必須
配信時間範囲
開始時間：配信するログデータの開始時間です。デフォルトでは、このログトピックのライフサイクルで最も早い時点が指定されます。
終了時間：配信するログデータの終了時間です。未来の時間は選択できません。未入力の場合、ログの継続配信を意味します。
注意：
開始時間が過去の時間で、終了時間を入力しない場合、継続配信となり、タスクは過去ログとリアルタイムログを同時に配信します。 例えば、2023年1月1日00:03から∞までのデータを配信するように選択し、配信タスクを送信した時間が2023年2月13日19:05の場合、過去ログは2023年1月1日00:03から2023年2月13日19:05まで、リアルタイムログは2023年2月13日19:05から∞までとなり、2種類のデータが同時にCOSへ配信されます。配信タスク一覧で過去データ配信の進捗と過去データ配信の完了に必要な時間を確認できます。
タスク送信後、配信時間範囲は変更できません
。
時間選択
必須
配信ファイルサイズ
投递する元のログファイルのサイズは、投递間隔時間と組み合わせて使用します。どちらの条件が先にトリガーされた場合でも、その条件に従ってファイルを圧縮し、COSに投递します。
例えば、256M、15分と設定した場合、ファイルサイズが5分で256MBに達した場合、ファイルサイズの条件が先にトリガーされ、配信タスクが実行されます。
5 - 256、単位：MB
必須
配信間隔時間
投递間隔時間を指定し、その間隔で投递をトリガーします。投递ファイルサイズと組み合わせて使用し、どちらの条件が先にトリガーされた場合でも、その条件に従ってファイルを圧縮し、COSに投递します。
例えば、256MB、15分と設定した場合、ファイルサイズが15分時点で200MBに過ぎない場合、間隔時間の条件が先にトリガーされ、配信タスクが実行されます。
5 - 15分
必須
6. 次へをクリックし、
ターゲットバケット
設定に進みます。
設定項目
説明
ルール
必須/任意
ターゲットCOSバケットの帰属
現在のメインアカウント
その他のメインアカウント
CLSログを現在のメインアカウントのCOSバケットに配信します。
CLSログを他のメインアカウントのCOSバケットに配信する場合、例えばAアカウントのCLSログをBアカウントのCOSバケットに配信するには、BアカウントがCAM（アクセス管理）側でアクセスロールを設定する必要があります。設定完了後、AアカウントがロールARNと外部IDをCLSコンソールに入力することで、クロスアカウント配信が可能になります。ロールの設定手順は以下の通りです：
1. ロールを新規作成します。アカウントBでCAMロール管理ページにログインします。
1.1 アクセスポリシーを作成します。ポリシー名の例：cross_shipper。ポリシー構文は以下の通りです：
説明：
例示の認可は最小権限の原則に従い、resourceは広州地域のCOSバケット：test123-123456789にのみ配信できるように設定されています。実際の状況に応じて認可を行ってください。
{
    "statement": [
        {
            "action": [
                "cam:GetRole"
            ],
            "effect": "allow",
            "resource": [
                "*"
            ]
        },
        
        {
            "action": [
                "cos:PutObject"
            ],
            "effect": "allow",
            "resource": [
                "qcs::cos:ap-guangzhou:uid/123456789:test123-123456789/*"
            ]//広州地域のCOSバケット：test123-123456789に配信します。実際の状況に応じて認可を行ってください。
        }
    ],
    "version": "2.0"
}
1.2 ロールを新規作成し、Tencent Cloudアカウントロールキャリアを選択します。クラウドアカウントタイプで他のメインアカウントを選択し、AアカウントのIDを入力します。例えば100012345678です。検証を有効にするにチェックを入れ、外部IDを設定します。例えばHello123です。
1.3 ロールのアクセスポリシーを設定し、最初の手順で設定したアクセスポリシーcross_shipper（例）を選択します。
1.4 このロールを保存します。例：uinA_writeCLS_to_COS。
2. ロールにキャリアを設定します。CAMロールリストでuinA_writeCLS_to_COS（例）を見つけ、そのロールをクリックし、下にあるロールキャリア > キャリア管理 > プロダクトサービスの追加 > CLSを選択を選択してから、更新をクリックします。
現在のロールのキャリアは2つあることが確認できます。1つはAアカウントで、もう1つはcls.cloud.tencent.com（CLS）です。
3. AアカウントでCLSにログインし、ロールArnと外部IDを入力します。
以下の2つの情報はBアカウントが提供します：
BアカウントでCAMロールリストからロールuinA_writeCLS_to_COS（例）を見つけ、クリックするとそのロールのRoleArnを確認できます。例：qcs::cam::uin/100001112345:roleName/uinA_writeCLS_to_COS。
ロールキャリアで外部IDを確認できます。例：Hello123。
注意：
ロールARN、外部IDを入力する際、余分なスペースを入力しないように注意してください。そうしないと権限検証が失敗します。
クロスアカウント配信では、Aアカウントにログトピックの読み取りトラフィック料金が発生します。
現在のメインアカウント/その他のメインアカウント
任意
COSストレージバケット
ログ配信先のターゲットストレージバケットです。クロスアカウント配信の場合、ユーザーがターゲットストレージバケットの名前を手動で入力する必要があります。
リストから選択
必須
ファイル命名
配信時間の命名：デフォルトオプションです。例：202208251645_000_132612782.gzは配信時間_ログトピックパーティション_offsetを示し、Hiveはこのファイルをロードできます。
ランダム数命名：旧バージョンの命名方式です。Hiveは認識しない場合があります。Hiveは_で始まるファイルを認識しません。COSパス設定項目でカスタムプレフィックスを追加できます。例：/%Y%M%d/%H/Yourname。
/
必須
ファイル
圧縮
非圧縮\\snappy\\lzop\\gzip。
gzip\\snappy\\lzop
必須
COSパス
COSストレージバケットにログを保存するパスです。デフォルトでは/年/月/日/時/の形式で保存されます。例えば/2022/7/31/14/です。パス設定はstrftimeの構文をサポートします。例：
/%Y/%m/%d/で生成されたパスは/2022/7/31/です。
/%Y%M%d/%H/で生成されたパスは/20220731/14/です。
/で始まらない
任意
COSストレージタイプ
ログをCOSバケットに保存するタイプ：標準ストレージ、低頻度ストレージ、インテリジェント階層ストレージ、アーカイブストレージ、ディープアーカイブストレージです。詳細はストレージタイプの概要をご参照ください。
説明：
クロスアカウント配信では、現時点でCOSストレージタイプの選択はサポートされていません。
リストから選択
必須
7. 次へをクリックし、詳細設定に進みます。データ形式を選択し、JSON/CSV/Parquetで配信できます。
配信データ形式
利用シーン
Tencent Cloud DLCのデータレイク取り込み計算に使用できます。
CSV配信を利用してログ原文の配信（単一行、複数行、区切り文字で収集されたログ）を実現できます。
一般的なデータ形式です。ユーザーは自身のビジネスシーンに応じて選択してください。
ログデータは構造化データである必要があります。データ型変換をサポートします（単一行、複数行の収集ではありません）。主にHiveで使用されます。

配信形式はJSON

1. 配信するログ内容（フィールド）を選択します。_CONTENT_はユーザーのログです。_SOURCE_、_FILENAME_、_HOSTNAME_、_TIMESTAMP_、_TAG_のメタ情報はすべてCLSのメタデータフィールドです。実際の状況に応じてチェックを入れてください。
2.
エスケープオプション：
エスケープオプション
説明
エスケープなし
JSON構造と階層は変更されず、ログ形式は収集側と一致します。
例：
ログ原文：{"a":"aa", "b":{"b1":"b1b1", "c1":"c1c1"}}
COSに配信：{"a":"aa", "b":{"b1":"b1b1", "c1":"c1c1"}}
注意：
JSONの第1階層ノードに数値が含まれている場合、配信後に自動的にint、floatへ変換されます。
ログ原文：{"a":123, "b":"123", "c":"-123", "d":"123.45", "e":{"e1":123,"f1":"123"}}
COSに配信：{"a":123,"b":123,"c":-123,"d":123.45,"e":{"e1":123,"f1":"123"}}
エスケープ
JSONの第1階層ノードの値をStringに変換します。ノード値がStructの場合、下流でデータを格納または計算する際に、事前にStringへ変換する必要があるため、このオプションを選択できます。 例1：
ログ原文：{"a":"aa", "b":{"b1":"b1b1", "c1":"c1c1"}}
COSに配信：{"a":"aa","b":"{\\"b1\\":\\"b1b1\\", \\"c1\\":\\"c1c1\\"}"}
例2：
ログ原文：{"a":123, "b":"123", "c":"-123", "d":"123.45", "e":{"e1":123,"f1":"123"}}
COSに配信：{"a":"123","b":"123","c":"-123","d":"123.45","e":"{\\"e1\\":123,\\"f1\\":\\"123\\"}"}

配信形式はCSV

CSV形式でログをCOSに配信することを選択します。
説明：
不要なCLSメタデータフィールドを削除できます。
設定項目の説明は以下の通りです：
設定項目
説明
ルール
必須/任意
キー名（key）
CSVファイルに書き込むキー（key）フィールドを指定します（入力するkeyは、ログ構造化後のkey名または予約フィールドである必要があります。それ以外の場合は無効なkeyとみなされます）。
文字、数字、および_-./@のみをサポートします。
必須
区切り文字
CSVファイル内の各フィールド間の区切り文字
リストから選択
必須
エスケープ文字
通常フィールド内に区切り文字が含まれる場合は、その文字をエスケープ文字で囲み、データ読み取り時に誤認識されるのを防ぐ必要があります。
リストから選択
必須
無効フィールドの埋め込み
設定したキー（key）フィールドが存在しない場合、無効フィールドで埋められます。
リストから選択
必須
先頭行のKey
CSVファイルの先頭行にフィールド名の説明を追加します。つまり、キー（key）をCSVファイルの先頭行に書き込みます。デフォルトでは書き込みません。
オン/オフ
必須

配信形式はParquet

ParquetファイルはHiveによってロードでき、ビッグデータの計算分析に多く使用されます。以下では、Parquet形式のログ配信タスクを作成する方法について詳しく説明します。
注意：
Parquetファイルは主にビッグデータプラットフォームで使用されます。Parquet自体に一定の圧縮率があり、さらにファイル圧縮形式（snappy/lzop/gzip）も加わるため、配信ファイルサイズは大きめに設定する必要があります。200MB以上を推奨します（COSに配信すると約50Mになります）。
Parquet形式では配信データのプレビューはサポートされていません。
COSに配信されたログをCLSログトピックに再インポートする必要がある場合は、COSデータのインポートを使用します。Parquet形式はCLSログトピックへのインポートをサポートしていませんが、CSV形式とJSON形式はサポートしています。
設定項目の説明は以下の通りです：
設定項目
説明
必須/任意
キー名（key）
ParquetファイルのHeader部分に書き込むキー（key）フィールドです。システムが自動取得したログ内のキーがお客様の要件を満たさない場合、フィールドを追加できます。最大100個まで追加可能で、フィールド名にはアルファベット、数字、_-./@のみ使用できます。
ある行のログに定義済みのKeyが存在しない場合、その行のログに対応するParquetファイルのBodyにはこのKeyは含まれません。これはSpark、Flinkなどのビッグデータ計算に影響しません。
必須
データ型
このフィールドのParquetファイルにおけるデータ型：String、Boolean、Int32、Int64、Float、Double
必須
解析失敗時の代入値
データ解析に失敗した場合に付与されるデフォルト値です。あるフィールド値（String型）の解析に失敗した場合、その値を空文字列「」に指定できます。NULLまたはカスタム文字列を指定することもできます。その他のデータ型：Boolean、Int32、Int64、Float、Doubleも同様です。
必須
前の記事へ: 配信タスクロールの認可次の記事へ: ログ原文の配信

ヘルプとサポート

この記事はお役に立ちましたか？

フィードバック

キーワードで検索
    Enter keywords to search documentation