CLSログ沈降機能は、ログを標準ストレージに取り込んで一定期間経過した後、データを標準ストレージから低頻度ストレージへ沈降させて保存することをサポートします。一定のログ統計分析能力を確保した上で、ログのストレージコストを大幅に削減します。詳細はログストレージ概要をご参照ください。 操作シナリオ
操作・アクセス系ログには大きなビジネス価値があり、ビジネスインサイト、カスタマーサービス、プロモーション運用、ユーザーBehavior Analyticsなどのシーンに利用できます。日次・週次レベルのデータを統計分析する必要があります。また、このようなログは180日間の保存期間というコンプライアンス要件も満たす必要があり、ログのクエリ可能性を保証し、攻撃溯源などのシーンに利用します。
このシナリオの要件には、以下の特徴があります:
日次から週次レベルのデータはビジネス価値が高く、さまざまな統計分析グラフに利用する必要があります。使用頻度が高く、応答は迅速である必要があります。主にそのリアルタイム性と分析能力に注目します。
月次レベルのデータはビジネス価値が低く、基本的に分析が不要となり、使用頻度が低い一方で、データ量は非常に多くなります。主にそのストレージコストに注目します。
上記の特徴に対応して、CLSログ沈降は、価値の高い新規データを標準ストレージに取り込んでリアルタイムの分析統計とアラートを行うことをサポートします。一定期間経過後(通常は数日から数週間)、価値と使用頻度が低下した古いデータを、ストレージコストがより低い低頻度ストレージへ沈降させて長期間保存します。
操作手順
2. 左側のナビゲーションバーでログトピックをクリックし、ログトピックリストに移動します。ログトピックの作成をクリックするか、またはログトピックリストで作成済みのログトピックを選択し、基本情報ページで編集を行います。
ログ保存ポリシーを設定し、ログ取り込みで標準ストレージを選択します。ログ保存期間は、ログの永続保存と固定期間保存をサポートします。
ログ沈降スイッチを有効にし、ビジネス要件に応じてログを標準ストレージに保存する期間を選択します。
注意:
ログ保存期間が7日以上の場合のみ、ログ沈降機能を有効にできます。
その他の設定は実際の状況に応じて入力できます。
3. 設定が完了したら、確定をクリックします。
4. 保存後、ログはまず標準ストレージに一定期間取り込まれ、その後低頻度ストレージへ沈降し、ストレージコストが大幅に削減されます。例に示す設定では、ログは標準ストレージに7日間保存され、その後低頻度ストレージへ沈降して23日間保存された後に期限切れとなります。
各ログストレージソリューションの比較
|
適用シーン | 検索のみを行い、分析しないログ | リアルタイム分析とアラートが必要で、長期保存が不要なログ | 短期的にはリアルタイム分析とアラートが必要で、長期的にはコンプライアンスに基づく保存が必要なログ |
インデックス作成 | ✓(全文インデックスのみサポート) | ✓ | ✓ |
コンテキスト検索 | ✓ | ✓ | ✓ |
クイック分析 | × | ✓ | ✓(標準ストレージのデータのみサポート) |
全文検索 | ✓(1億件のデータに2秒で応答) | ✓(1億件のデータに0.5秒で応答) | ✓ |
キーバリュー検索 | × | ✓ | ✓ |
ログダウンロード | ✓ | ✓ | ✓ |
SQL分析 | × | ✓ | ✓(標準ストレージのデータのみサポート) |
ダッシュボード | × | ✓ | ✓(標準ストレージのデータのみサポート) |
監視アラート | × | ✓ | ✓(標準ストレージのデータのみサポート) |
COSへ配信 | ✓ | ✓ | ✓ |
CKafkaへ配信 | ✓ | ✓ | ✓ |
DLCへ配信 | ✓ | ✓ | ✓ |
関数処理 | ✓ | ✓ | ✓ |
ログ消費 | ✓ | ✓ | ✓ |
データ加工 | ✓ | ✓ | ✓ |
スケジュールSQLタスク | × | ✓ | ✓(標準ストレージのデータのみサポート) |
ログ沈降に関するよくある質問
ログ沈降の課金方法
ログ沈降を有効にしたログトピックでは、データはまず標準ストレージに取り込まれ、書き込みトラフィック、標準インデックストラフィックの料金が発生します。取り込み後、標準ストレージに一定期間保存され、その間に標準ログストレージ、標準インデックスストレージの料金が発生します。その後、データは低頻度ストレージへ沈降して長期間保存され、期限切れになります。その間に低頻度ログストレージ、低頻度インデックスストレージの料金が発生します。
例えば:毎日1TBの生ログデータを書き込み、180日間保存し、圧縮率は1:8、インデックス比率は100%とし、広州リージョンの料金を例にすると、毎月の使用量と費用は以下の通りです:
|
ログ保存ポリシー | 標準ストレージは180日間保存されます。 | 標準ストレージに30日間保存した後、低頻度ストレージに移行して150日間保存します。 |
書き込みトラフィック | 96ドル(使用量3.75TB) | 96ドル(使用量3.75TB) |
標準インデックストラフィック | 1,493.3ドル(使用量30TB) | 1,493.3ドル(使用量30TB) |
標準ログストレージ | 1,104.0ドル(使用量675TB) | 184ドル(使用量112.5TB) |
標準インデックスストレージ | 8,831.9ドル(使用量5400TB) | 1472ドル(使用量900TB) |
低頻度ログストレージ | - | 200ドル(使用量562.5TB) |
低頻度インデックスストレージ | - | 1,600ドル(使用量4500TB) |
その他費用 | 極めて少ないです。 | 極めて少ないです。 |
総額(月額) | 11,525ドル | 5,048ドル(総コストは56%削減され、低頻度へ移行したデータストレージコストのみをみると78.3%削減されます) |
ログ沈降周期の変更
ログ沈降は沈降サイクルの変更をサポートしており、変更は一定期間後に有効になります。例えば:7日間標準ストレージ、3日間低頻度ストレージのログトピックを10日間標準ストレージに変更します。変更が有効になるまでの間、データは古い沈降サイクルのまま維持されます。数時間の有効化期間を経て、データ移行が完了し、新しい沈降サイクルに従って有効になり始めます(現在の標準トピックが低頻度ストレージから標準ストレージへデータを復元する場合、料金は発生しません)。