基本的な概念
検索分析は、ログデータのフィルタリング、検索、統計分析の機能を提供します。例えば、errorを含むログの検索、URL別のログ件数集計、PV変化傾向の計算などがあり、CLSで最もよく使われる機能です。
検索分析は分かち書きとインデックスに基づいています。これらの概念にあまり詳しくない場合は、事前に該当ドキュメントを参照することをお勧めします。 機能特性
基本機能
全文検索:ログ全文を対象に検索を行い、ログ内のいずれかのフィールドが検索条件を満たした場合にそのログを検索できます。例えば、errorを使用して、errorが出現したすべてのログを検索します。
キー値検索:ログ内の指定されたフィールドを対象に検索を行い、指定フィールドが検索条件を満たした場合にそのログを検索できます。例えば、level:error AND timeCost:>1000を使用して、ログレベル(level)が error かつ所要時間(timeCost)が 1000ms より大きいログを検索します。
統計分析:検索条件に一致するログに対して統計分析を行い、統計分析結果を返します。例えば、status:404 | select count(*) as logCountsを使用して、レスポンスステータスコードが404のログ数を集計します。
注意:
低頻度ストレージは全文検索のみをサポートし、キー値検索および統計分析はサポートしません。 高度な機能
ログ検索
マルチトピック検索:複数のログトピックを同時に検索できますが、統計分析には対応していません。ログセットをまたぐことはできますが、リージョンをまたぐことはできません。 コンテキスト検索:対象ログデータの元ファイルにおける前の数件のログ(上文)または後ろの数件のログ(下文)を検索して取得します。指定したログのコンテキスト情報を確認することで、業務障害の切り分け時に障害情報を迅速に特定し、問題の切り分けを容易にします。 カスタムジャンプ:ログフィールド値をクリックするとカスタムジャンプを実行できます。これにより、さらなる操作が容易になります。例えば、user_idに基づいて内部ユーザー管理プラットフォームでユーザー情報を照会できます。 ログのダウンロード:検索条件に一致するログをローカルにダウンロードします。1回で最大5000万件のログをダウンロードできます。 ログ統計分析
クイック分析:ログフィールド名をクリックすると、フィールド値の分布、時間経過に伴う変化傾向、数値統計を迅速に分析できます。 サンプリング分析:統計分析機能を使用する際、元のログ件数が非常に多い場合や統計分析文(SQL)が複雑な場合、統計分析が遅くなったり、タイムアウトしたりすることがあります。このような場合、サンプリング分析機能を使用して元のログをランダムにサンプリングしてから、統計分析を行うことができます。 外部データの関連付け:ログを統計分析する際、ログと外部データを関連付けて統計を行うことができます。例えば、ログ内のユーザーIDに基づいてユーザー情報データベースでユーザーの性別を照会し、その性別ごとにログを統計分析できます。 製品の強み
事前に構築されたインデックスデータに基づくため、検索分析性能は一般的なテキストスキャン方式のクエリ(例えばLinux grepコマンドやテキストエディタの検索機能)よりもはるかに高く、大量のログデータのリアルタイムクエリに適しています。
統計分析はSQLをサポートし、SQL-92規格に準拠しています。柔軟なSQL構文と400以上のSQL関数を使用してログを統計し、ほとんどの統計分析ニーズを満たすことができます。
料金説明
検索分析自体には料金は発生しません。ただし、ログをログサービスプラットフォームに報告し、インデックスを有効にすることに依存しているため、ログおよびインデックストラフィック料金、ストレージ料金、トピックパーティション料金が発生します。詳細は課金概要をご参照ください。また、APIを使用して検索分析インターフェースを呼び出すとサービスリクエスト回数料金が発生し、ログダウンロード機能を使用すると外部ネットワーク読み取りトラフィック料金が発生します。 製品の使用料金を削減したい場合は、コスト最適化を参照してください。 仕様と制限