関数名 | 関数機能 | 関数構文の説明 | 戻り値の型 |
区切り文字に基づいてフィールド値を抽出します。 | ext_sep("ソースフィールド名", "ターゲットフィールド1,ターゲットフィールド2,ターゲットフィールド...", sep="区切り文字", quote="分割対象外の部分", restrict=False, mode="overwrite") | 抽出後のログ（LOG）を返します。 | |
指定文字（列）に基づいてフィールド値を抽出します。 | ext_sepstr("ソースフィールド名","ターゲットフィールド1,ターゲットフィールド2,ターゲットフィールド...", sep="abc", restrict=False, mode="overwrite") | 抽出後のログ（LOG）を返します。 | |
JSON文字列形式のフィールド値を抽出します。 | 抽出後のログ（LOG）を返します。ext_json("ソースフィールド名",prefix="",suffix="",format="full",exclude_node="平坦化しないJSONノード") | 抽出後のログ（LOG）を返します。 | |
Jmes式を使用してフィールド値を抽出します。 | ext_json_jmes("ソースフィールド名", jmes="JSON抽出式", output="ターゲットフィールド", ignore_null=True, mode="overwrite") | 抽出後のログ（LOG）を返します。 | |
2レベルの区切り文字に基づいてフィールド値を抽出します。 | ext_kv("ソースフィールド名", pair_sep=r"\\s", kv_sep="=", prefix="", suffix="", mode="fill-auto") | 抽出後のログ（LOG）を返します。 | |
正規表現に基づいてフィールド値を抽出します。 | ext_regex("ソースフィールド名", regex="正規表現", output="ターゲットフィールド1、ターゲットフィールド2、ターゲットフィールド.......", mode="overwrite") | 抽出後のログ（LOG）を返します。 | |
パラメータ内で最初の非nullかつ非空文字の結果値を返します。 | ext_first_notnull(値1, 値2, ...) | パラメータ内の最初の非null結果値を返します。 | |
grok構文に基づいて一致結果値を抽出します。 | ext_grok(フィールド値, grok="", extend="") | 抽出後のログ（LOG）を返します。 |
関数名 | 関数機能 | 関数構文の説明 | 戻り値の型 |
csv構造データを使用してログ内のフィールドをマッチングします。値が同じ場合、csv内の他のフィールドと値をソースログに追加できます。 | enrich_table（「csv ソースデータ」、「csv エンリッチメントフィールド」、output=「ターゲットフィールド1、ターゲットフィールド2、ターゲットフィールド....」、mode="overwrite"） | マッピング後のログ（LOG）を返します。 | |
Dict構造を使用してログ内のフィールド値をマッチングします。指定されたフィールドの値とDict内のKeyが同じ場合、このKeyに対応するValueをログ内の別のフィールドに代入します。 | enrich_dict（「JSON辞書」、「ソースフィールド名」、output=ターゲットフィールド、mode="overwrite"） | マッピング後のログ（LOG）を返します。 | |
目标テーブルとマッピングを行い、入力されたフィールド名に基づいてフィールド値を返します。簡単に言えば、ログとディメンションテーブルの関連付けと理解できます。 | t_table_map(data, field, output_fields, missing=None, mode="fill-auto") | マッピング後のログ（LOG）を返します。 |
関数名 | 関数機能 | 関数構文の説明 | 戻り値の型 |
組合操作関数であり、分岐コードブロックの組み合わせ能力に類似し、複数の操作関数を組み合わせて順番に実行でき、分岐や出力関数と組み合わせて使用できます。 | compose（"関数1"、"関数2"、...） | ログ（LOG）を返します。 | |
条件を満たすログに対しては、対応する関数処理を行います。それ以外の場合は、何も処理を行いません。 | t_if（"条件"、関数） | ログ（LOG）を返します。 | |
条件を満たさないログに対しては、対応する関数処理を行います。それ以外の場合は、何も処理を行いません。 | t_if_not（"条件"、関数） | ログ（LOG）を返します。 | |
条件判断に基づいて、それぞれ異なる関数処理を行います。 | t_if_else（"条件"、関数1、関数2） | ログ（LOG）を返します。 | |
複数の分岐条件に基づいて、それぞれ異なる関数処理を行います。すべての条件に一致しないデータが存在する場合、そのデータは破棄されます。 | t_switch（"条件1"、関数1、"条件2"、関数2、...） | ログ（LOG）を返します。 |
関数名 | 関数機能 | 関数構文の説明 | 戻り値の型 |
指定されたターゲットトピックに出力します。分岐条件と組み合わせて使用することも、単独で使用することもできます。 | log_output（ログトピックエイリアス）は、データ加工タスクを新規作成する際に、ターゲットログトピックエイリアスの箇所で設定します。 | 戻り値はありません。現在のデータストリームに対して出力を行います。 | |
ログを動的なターゲットトピックに出力します。例えば、ログフィールド「pd」の値に基づいて、複数のターゲットログトピックを動的に作成し、対応するログをターゲットログトピックに配信する必要があります。 | log_auto_output(topic_name="", logset_name="", index_options="", period=3、storage_type=" ",hot_period=0) | 戻り値はありません。現在のデータストリームに対して出力を行います。 | |
区切り文字とJmes式を組み合わせて、特定のフィールドを分割し、分割結果を複数行のログに展開します。 | log_split(フィールド名, sep=",", quote="\\", jmes="", output="") | ログ（LOG）を返します。 | |
条件を満たすログを破棄します。 | log_drop(条件1) | ログ（LOG）を返します。 | |
条件を満たすログを保持します。 | log_keep(条件1) | ログ（LOG）を返します。 | |
ログをJmes構文に基づいてJSON配列に分割し、展開します。 | log_split_jsonarray_jmes("field", jmes="items", prefix="") | ログ（LOG）を返します。 |
関数名 | 関数機能 | 関数構文の説明 | 戻り値の型 |
動的に生成されたトピックにタグを付けます。ログフィールドからタグ値を抽出し、これらのタグ値を動的に生成されたトピックのタグとして設定します。 | extract_tag(タグ名1、タグ値1、タグ名2、タグ値2....) | ログ（LOG）を返します。 | |
フィールド名に基づいてマッチングを行い、マッチしたフィールドを削除します。 | fields_drop(フィールド名1、フィールド名2、...、regex=False、nest=False) | ログ（LOG）を返します。 | |
フィールド名に基づいてマッチングを行い、マッチしたフィールドを保持します。 | fields_keep(フィールド名1、フィールド名2、...、regex=False) | ログ（LOG）を返します。 | |
正規表現に基づいてフィールド名をマッチングし、マッチしたフィールドを新しいフィールドにパックします。新しいフィールド値はJSON形式で構成されます。 | fields_pack(対象フィールド名、include=".*"、exclude=""、drop_packed=False) | ログ（LOG）を返します。 | |
フィールド値を設定するか、または新しいフィールドを追加するために使用します。 | fields_set(フィールド名1、フィールド値1、フィールド名2、フィールド値2、mode="overwrite") | ログ（LOG）を返します。 | |
フィールド名を変更します。 | fields_rename(フィールド名1、新フィールド名1、フィールド名2、新フィールド名2、regex=False) | ログ（LOG）を返します。 | |
フィールドが存在する場合はTrueを返し、存在しない場合はFalseを返します。 | has_field(フィールド名) | 条件値（BOOL）を返します。 | |
フィールドが存在しない場合はTrueを返し、存在する場合はFalseを返します。 | not_has_field(フィールド名) | 条件値（BOOL）を返します。 | |
フィールド値を取得し、対応する文字列を返します。 | v(フィールド名) | 戻り値は文字列型（STRING）です。 |
関数名 | 関数機能 | 関数構文の説明 | 戻り値の型 |
リスト（配列）の値を取得します。 | array_get（配列、インデックス位置） | 戻り値は文字列型（STRING）です。 | |
JSONにノードを追加します。 | json_add(key,data) | 戻り値は文字列型（STRING）です。 | |
辞書内のキーと値のペアを追加/削除/変更します。 | json_edit("result", path="", key="",value="333",index=1,mode="edit") | dictを返します。 | |
Jmes式を使用してJSONフィールド値を抽出し、Jmes抽出結果のJSON文字列を返します。 | json_select(v(フィールド名), jmes="") | 戻り値は文字列型（STRING）です。 | |
JSONにKVペアを追加します。 | json_update（json値、key1、value1、key2、value2） | 戻り値は文字列型（STRING）です。 | |
XML値を解析してJSON文字列に変換します。入力値はXML文字列構造である必要があり、そうでない場合は変換エラーが発生します。 | xml_to_json（フィールド値） | 戻り値はdictです。 | |
JSON文字列値を解析してXML文字列に変換します。 | json_to_xml（フィールド値） | 戻り値は文字列型（STRING）です。 | |
JSON文字列かどうかを判断します。 | if_json（フィールド値） | 条件値（BOOL）を返します。 |
関数名 | 関数機能 | 関数構文の説明 | 戻り値の型 |
機密情報を検出します。例えば、身分証明書、銀行カードなどの機密情報です。 | sensitive_detection(scope="", ratio=1, discover_items="", replace_items="") | 戻り値は文字列型（STRING）です。 | |
正規表現に基づいてデータをマッチングし、マッチングが成功したかどうかを返します。完全一致または部分一致を選択できます。 | regex_match(フィールド値、regex=""、full=True) | 条件値（BOOL）を返します。 | |
正規表現に基づいてデータをマッチングし、対応する部分一致の結果を返します。一致結果の何番目の式、および何番目のグループを指定できます（部分一致+指定キャプチャグループ番号）。最終的に一致結果がない場合は、空の文字列を返します。 | regex_select(フィールド値、regex=""、index=1、group=1) | 戻り値は文字列型（STRING）です。 | |
正規表現に基づいてデータを分割し、JSON Array 文字列を返します（部分一致）。 | regex_split(フィールド値、regex=""、limit=100) | 戻り値は文字列型（STRING）です。 | |
正規表現に基づいてマッチングし、置換します（部分一致）。 | regex_replace(フィールド値、regex=""、replace=""、count=0) | 戻り値は文字列型（STRING）です。 | |
正規表現に基づいてマッチングし、マッチング結果を JSON 配列に追加し、Array 文字列を返します（部分一致）。 | regex_findall(フィールド値、regex="") | 戻り値は文字列型（STRING）です。 |
関数名 | 関数機能 | 関数構文の説明 | 戻り値の型 |
時間型のフィールド値（特定形式の日付文字列またはタイムスタンプ）を、指定したタイムゾーンと形式の日付文字列に変換します。 | dt_str(値、format="フォーマット文字列"、zone="") | 戻り値は文字列型（STRING）です。 | |
時間型のフィールド値（特定形式の日付文字列）を、フィールドに対応するタイムゾーンを指定した上で、UTCタイムスタンプに変換します。 | dt_to_timestamp(値、zone="") | 戻り値は文字列型（STRING）です。 | |
時間型のタイムスタンプフィールドを、対象タイムゾーンを指定した後、時間文字列に変換します。 | dt_from_timestamp(値、zone="") | 戻り値は文字列型（STRING）です。 | |
加工計算時のローカル時間を取得します。 | dt_now(format="フォーマット文字列"、zone="") | 戻り値は文字列型（STRING）です。 | |
カスタムログ時間は、お客様の加工ルールに従って新しいログ時間を生成し、秒、ミリ秒、マイクロ秒、ナノ秒に対応します。 | custom_cls_log_time(time) | UTCタイムスタンプ型 |
関数名 | 関数機能 | 関数構文の説明 | 戻り値の型 |
部分文字列が存在するかどうかを判断します。 | str_exist(値1, 値2, ignore_upper=False) | 計算結果（BOOL）を返します。 | |
値内の指定範囲で部分文字列を検索し、部分文字列が出現した回数を返します。 | str_count(値, sub="", start=0, end=-1) | 部分文字列の回数（INT）を返します。 | |
文字列の長さを返します。 | str_len(値) | 文字列の長さ（INT）を返します。 | |
大文字の文字列を返します。 | str_uppercase(値) | 戻り値は文字列型（STRING）です。 | |
小文字の文字列を返します。 | str_lowercase(値) | 戻り値は文字列型（STRING）です。 | |
連結文字列を使用して、複数の値を連結します。 | str_join(連結文字列1, 値1, 値2, ...) | 戻り値は文字列型（STRING）です。 | |
文字列を置換し、置換結果の文字列を返します。 | str_replace(値, old="", new="", count=0) | 戻り値は文字列型（STRING）です。 | |
文字列をフォーマットし、フォーマット結果を返します。 | str_format(フォーマット文字列, 値1, 値2, ...) | 戻り値は文字列型（STRING）です。 | |
文字列の先頭と末尾にある指定文字を削除します。 | str_strip(値, chars="\\t\\r\\n") | 戻り値は文字列型（STRING）です。 | |
文字列の先頭にある指定文字を削除します。 | str_strip(値, chars="\\t\\r\\n") | 戻り値は文字列型（STRING）です。 | |
文字列の末尾にある指定文字を削除します。 | str_strip(値, chars="\\t\\r\\n") | 戻り値は文字列型（STRING）です。 | |
値内で部分文字列を検索し、部分文字列が出現した位置を返します。 | str_find(値, sub="", start=0, end=-1) | 値の中で最初に出現する部分文字列の位置（INT）を返します。 | |
文字列が指定された文字列で始まるかどうかを判断します。 | str_start_with(値, sub="", start=0, end=-1) | 一致するかどうかの結果（BOOL）を返します。 | |
文字列が指定された文字列で終わるかどうかを判断します。 | str_end_with(値, sub="", start=0, end=-1) | 一致するかどうかの結果（BOOL）を返します。 |
関数名 | 関数機能 | 関数構文の説明 | 戻り値の型 |
条件に基づいて判断し、対応する値を返します。 | op_if（条件1、値1、値2） | 条件がTrueの場合は値1を返し、それ以外の場合は値2を返します。 | |
値に対してand演算を行い、すべてがTrueの場合はTrueを返し、それ以外の場合はFalseを返します。 | op_and（値1、値2、...） | 計算結果（BOOL）を返します。 | |
パラメータ値にTrueが存在する場合はTrueを返します。すべてのパラメータ値がFalseの場合にのみFalseを返します。 | op_or（値1、値2、...） | 計算結果（BOOL）を返します。 | |
値に対してnot演算を行います。 | op_not（値） | 計算結果（BOOL）を返します。 | |
値を比較し、等しい場合はTrueを返します。 | op_eq（値1、値2） | 比較結果（BOOL）を返します。 | |
値を比較し、値1が値2以上の場合はTrueを返します。 | op_ge（値1、値2） | 比較結果（BOOL）を返します。 | |
値を比較し、値1が値2より大きい場合にTrueを返します。 | op_gt（値1、値2） | 比較結果（BOOL）を返します。 | |
値を比較し、値1が値2以下の場合にTrueを返します。 | op_le（値1、値2） | 比較結果（BOOL）を返します。 | |
値を比較し、値1が値2より小さい場合にTrueを返します。 | op_lt（値1、値2） | 比較結果（BOOL）を返します。 | |
値に対して合計演算を行います。 | op_add（値1、値2） | 評価結果を返します。 | |
値に対して差を求める演算を行います。 | op_sub（値1、値2） | 評価結果を返します。 | |
値に対して乗算を行います。 | op_mul（値1、値2） | 評価結果を返します。 | |
値に対して除算を行います。 | op_div（値1、値2） | 評価結果を返します。 | |
複数の値を累積して合計を求めます。 | op_sum（値1、値2、...） | 評価結果を返します。 | |
値に対して剰余演算を行います。 | op_mod（値1、値2） | 評価結果を返します。 | |
値がnullかどうかを判断し、nullの場合はTrueを返し、それ以外の場合はFalseを返します。 | op_null（値） | 計算結果（BOOL）を返します。 | |
値が非nullかどうかを判断し、非nullの場合はTrueを返し、それ以外の場合はFalseを返します。 | op_notnull（値） | 計算結果（BOOL）を返します。 | |
文字列値を比較し、等しい場合はTrueを返します。 | op_str_eq（値1、値2、ignore_upper=False） | 計算結果（BOOL）を返します。 | |
2つのパラメータ間の乱数を生成します。区間は左閉右閉です。 | random（値1、値2） | 評価結果を返します。 |
関数名 | 関数機能 | 関数構文の説明 | 戻り値の型 |
エンコードされたURLをデコードします。 | decode_url(値) | 戻り値は文字列型（STRING）です。 | |
MD5値を計算して返します。 | md5_encoding(値) | MD5値を計算して返します。 | |
universally unique identifier（UUID）、つまり一意の識別子を生成します。 | uuid() | UUID値を計算して返します。 | |
文字列を指定された形式でエンコードします。 | str_encode(値) | 戻り値は文字列型（STRING）です。 | |
文字列を指定された形式でデコードします。 | str_decode(値) | 戻り値は文字列型（STRING）です。 | |
文字列をbase64でエンコードします。 | base64_encode(値, format="RFC3548") | base64文字列型（STRING）を返します。 | |
文字列をbase64でデコードします。 | base64_decode(値, format="RFC3548") | 戻り値は文字列型（STRING）です。 |
関数名 | 関数機能 | 関数構文の説明 | 戻り値の型 |
関数の地理的位置を解析します。 | geo_parse(フィールド値、keep=("country","province","city")、ip_sep=",") | JSON文字列を返します。 | |
IPがこのネットワークセグメント内にあるかどうかを判断し、複数のネットワークセグメントをサポートします。 | is_subnet_of (ネットワークセグメントリスト、ip) | 計算結果（BOOL）を返します。 |
カテゴリー | 関数 | 抽出モードのデフォルト値 |
フィールド処理 | overwrite | |
キー値抽出 | overwrite | |
| overwrite | |
| overwrite | |
| overwrite | |
| overwrite | |
エンリッチメント関数 | overwrite | |
| overwrite | |
| fill-auto | |
{"a": "","b": 100}
パラメータ名 | 説明 | 例 | |
| | 加工ステートメント | 加工結果 |
add | 対象フィールドが存在しない場合、対象フィールドを設定します。 | fields_set("c", 200,mode="add") | { "a":"", "b":"100", "c":"200" } |
add-auto | 新しい値が空でなく、かつ対象フィールドが存在しない場合、対象フィールドを設定します。 | fields_set("c", "",mode="add-auto") | { "a":"", "b":"100" } |
fill | 対象フィールドが存在しないか、または値が空文字列の場合、対象フィールドを設定します。 | fields_set("a", "123",mode="fill") | { "a":"123", "b":"100" } |
fill-auto | 新しい値が空でなく、かつ対象フィールドが存在しないか、または値が空文字列の場合、対象フィールドを設定します。 | fields_set("a", "123",mode="fill-auto") | { "a":"123", "b":"100" } |
overwrite | 常に対象フィールドを設定します。 | fields_set("a", "123",mode="overwrite") | { "a":"123", "b":"100" } |
overwrite-auto | 新しい値が空でない文字列の場合、対象フィールドを設定します。 | fields_set("b", "123",mode="overwrite-auto") | { "a":"null", "b":"123" } |
フィードバック