华为云用户手册

e_kv_delimit 通过分隔符提取源字段中的键值对信息。 函数格式 e_kv_delimit(源字段或源字段列表, pair_sep=r"\s", kv_sep="=", prefix="", suffix="", mode="fill-auto") 参数说明 参数名称 参数类型 是否必填 说明 源字段或源字段列表 字符串或字符串列表 是 字段名或多个字段名的列表。 pair_sep String 否 用于分隔键值对的正则字符集，默认为\s。例如\s\w、abc\s等。 说明 如果您需要使用字符串对字段进行分隔，推荐您使用str_replace或regex_replace将字符串转换成字符作为分隔符，然后再使用e_kv_delimit函数对字段进行分隔。 kv_sep String 否 用于分隔键值对的正则字符串，默认为=，不限于单个字符。 可以使用非捕获分组，但不能使用捕获分组。 prefix String 否 给提取的字段名添加前缀。 suffix String 否 给提取的字段名添加后缀。 mode String 否 字段的覆盖模式。默认为fill-auto。 返回结果 返回附带新字段值的日志。 函数示例 示例1：使用默认分隔符=提取键值对信息。 测试数据 { "data": "i=c1 k1=v1 k2=v2 k3=v3"} 如果测试数据为request_uri: a1=1&a2=&a3=3，a2值为空，则使用e_kv_delimit()函数无法提取出a2。您可以使用e_regex()函数进行提取，例如e_regex("request_uri",r'(\w+)=([^=&]*)',{r"\1":r"\2"}, mode="overwrite")。 加工规则 e_kv_delimit("data") 加工结果 data: i=c1 k1=v1 k2=v2 k3=v3 i: c1 k2: v2 k1: v1 k3: v3 示例2：使用分隔符&?提取键值对信息。 测试数据 { "data": "k1=v1&k2=v2?k3=v3"} 加工规则 e_kv_delimit("data",pair_sep=r"&?") 加工结果 data: k1=v1&k2=v2?k3=v3k2: v2 k1: v1 k3: v3 示例3：使用正则表达式提取键值对信息。 测试数据 { "data": "k1=v1 k2:v2 k3=v3"} 加工规则 e_kv_delimit("data", kv_sep=r"(?:=|:)") 加工结果 data: k1=v1 k2:v2 k3=v3 k2: v2 k1: v1 k3: v3

e_kv 通过quote提取多个源字段中的键值对信息。 函数格式 e_kv(源字段或源字段列表, sep="=", quote='"', escape=false, prefix="", suffix="", mode="fill-auto") 参数说明 参数名称 参数类型 是否必填 说明 源字段或源字段列表 字符串或字符串列表 是 字段名或多个字段名的列表。 sep String 否 关键字与值的正则表达式的分隔符串，默认为=，不限于单个字符。 说明 可以使用非捕获分组，但不能使用捕获分组。 quote String 否 引用符，用于包裹值的字符。默认为"。 说明 提取的动态键值对的值一般需要quote来包括，例如：a="abc"，b="xyz"如果提取对象中不包含，则只提取如下字符集的值：中文字母数字_-.%~。例如a=中文ab12_-.%~|abc b=123可以提取a: 中文ab12_-.%~，b: 123。 escape Boolean 否 是否自动提取反转字符的值。默认为false表示否。例如key="abc\"xyz"默认提取字段key的值为abc\，设置escape=true时，提取的值为abc"xyz。 prefix String 否 给提取的字段名添加前缀。 suffix String 否 给提取的字段名添加后缀。 mode String 否 字段的覆盖模式。默认为fill-auto。 返回结果 返回附带新字段值的日志。 函数示例 示例1：使用默认分隔符=提取键值对信息。 测试数据 { "http_refer": "https://video.developer.aadoc.com/s?q=asd&a=1&b=2"} 如果测试数据为request_uri: a1=1&a2=&a3=3，a2值为空，则使用e_kv()函数无法提取出a2。您可以使用e_regex()函数进行提取，例如e_regex("request_uri",r'(\w+)=([^=&]*)',{r"\1":r"\2"},mode="overwrite")。 加工规则 e_kv("http_refer") 加工结果 http_refer: https://video.developer.aadoc.com/s?q=asd&a=1&b=2q: asd a: 1b: 2 示例2：给字段名增加前缀和后缀。 测试数据 { "http_refer": "https://video.developer.aadoc.com/s?q=asd&a=1&b=2"} 加工规则 e_kv( "http_refer", sep="=", quote='"', escape=false, prefix="data_", suffix="_end", mode="fill-auto",) 加工结果 http_refer: https://video.developer.aadoc.com/s?q=asd&a=1&b=2data_q_end: asd data_a_end: 1data_b_end: 2 示例3：提取字段content2中的键值对信息，使用escape参数提取反转字符的值。 测试数据 { "content2": "k1:\"v1\\"abc\", k2:\"v2\", k3: \"v3\""} 加工规则 e_kv("content2", sep=":", escape=true) 加工结果 content2: k1:"v1\"abc", k2:"v2", k3: "v3"k1: v1"abc k2: v2 k3: v3 更多参考 支持和其他函数组合使用。

e_csv、e_psv、e_tsv 使用自定义的分隔符与预定义的字段名，从特定字段中提取多个字段。 e_csv：默认分隔符为半角逗号（,）。 e_psv：默认分隔符为竖线（|）。 e_tsv：默认分隔符为\t。 函数格式 e_csv(源字段名, 目标字段列表, sep=",", quote='"', restrict=true, mode="fill-auto")e_psv(源字段名, 目标字段列表, sep="|", quote='"', restrict=true, mode="fill-auto")e_tsv(源字段名, 目标字段列表, sep="\t", quote='"', restrict=true, mode="fill-auto") 参数说明 参数名称 参数类型 是否必填 说明 源字段名 任意 是 源字段名。如果字段不存在，则不进行任何操作。 目标字段列表 任意 是 字段值经过分隔符分隔后的每个值对应的字段名。可以是字符串的列表，例如：["error", "message", "result"]。 当字段名中不包含逗号时，也可以直接用逗号作为分隔字符，例如："error, message, result"。 sep String 否 分隔符，只能是单个字符。 quote String 否 引用符，用于包裹值的字符。当值包含分隔符时需要使用。 restrict Boolean 否 是否采用严格模式，默认为false表示非严格模式。当分隔值的个数与目标字段列表数不一致时： 严格模式下不进行任何操作。 非严格模式下对前几个可以配对的字段进行赋值。 mode String 否 字段的覆盖模式。默认为fill-auto。 返回结果 返回附带新字段值的日志。 函数示例 以e_csv为例，e_psv和e_tsv功能类似。 测试数据 { "content": "192.168.0.100,10/Jun/2019:11:32:16 +0800,example.aadoc.com,GET /zf/11874.html HTTP/1.1,200,0.077,6404,192.168.0.100:8001,200,0.060,https://image.developer.aadoc.com/s?q=%E8%9B%8B%E8%8A%B1%E9%BE%99%E9%A1%BB%E9%9D%A2%E7%9A%84%E5%81%9A%E6%B3%95&from=wy878378&uc_param_str=dnntnwvepffrgibijbprsvdsei,-,Mozilla/5.0 (Linux; Android 9; HWI-AL00 Build/HUAWEIHWI-AL00) AppleWebKit/537.36,-,-"} 加工规则 e_csv("content", "remote_addr, time_local,host,request,status,request_time,body_bytes_sent,upstream_addr,upstream_status, upstream_response_time,http_referer,http_x_forwarded_for,http_user_agent,session_id,guid") 加工结果 content: 192.168.0.100,10/Jun/2019:11:32:16 +0800,example.aadoc.com,GET /zf/11874.html HTTP/1.1,200,0.077,6404,192.168.0.100:8001,200,0.060,https://image.developer.aadoc.com/s?q=%E8%9B%8B%E8%8A%B1%E9%BE%99%E9%A1%BB%E9%9D%A2%E7%9A%84%E5%81%9A%E6%B3%95&from=wy878378&uc_param_str=dnntnwvepffrgibijbprsvdsei,-,Mozilla/5.0 (Linux; Android 9; HWI-AL00 Build/HUAWEIHWI-AL00) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Mobile Safari/537.36,-,- body_bytes_sent: 6404guid: -host: example.aadoc.comhttp_referer: https://image.developer.aadoc.com/s?q=%E8%9B%8B%E8%8A%B1%E9%BE%99%E9%A1%BB%E9%9D%A2%E7%9A%84%E5%81%9A%E6%B3%95&from=wy878378&uc_param_str=dnntnwvepffrgibijbprsvdseihttp_user_agent: Mozilla/5.0 (Linux; Android 9; HWI-AL00 Build/HUAWEIHWI-AL00) AppleWebKit/537.36 http_x_forwarded_for: -remote_addr: 192.168.0.100 request: GET /zf/11874.html HTTP/1.1 request_time: 0.077session_id: -status: 200time_local: 10/Jun/2019:11:32:16 +0800 topic: syslog-forwarder upstream_addr: 192.168.0.100:8001upstream_response_time: 0.060upstream_status: 200 更多参考 支持和其他函数组合使用。

函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。 JSON提取 e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者JMES提取后再展开。支持和其他函数组合使用。 分隔符提取 e_csv、e_psv、e_tsv 使用自定义的分隔符与预定义的字段名，从特定字段中提取多个字段。 e_csv：默认分隔符为半角逗号（,）。 e_psv：默认分隔符为竖线（|）。 e_tsv：默认分隔符为\t。 支持和其他函数组合使用。 KV模式提取 e_kv 通过quote提取多个源字段中的键值对信息。支持和其他函数组合使用。 e_kv_delimit 通过分隔符提取源字段中的键值对信息。

e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者JMES提取后再展开。 函数格式 e_json(key, expand=None, depth=100, prefix="__", suffix="__", fmt="simple", sep=".", expand_array=true, fmt_array="{parent}_{index}", include_node=r"[\u4e00-\u9fa5\u0800-\u4e00a-zA-Z][\w\-\.]*", exclude_node="", include_path="", exclude_path="", jmes="", output="", jmes_ignore_none=false, mode='fill-auto') 参数说明 参数名称 参数类型 是否必填 说明 key String 是 源字段名。如果字段不存在，则不进行任何操作。 expand Boolean 否 是否将字段展开。 没有配置jmes参数时，则默认为true，表示展开。 配置jmes参数时，则默认为false，表示不展开。 depth Number 否 字段展开的深度。取值范围为1~2000，1表示只展开第一层，默认为100层。 prefix String 否 展开时添加为字段名的前缀。 suffix String 否 展开时添加为字段名的后缀。 fmt String 否 格式化方式。取值： simple（默认值）：表示将节点名作为字段名。展示形式为{prefix}{current}{suffix}。 full：表示将父节点与当前节点合并作为字段名。展示形式为{parent_list_str}{sep}{prefix}{current}{suffix}。分隔符是由sep参数指定，默认为.。 parent：表示用完整的路径作为字段名。展示形式为{parent}{sep}{prefix}{current}{suffix}。分隔符是由sep参数指定，默认为.。 root：表示将根节点与当前节点合并作为字段名。展示形式为{parent_list[0]}{sep}{prefix}{current}{suffix}。分隔符由sep参数指定，默认为.。 sep String 否 父子节点格式化的分隔符。当fmt取值为full、parent或root时需要设置。默认为.。 expand_array Boolean 否 是否将数组展开。默认为true表示展开数组。 fmt_array String 否 数组展开的格式化方式，格式为{parent_rlist[0]}_{index}。也可以使用最多五个占位符自定义格式化字符串：parent_list，current，sep，prefix，suffix。 include_node String/ Number 否 节点允许名单，表示过滤时包含的节点名称。默认只有中文、数字、字母和_.-的节点才会被自动展开。 exclude_node String 否 节点限制名单，表示过滤时排除的节点名称。 include_path String 否 节点允许名单，表示过滤时包含的节点路径。 exclude_path String 否 节点限制名单，表示过滤时排除的节点路径。 jmes String 否 将字段值转化为JSON对象并通过JMES提取特定值。 output String 否 通过JMES提取特定值时输出的字段名。 jmes_ignore_none Boolean 否 当JMES提取不到值时是否忽略。默认为true表示忽略，否则输出一个空字符串。 mode String 否 字段的覆盖模式。默认为fill-auto。 JSON展开过滤 如果设置了节点允许名单，则内容必须包含在节点允许名单中然后才会在结果中出现。节点允许名单正则示例：e_json("json_data_filed", ...., include_node=r'key\d+')。 如果设置了节点限制名单，则内容必须包含在节点限制名单中然后才不会在结果中出现。节点限制名单正则示例：e_json("json_data_filed", ...., exclude_node=r'key\d+')。 展开节点路径：正则include_path 与 exclue_path从路径开头匹配，匹配路径是以.分隔。 JMES过滤 使用JMES选择、计算。 选择特定JSON路径下的元素属性列表：e_json(..., jmes="cve.vendors[*].product",output="product") 用逗号拼接特定JSON路径下的元素属性：e_json(..., jmes="join(',', cve.vendors[*].name)",output="vendors") 计算特定JSON路径下元素的最大属性值：e_json(..., jmes="max(words[*].score)",output="hot_word") 当特定路径不存在或为空时，返回一个空字符串：e_json(..., jmes="max(words[*].score)",output="hot_word", jmes_ignore_none=false) parent_list和parent_rlist，以如下示例说明。 测试数据： { "data": { "k1": 100,"k2": {"k3": 200,"k4": {"k5": 300}}}} parent_list是将父节点从左到右排列。 e_json("data", fmt='{parent_list[0]}-{parent_list[1]}#{current}') 得到的日志： data:{ "k1": 100,"k2": {"k3": 200,"k4": {"k5": 300}}}data-k2#k3:200data-k2#k5:300 parent_rlist是将父节点从右到左排列。 e_json("data", fmt='{parent_rlist[0]}-{parent_rlist[1]}#{current}') 得到的日志： data:{ "k1": 100,"k2": {"k3": 200,"k4": {"k5": 300}}}k2-data#k3:200k4-k2#k5:300 返回结果 返回附带新字段值的日志。 函数示例 示例1：字段展开操作。 测试数据 { "data": {"k1": 100, "k2": 200}} 加工规则 e_json("data",depth=1) 加工结果 data: {"k1": 100, "k2": 200}k1: 100k2: 200 示例2：给字段名添加前缀和后缀。 测试数据 { "data": {"k1": 100, "k2": 200}} 加工规则 e_json("data", prefix="data_", suffix="_end") 加工结果 data: {"k1": 100, "k2": 200}data_k1_end: 100data_k2_end: 200 示例3：将字段按照不同格式展开。 测试数据 { "data": {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } }} fmt=full格式 e_json("data", fmt='full') data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data.k1: 100 data.k2.k3: 200 data.k2.k4.k5: 300 fmt=parent格式 e_json("data", fmt='parent') data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data.k1: 100 k2.k3: 200 k4.k5: 3000 fmt=root格式 e_json("data", fmt='root') data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data.k1: 100 data.k3: 200 data.k5: 300 示例4：使用指定分隔符、字段名前缀和字段名后缀提取JSON 测试数据 { "data": {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } }} 加工规则 e_json("data", fmt='parent', sep="@", prefix="__", suffix="__") 加工结果 data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data@__k1__：100 k2@__k3__：200 k4@__k5__：300 示例5：指定fmt_array参数，按照数组方式提取JSON。 测试数据 { "people": [{"name": "xm", "gender": "boy"}, {"name": "xz", "gender": "boy"}, {"name": "xt", "gender": "girl"}]} 加工规则 e_json("people", fmt='parent', fmt_array="{parent_rlist[0]}-{index}") 加工结果 people: [{"name": "xm", "gender": "boy"}, {"name": "xz", "gender": "boy"}, {"name": "xt", "gender": "girl"}]people-0.name: xm people-0.gender: boy people-1.name: xz people-1.gender: boy people-2.name: xt people-2.gender: girl 示例6：使用JMES提取JSON对象。 测试数据 { "data": { "people": [{"first": "James", "last": "d"},{"first": "Jacob", "last": "e"}],"foo": {"bar": "baz"}}} 加工规则 e_json("data", jmes='foo', output='jmes_output0')e_json("data", jmes='foo.bar', output='jmes_output1')e_json("data", jmes='people[0].last', output='jmes_output2')e_json("data", jmes='people[*].first', output='jmes_output3') 加工结果 data: { "people": [{"first": "James", "last": "d"},{"first": "Jacob", "last": "e"}],"foo": {"bar": "baz"}}jmes_output0: {"bar": "baz"}jmes_output1: baz jmes_output2: d jmes_output3: ["james", "jacob"] 更多参考 支持和其他函数组合使用。

e_search_dict_map 对关键字（查询字符串）以及其匹配的值的字典数据进行映射。 函数格式 e_search_dict_map(data, output_field, multi_match=false, multi_join=" ", missing=None, mode="overwrite") 参数说明 参数名称 数据类型 是否必填 说明 data Dict 是 映射关系的字典。必须为标准的{key01:value01,key01:value02,...}格式，且关键字key必须是查询字符串。 output_field String 是 输出字段的名称。 multi_match Boolean 否 是否允许匹配多个字段。默认为false表示不匹配多个字段，会返回匹配到的最后一个字段值。支持使用multi_join拼接多个匹配的值。 multi_join String 否 匹配多个字段时，多值的连接字符串，默认为空格。当multi_match值为true时生效。 missing String 否 无匹配字段时，将该参数的取值赋给输出字段output_field。默认为None表示不做映射赋值操作。 如果字典中包含默认匹配星号（*），由于星号（*）的优先级高于missing，此时missing将不起作用。 mode String 否 字段的覆盖模式。默认为overwrite。 返回结果 返回查询匹配中后的映射结果。 函数示例 示例1：匹配模式。 测试数据 { "data":123 , "pro":1} 加工规则 e_search_dict_map ({"pro==1": "TCP", "pro==2": "UDP", "pro==3": "HTTP"}, "protocol") 加工结果 data:123 pro:1 protocol:TCP 示例2：根据字段值的不同开头进行映射。 测试数据 { "status":"200,300"} 加工规则 e_search_dict_map( { "status:2??": "ok", "status:3??": "redirect", "status:4??": "auth", "status:5??": "server_error", }, "status_desc", multi_match=true, multi_join="测试",) 加工结果 status:200,300 status_desc:ok测试redirect 更多参考 支持和其他函数组合使用。

e_table_map 与目标表格进行映射，根据输入的字段名称返回字段值。 函数格式 e_table_map(data, field, output_fields, missing=None, mode="fill-auto") 参数说明 参数名称 数据类型 是否必填 说明 data Table 是 目标表格。 field String、String List或Tuple List 是 日志中映射到表格的源字段。如果日志中不存在对应字段，则不进行任何操作。 output_fields String、String List或Tuple List 是 映射后的字段。例如["province", "pop"]。 missing String 否 无匹配字段时，将该参数的取值赋给输出字段output_fields。默认为None表示不做映射赋值操作。如果目标字段是多列，则missing可以是一个长度与目标字段数一致的默认值列表。 说明 如果表格中包含匹配星号（*），由于星号（*）的优先级高于missing，此时missing参数将不起作用。 mode String 否 字段的覆盖模式。默认为fill-auto。 返回结果 返回附带新字段值的日志。 函数示例 示例1：在映射表格中查找对应行，根据city字段返回province字段的值。 测试数据 { "data": 123, "city": "nj"} 加工规则 e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), "city", "province") 加工结果 data: 123city: njprovince: js 示例2：在映射表格中查找对应行，根据city字段返回province字段和pop字段的值。 测试数据 { "data": 123, "city": "nj"} 加工规则 e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), "city", ["province", "pop"],) 加工结果 data: 123city: njprovince: jspop: 800 示例3：使用tab_parse_csv函数构建映射表格，根据city字段返回province字段和pop字段的值。 测试数据 { "data": 123, "city": "nj"} 加工规则 e_table_map( tab_parse_csv("city#pop#province\nnj#800#js\nsh#2000#sh", sep="#"), "city", ["province", "pop"],) 加工结果 data: 123city: njprovince: jspop: 800 示例4：使用tab_parse_csv函数构建映射表格，根据city字段返回province字段和pop字段的值。 测试数据 { "data": 123, "city": "nj"} 加工规则 e_table_map( tab_parse_csv( "city,pop,province\n|nj|,|800|,|js|\n|shang hai|,2000,|SHANG,HAI|", quote="|" ), "city", ["province", "pop"],) 加工结果 data: 123city: njprovince: jspop: 800 示例5：日志匹配字段与映射表格中字段不一样。在映射表格中查找对应行，根据cty或city字段返回province字段的值。 测试数据 { "data": 123, "city": "nj"} 加工规则 e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), [("city", "city")], "province") 加工结果 data: 123city: nj province: js 示例6：日志匹配字段与映射表格中字段不一样，并且对输出字段进行重命名。 测试数据 { "data": 123, "city": "nj"} 加工规则 e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), [("city", "city")], [("province", "pro")],) 加工结果 data: 123city: nj pro: js 示例7：多个日志匹配字段。 测试数据 { "data": 123, "city": "nj", "pop": 800} 加工规则 e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), ["city", "pop"], "province",) 加工结果 data: 123city: nj pop: 800province: js 示例8：多个日志匹配字段，且日志匹配字段与映射表格字段不一样。 测试数据 { "data": 123, "city": "nj", "pp": 800} 加工规则 e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), [("city", "city"), ("pp", "pop")], "province",) 加工结果 data: 123city: nj pp: 800province: js 更多参考 支持和其他函数组合使用。

e_search_table_map 对某列（查询字符串）以及其匹配的值的表格数据进行映射。 函数格式 e_search_table_map(data, inpt, output_fields, multi_match=false, multi_join=" ", missing=None, mode="fill-auto") 参数说明 参数名称 数据类型 是否必填 说明 data Table 是 映射关系的表格，表格某一列必须是查询字符串。 inpt String 是 表格中用于匹配搜索的字段名。 output_fields String，String List或Tuple List 是 表格中映射出的字段，可以是字符串、列表或者其名称映射元组的列表。 multi_match Boolean 否 是否允许匹配多个字段。默认为false表示不匹配多个字段，会返回匹配到的第一个字段值。支持使用multi_join来拼接多个匹配的值。 multi_join String 否 匹配多个字段时，多值的连接字符串，默认为空格。当multi_match值为true时生效。 missing String 否 无匹配字段时，将该参数的取值赋给输出字段output_fields。默认为None表示不做映射赋值操作。 如果表格中包含默认匹配*，由于*的优先级高于missing，此时missing将不起作用。 mode String 否 字段的覆盖模式。默认为fill-auto。 返回结果 返回查询匹配中后的映射结果。 函数示例 示例1：根据映射关系的表格，将日志中city字段映射出pop和province字段。 测试数据 { "data": 123, "city": "sh"} 例如，以下映射关系的表格，其中search列是查询字符串。 search pop province city==nj 800 js city==sh 2000 sh 加工规则 e_search_table_map( tab_parse_csv("search,pop,province\ncity==nj,800,js\ncity==sh,2000,sh"), "search", ["pop", "province"],) 加工结果 data: 123city: sh province: sh pop: 2000 示例2：overwrite模式。 测试数据 { "data": 123, "city": "nj", "province":""} 加工规则 e_search_table_map( tab_parse_csv("search,pop,province\ncity==nj,800,js\ncity==sh,2000,sh"), "search", "province", mode="overwrite",) 加工结果 pop: 800data: 123city: nj province: js 示例3：无匹配时目标字段的值由missing指定。 测试数据 { "data": 123, "city": "wh", "province":""} 加工规则 e_search_table_map( tab_parse_csv("search,pop,province\ncity==nj,800,\ncity==sh,2000,sh"), "search", "province", missing="Unknown",) 加工结果 data: 123city: wh province: Unknown 示例4：允许匹配多个字段（multi_match模式）。 测试数据 { "data": 123, "city": "nj,sh", "province":""} 加工规则 e_search_table_map( tab_parse_csv("search,pop,province\ncity:nj,800,js\ncity:sh,2000,sh"), "search", "province", multi_match=true, multi_join=",",) 加工结果 data: 123city: nj,shprovince: js,sh

e_dict_map 与目标数据字典进行映射，根据输入的字段映射一个新字段。 函数格式 e_dict_map(data, field, output_field, case_insensitive=true, missing=None, mode="overwrite") 参数说明 参数名称 数据类型 是否必填 说明 data Dict 是 目标数据字典。必须为标准的{key01:value01,key01:value02,...}格式，且必须是字符串。例如{"1": "TCP", "2": "UDP", "3": "HTTP", "*": "Unknown"}。 field String或者String List 是 一个字段名或者多个字段名的列表。多个字段时： 依次对匹配到的值进行映射。 如果匹配命中多条日志，且mode的取值为overwrite时，则最后一个会覆盖前面的结果。 当没有匹配到任何字段，则使用missing参数的值作为匹配值。 output_field String 是 输出字段的名称。 case_insensitive Boolean 否 匹配时大小写是否不敏感。 如果字典中存在同一个关键字的不同大小写，且case_insensitive为true时，会优先选择大小写完全匹配的值。如果没有，则随机选择一个。 true（默认值）：不敏感。 false：敏感 missing String 否 无匹配字段时，将该参数的取值赋给输出字段output_field。默认为None表示不做映射赋值操作。 如果字典中包含匹配星号（*），由于星号（*）的优先级高于missing，此时missing参数不生效。 mode String 否 字段的覆盖模式。默认为overwrite。 取值为：fill，fill-auto,add,add-auto,overwrite,overwrite-auto 返回结果 返回附带新字段的日志。 函数示例 示例1：根据测试数据中pro字段的值和目标数据字典，输出新字段protocol。 测试数据 { "data": 123, "pro": 1} 加工规则 e_dict_map( {"1": "TCP", "2": "UDP", "3": "HTTP", "6": "HTTPS", "*": "Unknown"}, "pro", "protocol",) 加工结果 data: 123pro: 1protocol: TCP 示例2：根据测试数据中status字段的值和目标数据字典，输出新字段message。 测试数据（三条测试日志） { "status":"500"} { "status":"400"} { "status":"200"} 加工规则 e_dict_map({"400": "错误", "200": "正常", "*": "其他"}, "status", "message") 加工结果 status: 500message: 其他 status: 400message: 错误 status: 200message: 正常 更多参考 支持和其他函数组合使用。

函数列表 类型 函数 说明 字段映射 e_dict_map 与目标数据字典进行映射，根据输入的字段映射一个新字段。支持和其他函数组合使用。 e_table_map 与目标表格进行映射，根据输入的字段名称返回字段值。支持和其他函数组合使用。 搜索映射 e_search_dict_map 对关键字（查询字符串）以及其匹配的值的字典数据进行映射。支持和其他函数组合使用。 e_search_table_map 对某列（查询字符串）以及其匹配的值的表格数据进行映射。

str_lower 将字符串中所有大写字符转换为小写字符。 函数格式 str_lower(value) 参数说明 参数名称 参数类型 是否必填 说明 value 任意（自动转为String） 是 需要被转换的字符串。 返回结果 转换后的字符串。 函数示例 测试数据 { "name": "LTs"} 加工规则 e_set("str_lower", str_lower(v("name"))) 加工结果 name: LTs str_lower: lts

str_capitalize 将字符串的第一个字母转化为大写，其他字母转化为小写。 函数格式 str_capitalize(value) 参数说明 参数名称 参数类型 是否必填 说明 value 任意（自动转为String） 是 需要被转换的字符串。 返回结果 转换后的字符串。 函数示例 测试数据 { "value"： "welcome to xian"} 加工规则 e_set("str_capitalize", str_capitalize(v("value"))) 加工结果 value：welcome to xian str_capitalize: Welcome to xian

str_upper 将字符串中所有小写字符转换为大写字符。 函数格式 str_upper(value) 参数说明 参数名称 参数类型 是否必填 说明 value 任意（自动转为String） 是 需要被转换的字符串。 返回结果 转换后的字符串。 函数示例 测试数据 { "name": "LTs"} 加工规则 e_set("str_upper", str_upper(v("name"))) 加工结果 name: LTs str_upper: LTS

str_title 将所有单词的第一个字母转化为大写，其余字母均为小写。 函数格式 str_title(value) 参数说明 参数名称 参数类型 是否必填 说明 value 任意（自动转为String） 是 需要被转换的字符串。 返回结果 转换后的字符串。 函数示例 测试数据 { "name": "for example"} 加工规则 e_set("str_title", str_title(v("name"))) 加工结果 name:for exampleexample str_title: For Exampl

str_swapcase 对字符串的大小写字母进行转换。 函数格式 str_swapcase(value) 参数说明 参数名称 参数类型 是否必填 说明 value 任意（自动转为String） 是 需要被转换的字符串。 返回结果 转换后的字符串。 函数示例 测试数据 { "name": "this is lts"} 加工规则 e_set("str_swapcase", str_swapcase(v("name"))) 加工结果 name: this is lts str_swapcase: THIS IS LTS

str_lstrip 删除字符串开头指定的字符。 函数格式 str_lstrip(value, chars) 参数说明 参数名称 参数类型 是否必填 说明 value 任意（自动转为String） 是 需要被修改的原字符串。 chars 任意（自动转为String） 否 字符串开头需要删除的字符集，默认为空格。 返回结果 修改后的字符串。 函数示例 测试数据：无 加工规则 e_set("str_strip", str_lstrip("**123**", "*")) 加工结果 str_strip: 123**

str_strip 删除字符串中指定的字符。 函数格式 str_strip(value, chars) 参数说明 参数名称 参数类型 是否必填 说明 value 任意（自动转为String） 是 需要被修改的原字符串。 chars 任意（自动转为String） 否 字符串开头和结尾需要删除的字符集，默认为\t\r\n。 返回结果 修改后的字符串。 函数示例 示例1：删除空格。 测试数据 { "source":" lts"} 加工规则 e_set("str_strip", str_strip(v("source"))) 加工结果 source: lts str_strip: lts 示例2：删除开头和结尾是#的字符。 测试数据 { "source"： "##lts#"} 加工规则 e_set("str_strip", str_strip(v("source"), "#")) 加工结果 source： ##lts#str_strip: lts

str_rstrip 删除字符串结尾指定的字符。 函数格式 str_rstrip(value, chars) 参数说明 参数名称 参数类型 是否必填 说明 value 任意（自动转为String） 是 需要被修改的原字符串。 chars 任意（自动转为String） 否 字符串结尾需要删除的字符集，默认为空格。 返回结果 修改后的字符串。 函数示例 测试数据：无 加工规则 e_set("str_strip", str_rstrip("**123**", "*")) 加工结果 str_strip: 123**

round函数 用于对x进行四舍五入。如果n存在，则保留n位小数；如果n不存在，则对x进行四舍五入取整数。 对x进行四舍五入取整数。 语法：ROUND(x) 对x进行四舍五入且保留n位小数。 语法：ROUND(x, n) 表2 参数说明 参数名称 描述 类型 是否必选 x 原始字段。 number 是 n n位小数(int)。 int 是 返回值类型：Number 示例：select ROUND(3.1415, 1) 表3 查询分析结果 类型 场景 查询语句 ROUND(3.1415, 1) 返回结果 3.1

count函数 用于计数。 统计所有的日志条数。 语法：COUNT(*) 统计所有的日志条数。等同于count(*)。 语法：COUNT(1) 统计x中值不为NULL的日志条数。 语法：COUNT(x) 表19 参数说明 参数名称 描述 类型 是否必选 x 原始字段。 任意 是 返回值类型：int 示例：select COUNT(*) 表20 查询分析结果 类型 场景 查询语句 COUNT(*) 返回结果 1

min函数 用于查询x中最小值。 查询x中最小的值。 语法：min(x) 查询x中最小的n个值，结果返回为数组。 语法： min(x, n) 表24 参数说明 参数名称 描述 类型 是否必选 x 原始字段。 任意数据 是 n 返回最小值的个数 正整数 否 返回值类型：与参数值的数据类型一致。 示例1：查询x中的最小值 表25 查询分析结果 类型 场景 查询语句 SELECT min(x) 返回结果 10.0 示例2：查询x中的最小的2个值 表26 查询分析结果 类型 场景 查询语句 SELECT min(x, 2) 返回结果 [10.0, 10.0]

max函数 用于查询x中最大的值。 查询x中最大的值。 语法：max(x) 查询x中最大的n个值，结果返回为数组。 语法： max(x, n) 表21 参数说明 参数名称 描述 类型 是否必选 x 原始字段。 任意数据 是 n 返回最大值的个数 正整数 否 返回值类型：与参数值的数据类型一致。 示例1：查询x中的最大值 表22 查询分析结果 类型 场景 查询语句 SELECT max(x) 返回结果 99.0 示例2：查询x中的最大的2个值 表23 查询分析结果 类型 场景 查询语句 SELECT max(x, 2) 返回结果 [99.0, 99.0]

min_by函数 查询y为最小值时对应的x值，或查询最小的n个y值对应的x值。 查询y为最小值时对应的x值。 语法：max_by(x, y) 查询最小的n个y值对应的x值。 语法：max_by(x, y, n) 表16 参数说明 参数名称 描述 类型 是否必选 x 原始字段。 任意数据类型 是 y 原始字段。 任意数据类型 是 n 大于0的整数。 int 否 返回值类型：与参数值的数据类型一致 示例1：统计请求时长最小时对应的请求方法。 表17 查询分析结果 类型 场景 查询语句 SELECT min_by(request_method, request_time) 返回结果 POST 示例2：统计请求时长最小的3个请求对应的请求方法。 表18 查询分析结果 类型 场景 查询语句 SELECT min_by(request_method, request_time, 3) 返回结果 ["POST","POST","POST"]

函数列表 表1 聚合函数 函数 描述 approx_distinct函数 用于估算x中不重复值的个数。 approx_percentile函数 用于对x进行正序排列，返回处于percentage位置的数值。 arbitrary函数 用于返回x中任意一个非空的值。 max_by函数 查询y为最大值时对应的x值，或查询最大的n个y值对应的x值。 min_by函数 查询y为最小值时对应的x值，或查询最小的n个y值对应的x值。 count函数 用于计数。 max函数 用于查询x中最大的值。 min函数 用于查询x中最小值。 avg函数 用于计算x的算术平均值。

approx_distinct函数 用于估算x中不重复值的个数。 估算x中不重复值的个数，默认存在2.3%的标准误差 语法：approx_distinct(x) 估算x中不重复值的个数，支持自定义标准误差 语法：approx_distinct(x, e) 表2 参数说明 参数名称 描述 类型 是否必选 x 原始字段 任意 是 e 自定义标准误差 double类型，取值为[0.0115, 0.26] 否 返回值类型：bigint类型 示例1：使用approx_distinct函数估算不重复的clientIp字段值，标准误差为2.3%。 表3 查询分析结果 类型 场景 查询语句 SELECT approx_distinct(clientIp) 返回结果 1 示例2：使用approx_distinct函数估算不重复的clientIp字段值， 自定义标准误差为10%。 表4 查询分析结果 类型 场景 查询语句 SELECT approx_distinct(clientIp, 0.1) 返回结果 1

approx_percentile函数 用于对x进行正序排列，返回处于percentage位置的数值。 对于x进行正序排列，返回处于percentage位置的x，返回结果为double类型。 语法：approx_percentile(x, percentage) 对x进行正序排列，返回处于percentage01、percentage02位置的x，返回结果为array(double,double)类型。 语法：approx_percentile(x, array[percentage01, percentage02)] 对x和权重的乘积进行正序排列，返回大约处于percentage位置的x，返回结果为double类型。 语法：approx_percentile(x, weight, percentage) 对x和权重的乘积进行正序排列，返回处于percentage01、percentage02位置的x，返回结果为array(double,double)类型。 语法：approx_percentile(x, weight, array[percentage01, percentage02...]) 对x和权重的乘积进行正序排列，返回大约处于percentage位置的x，返回结果为double类型。支持设置返回结果的准确度。 语法：approx_percentile(x, weight, percentage, accuracy) 表5 参数说明 参数名称 描述 类型 是否必选 x 原始字段 double 是 percentage 百分比值，取值范围为[0,1]。 double 是 weight 权重，大于1的整数。 设置权重后，系统根据x与权重的乘积进行排序。 int 否 accuracy 准确度，取值范围为(0,1)。 double 否 返回值类型：double类型或array(double,...,double)类型 示例1：对request_time列进行排序后，返回大约处于50%位置的request_time字段的值。 表6 查询分析结果 类型 场景 查询语句 SELECT approx_percentile(request_time, 0.5) 返回结果 45.0 示例2：对request_time列进行排序后，返回处于10%、20%及70%位置的request_time字段的值。 表7 查询分析结果 类型 场景 查询语句 SELECT approx_percentile(request_time,array[0.1,0.2,0.7]) 返回结果 [17.0, 24.0, 59.0] 示例3：根据request_time与权重的乘积对request_time列进行排序后，返回大约处于50%位置的request_time字段的值, 权重值为60。 表8 查询分析结果 类型 场景 查询语句 SELECT approx_percentile(request_time, 60, 0.5) 返回结果 45.0 示例4：根据request_time与权重的乘积对request_time列进行排序后，返回大约处于80%和90%位置的request_time字段的值，权重值为60。 表9 查询分析结果 类型 场景 查询语句 SELECT approx_percentile(request_time, 60, array[0.8, 0.9]) 返回结果 [66.0,73.0] 示例5：根据request_time与权重的乘积对request_time列进行排序后，返回大约处于50%位置的request_time字段的值，权重值为60，准确度为0.2。 表10 查询分析结果 类型 场景 查询语句 SELECT approx_percentile(request_time, 60, 0.5, 0.2) 返回结果 45.0

max_by函数 查询y为最大值时对应的x值，或查询最大的n个y值对应的x值。 查询y为最大值时对应的x值。 语法：max_by(x, y) 查询最大的n个y值对应的x值。 语法：max_by(x, y, n) 表13 参数说明 参数名称 描述 类型 是否必选 x 原始字段。 任意数据类型 是 y 原始字段。 任意数据类型 是 n 大于0的整数。 int 否 返回值类型：与参数值的数据类型一致。 示例1：统计请求时长最大时对应的请求方法。 表14 查询分析结果 类型 场景 查询语句 SELECT max_by(request_method, request_time) 返回结果 GET 示例2：统计请求时长最大的3个请求对应的请求方法。 表15 查询分析结果 类型 场景 查询语句 SELECT max_by(request_method, request_time, 3) 返回结果 ["GET","GET","GET"]

op_min 计算多个字段或表达式表示的数值的最小值。 函数格式 op_min(value1, value2, ...) 参数说明 参数名称 参数类型 是否必填 说明 value1 任意 是 运算值1。 value2 必须与值1一样 是 运算值2。 返回结果 返回多个数值中的最小值。 函数示例 测试数据 { "price_orange": 2, "priority_apple": 13} 加工规则 e_set("op_min", op_min(ct_int(v("price_orange")),ct_int(v("priority_apple")))) 加工结果 price_orange: 2priority_apple: 13op_min: 2

op_add 计算多个值的和，可以是字符串或者数字等。 函数格式 op_add(value1, value2, ...) 参数说明 参数名称 参数类型 是否必填 说明 value1 字符串、元组、列表或字典等 是 运算值1。 value2 必须与值1一样 是 运算值2。 返回结果 返回求和操作后的数值。 函数示例 示例1：计算price_orange和price_apple总金额。 测试数据 { "price_orange": 2, "price_apple": 13} 加工规则 e_set("account",op_add(ct_int(v("price_orange")),ct_int(v("price_apple")))) 加工结果 price_orange: 2, price_apple: 13, account: 15 示例2：统计bytes_in和bytes_out的和。 测试数据 { "bytes_in": 214, "bytes_out": 123} 加工规则 e_set("total_bytes", op_add(ct_int(v("bytes_in")), ct_int(v("bytes_out")))) 加工结果 bytes_in: 214bytes_out: 123total_bytes: 337 示例3：给网址添加HTTPS头。 测试数据 { "host": "xx.com"} 加工规则 e_set("website", op_add("https://", v("host"))) 加工结果 host: xx.comwebsite: https://xx.com

op_max 计算多个字段或表达式表示的数值的最大值。 函数格式 op_max(value1, value2, ...) 参数说明 参数名称 参数类型 是否必填 说明 value1 任意 是 运算值1。 value2 必须与值1一样 是 运算值2。 返回结果 返回多个数值中的最大值。 函数示例 测试数据 { "price_orange": 2, "priority_apple": 13} 加工规则 e_set("max_price", op_max(ct_int(v("price_orange")),ct_int(v("priority_apple")))) 加工结果 price_orange: 2priority_apple: 13max_price: 13