规则详情 表1 规则详情 参数 说明 规则名称 function-graph-settings-check 规则展示名 检查 函数工作流 参数设置 规则描述 函数工作流的运行时、超时时间、内存限制不在指定范围内，视为“不合规”。 标签 fgs 规则触发方式 配置变更 规则评估的资源类型 fgs.functions 规则参数 runtimeList：允许的运行时列表，当前支持的运行时请参见函数管理，例如“Python3.6”。 timout：执行超时时间，单位为秒。 memorySize：函数实例内存规格限制，单位为MB。

e_search_dict_map 对关键字（查询字符串）以及其匹配的值的字典数据进行映射。 函数格式 e_search_dict_map(data, output_field, multi_match=false, multi_join=" ", missing=None, mode="overwrite") 参数说明 参数名称 数据类型 是否必填 说明 data Dict 是 映射关系的字典。.必须为标准的{key01:value01,key01:value02,...}格式，且关键字key必须是查询字符串。 output_field String 是 输出字段的名称。 multi_match Boolean 否 是否允许匹配多个字段。默认为false表示不匹配多个字段，会返回匹配到的最后一个字段值。支持使用multi_join拼接多个匹配的值。 multi_join String 否 匹配多个字段时，多值的连接字符串，默认为空格。当multi_match值为true时生效。 missing String 否 无匹配字段时，将该参数的取值赋给输出字段output_field。默认为None表示不做映射赋值操作。 说明： 如果字典中包含默认匹配星号（*），由于星号（*）的优先级高于missing，此时missing将不起作用。 mode String 否 字段的覆盖模式。默认为overwrite。 返回结果 返回查询匹配中后的映射结果。 函数示例 示例1：匹配模式。 测试数据 { "data":123 , "pro":1 } 加工规则 e_search_dict_map ({"pro==1": "TCP", "pro==2": "UDP", "pro==3": "HTTP"}, "protocol") 加工结果 data:123 pro:1 protocol:TCP 示例2：根据字段值的不同开头进行映射。 测试数据 { "status":"200,300" } 加工规则 e_search_dict_map( { "status:2??": "ok", "status:3??": "redirect", "status:4??": "auth", "status:5??": "server_error", }, "status_desc", multi_match=true, multi_join="测试", ) 加工结果 status:200,300 status_desc:ok测试redirect 更多参考 支持和其他函数组合使用。

e_search_table_map 对某列（查询字符串）以及其匹配的值的表格数据进行映射。 函数格式 e_search_table_map(data, inpt, output_fields, multi_match=false, multi_join=" ", missing=None, mode="fill-auto") 参数说明 参数名称 数据类型 是否必填 说明 data Table 是 映射关系的表格，表格某一列必须是查询字符串。 inpt String 是 表格中用于匹配搜索的字段名。 output_fields String，String List或Tuple List 是 表格中映射出的字段，可以是字符串、列表或者其名称映射元组的列表。 multi_match Boolean 否 是否允许匹配多个字段。默认为false表示不匹配多个字段，会返回匹配到的第一个字段值。支持使用multi_join来拼接多个匹配的值。 multi_join String 否 匹配多个字段时，多值的连接字符串，默认为空格。当multi_match值为true时生效。 missing String 否 无匹配字段时，将该参数的取值赋给输出字段output_fields。默认为None表示不做映射赋值操作。 说明： 如果表格中包含默认匹配*，由于*的优先级高于missing，此时missing将不起作用。 mode String 否 字段的覆盖模式。默认为fill-auto。 返回结果 返回查询匹配中后的映射结果。 函数示例 示例1：根据映射关系的表格，将日志中city字段映射出pop和province字段。 测试数据 { "data": 123, "city": "sh" } 例如，以下映射关系的表格，其中search列是查询字符串。 search pop province city==nj 800 js city==sh 2000 sh 加工规则 e_search_table_map( tab_parse_csv("search,pop,province\ncity==nj,800,js\ncity==sh,2000,sh"), "search", ["pop", "province"], ) 加工结果 data: 123 city: sh province: sh pop: 2000 示例2：overwrite模式。 测试数据 { "data": 123, "city": "nj", "province":"" } 加工规则 e_search_table_map( tab_parse_csv("search,pop,province\ncity==nj,800,js\ncity==sh,2000,sh"), "search", "province", mode="overwrite", ) 加工结果 pop: 800 data: 123 city: nj province: js 示例3：无匹配时目标字段的值由missing指定。 测试数据 { "data": 123, "city": "wh", "province":"" } 加工规则 e_search_table_map( tab_parse_csv("search,pop,province\ncity==nj,800,\ncity==sh,2000,sh"), "search", "province", missing="Unknown", ) 加工结果 data: 123 city: wh province: Unknown 示例4：允许匹配多个字段（multi_match模式）。 测试数据 { "data": 123, "city": "nj,sh", "province":"" } 加工规则 e_search_table_map( tab_parse_csv("search,pop,province\ncity:nj,800,js\ncity:sh,2000,sh"), "search", "province", multi_match=true, multi_join=",", ) 加工结果 data: 123 city: nj,sh province: js,sh

函数列表 类型 函数 说明 字段映射 e_dict_map 与目标数据字典进行映射，根据输入的字段映射一个新字段。支持和其他函数组合使用。 e_table_map 与目标表格进行映射，根据输入的字段名称返回字段值。支持和其他函数组合使用。 搜索映射 e_search_dict_map 对关键字（查询字符串）以及其匹配的值的字典数据进行映射。支持和其他函数组合使用。 e_search_table_map 对某列（查询字符串）以及其匹配的值的表格数据进行映射。

e_dict_map 与目标数据字典进行映射，根据输入的字段映射一个新字段。 函数格式 e_dict_map(data, field, output_field, case_insensitive=true, missing=None, mode="overwrite") 参数说明 参数名称 数据类型 是否必填 说明 data Dict 是 目标数据字典。必须为标准的{key01:value01,key01:value02,...}格式，且必须是字符串。例如{"1": "TCP", "2": "UDP", "3": "HTTP", "*": "Unknown"}。 field String或者String List 是 一个字段名或者多个字段名的列表。多个字段时： 依次对匹配到的值进行映射。 如果匹配命中多条日志，且mode的取值为overwrite时，则最后一个会覆盖前面的结果。 当没有匹配到任何字段，则使用missing参数的值作为匹配值。 output_field String 是 输出字段的名称。 case_insensitive Boolean 否 匹配时大小写是否不敏感。 true（默认值）：不敏感。 false：敏感 说明： 如果字典中存在同一个关键字的不同大小写，且case_insensitive为true时，会优先选择大小写完全匹配的值。如果没有，则随机选择一个。 missing String 否 无匹配字段时，将该参数的取值赋给输出字段output_field。默认为None表示不做映射赋值操作。 说明： 如果字典中包含匹配星号（*），由于星号（*）的优先级高于missing，此时missing参数不生效。 mode String 否 字段的覆盖模式。默认为overwrite。 取值为：fill，fill-auto,add,add-auto,overwrite,overwrite-auto 返回结果 返回附带新字段的日志。 函数示例 示例1：根据测试数据中pro字段的值和目标数据字典，输出新字段protocol。 测试数据 { "data": 123, "pro": 1 } 加工规则 e_dict_map( {"1": "TCP", "2": "UDP", "3": "HTTP", "6": "HTTPS", "*": "Unknown"}, "pro", "protocol", ) 加工结果 data: 123 pro: 1 protocol: TCP 示例2：根据测试数据中status字段的值和目标数据字典，输出新字段message。 测试数据（三条测试日志） { "status":"500" } { "status":"400" } { "status":"200" } 加工规则 e_dict_map({"400": "错误", "200": "正常", "*": "其他"}, "status", "message") 加工结果 status: 500 message: 其他 status: 400 message: 错误 status: 200 message: 正常 更多参考 支持和其他函数组合使用。

e_table_map 与目标表格进行映射，根据输入的字段名称返回字段值。 函数格式 e_table_map(data, field, output_fields, missing=None, mode="fill-auto") 参数说明 参数名称 数据类型 是否必填 说明 data Table 是 目标表格。 field String、String List或Tuple List 是 日志中映射到表格的源字段。如果日志中不存在对应字段，则不进行任何操作。 output_fields String、String List或Tuple List 是 映射后的字段。例如["province", "pop"]。 missing String 否 无匹配字段时，将该参数的取值赋给输出字段output_fields。默认为None表示不做映射赋值操作。如果目标字段是多列，则missing可以是一个长度与目标字段数一致的默认值列表。 说明 如果表格中包含匹配星号（*），由于星号（*）的优先级高于missing，此时missing参数将不起作用。 mode String 否 字段的覆盖模式。默认为fill-auto。 返回结果 返回附带新字段值的日志。 函数示例 示例1：在映射表格中查找对应行，根据city字段返回province字段的值。 测试数据 { "data": 123, "city": "nj" } 加工规则 e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), "city", "province" ) 加工结果 data: 123 city: nj province: js 示例2：在映射表格中查找对应行，根据city字段返回province字段和pop字段的值。 测试数据 { "data": 123, "city": "nj" } 加工规则 e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), "city", ["province", "pop"], ) 加工结果 data: 123 city: nj province: js pop: 800 示例3：使用tab_parse_csv函数构建映射表格，根据city字段返回province字段和pop字段的值。 测试数据 { "data": 123, "city": "nj" } 加工规则 e_table_map( tab_parse_csv("city#pop#province\nnj#800#js\nsh#2000#sh", sep="#"), "city", ["province", "pop"], ) 加工结果 data: 123 city: nj province: js pop: 800 示例4：使用tab_parse_csv函数构建映射表格，根据city字段返回province字段和pop字段的值。 测试数据 { "data": 123, "city": "nj" } 加工规则 e_table_map( tab_parse_csv( "city,pop,province\n|nj|,|800|,|js|\n|shang hai|,2000,|SHANG,HAI|", quote="|" ), "city", ["province", "pop"], ) 加工结果 data: 123 city: nj province: js pop: 800 示例5：日志匹配字段与映射表格中字段不一样。在映射表格中查找对应行，根据cty或city字段返回province字段的值。 测试数据 { "data": 123, "city": "nj" } 加工规则 e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), [("city", "city")], "province" ) 加工结果 data: 123 city: nj province: js 示例6：日志匹配字段与映射表格中字段不一样，并且对输出字段进行重命名。 测试数据 { "data": 123, "city": "nj" } 加工规则 e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), [("city", "city")], [("province", "pro")], ) 加工结果 data: 123 city: nj pro: js 示例7：多个日志匹配字段。 测试数据 { "data": 123, "city": "nj", "pop": 800 } 加工规则 e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), ["city", "pop"], "province", ) 加工结果 data: 123 city: nj pop: 800 province: js 示例8：多个日志匹配字段，且日志匹配字段与映射表格字段不一样。 测试数据 { "data": 123, "city": "nj", "pp": 800 } 加工规则 e_table_map( tab_parse_csv("city,pop,province\nnj,800,js\nsh,2000,sh"), [("city", "city"), ("pp", "pop")], "province", ) 加工结果 data: 123 city: nj pp: 800 province: js 更多参考 支持和其他函数组合使用。

Python的initializer入口介绍 FunctionGraph目前支持以下Python运行环境。 Python 2.7 (runtime = python2.7) Python 3.6 (runtime = python3) Python 3.9（runtime = python3） Python 3.10（runtime = python3） Initializer入口格式为： [文件名].[initializer名] 示例：实现initializer接口时指定的Initializer入口为main.my_initializer，那么FunctionGraph会去加载main.py中定义的my_initializer函数。 在FunctionGraph中使用Python编写initializer，需要定义一个Python函数作为initializer入口，一个最简单的initializer（以Python 2.7版本为例）示例如下。 def my_initializer(context): print 'hello world!' 函数名 my_initializer需要与实现initializer接口时的Initializer字段相对应，实现initializer接口时指定的Initializer入口为main.my_initializer ，那么函数服务会去加载main.py中定义的my_initializer函数。 context参数 context参数中包含一些函数的运行时信息，例如：request id、临时AccessKey、function meta等。

执行结果 执行结果由3部分组成：函数返回、执行摘要和日志。 表2 执行结果说明 参数项 执行成功 执行失败 函数返回 返回函数中定义的返回信息。 返回包含错误信息、错误类型和堆栈异常报错信息的JSON文件。格式如下： { "errorMessage": "", "errorType": "", "stackTrace": [] } errorMessage：Runtime返回的错误信息 errorType：错误类型 stackTrace：Runtime返回的堆栈异常报错信息 执行摘要 显示请求ID、配置内存、执行时长、实际使用内存和收费时长。 显示请求ID、配置内存、执行时长、实际使用内存和收费时长。 日志 打印函数日志，最多显示4KB的日志。 打印报错信息，最多显示4KB的日志。

SDK接口 Context类中提供了许多上下文方法供用户使用，其声明和功能如表1所示。 表1 Context类上下文方法说明 方法名 方法说明 getRequestID() 获取请求ID。 getRemainingTimeInMilliSeconds () 获取函数剩余运行时间。 getAccessKey() 获取用户委托的AccessKey（有效期24小时），使用该方法需要给函数配置委托。 说明： 当前函数工作流已停止维护Runtime SDK 中getAccessKey接口，您将无法使用getAccessKey获取临时AK。 getSecretKey() 获取用户委托的SecretKey（有效期24小时），使用该方法需要给函数配置委托。 说明： 当前函数工作流已停止维护Runtime SDK 中getSecretKey接口，您将无法使用getSecretKey获取临时SK。 getSecurityAccessKey() 获取用户委托的SecurityAccessKey（有效期24小时），使用该方法需要给函数配置委托。 getSecuritySecretKey() 获取用户委托的SecuritySecretKey（有效期24小时），使用该方法需要给函数配置委托。 getSecurityToken() 获取用户委托的SecurityToken（有效期24小时），使用该方法需要给函数配置委托。 getUserData(string key) 通过key获取用户通过环境变量传入的值。 getFunctionName() 获取函数名称。 getRunningTimeInSeconds () 获取函数超时时间。 getVersion() 获取函数的版本。 getMemorySize() 分配的内存。 getCPUNumber() 获取函数占用的CPU资源。 getPackage() 获取函数组。 getToken() 获取用户委托的token（有效期24小时），使用该方法需要给函数配置委托。 getLogger() 获取context提供的logger方法，返回一个日志输出类，通过使用其info方法按“时间-请求ID-输出内容”的格式输出日志。 如调用info方法输出日志： log = context.getLogger() log.info("test") getAlias 获取函数的别名 getToken()、getAccessKey()和getSecretKey()方法返回的内容包含敏感信息，请谨慎使用，避免造成用户敏感信息的泄露。

函数定义 建议使用Python 3.6版本。 对于Python，FunctionGraph运行时支持Python 2.7版本、Python 3.6、Python3.9、Python3.10版本。 函数有明确的接口定义，如下所示。 def handler (event, context) 入口函数名（handler）：入口函数名称，需和函数执行入口处用户自定义的入口函数名称一致。 执行事件（event）： 函数执行界面由用户输入的执行事件参数， 格式为JSON对象。 上下文环境（Context）：Runtime提供的函数执行上下文，其接口定义在SDK接口说明。

e_kv_delimit 通过分隔符提取源字段中的键值对信息。 函数格式 e_kv_delimit(源字段或源字段列表, pair_sep=r"\s", kv_sep="=", prefix="", suffix="", mode="fill-auto") 参数说明 参数名称 参数类型 是否必填 说明 源字段或源字段列表 字符串或字符串列表 是 字段名或多个字段名的列表。 pair_sep String 否 用于分隔键值对的正则字符集，默认为\s。例如\s\w、abc\s等。 说明 如果您需要使用字符串对字段进行分隔，推荐您使用str_replace或regex_replace将字符串转换成字符作为分隔符，然后再使用e_kv_delimit函数对字段进行分隔。 kv_sep String 否 用于分隔键值对的正则字符串，默认为=，不限于单个字符。 说明： 可以使用非捕获分组，但不能使用捕获分组。 prefix String 否 给提取的字段名添加前缀。 suffix String 否 给提取的字段名添加后缀。 mode String 否 字段的覆盖模式。默认为fill-auto。 返回结果 返回附带新字段值的日志。 函数示例 示例1：使用默认分隔符=提取键值对信息。 测试数据 { "data": "i=c1 k1=v1 k2=v2 k3=v3" } 如果测试数据为request_uri: a1=1&a2=&a3=3，a2值为空，则使用e_kv_delimit()函数无法提取出a2。您可以使用e_regex()函数进行提取，例如e_regex("request_uri",r'(\w+)=([^=&]*)',{r"\1":r"\2"}, mode="overwrite")。 加工规则 e_kv_delimit("data") 加工结果 data: i=c1 k1=v1 k2=v2 k3=v3 i: c1 k2: v2 k1: v1 k3: v3 示例2：使用分隔符&?提取键值对信息。 测试数据 { "data": "k1=v1&k2=v2?k3=v3" } 加工规则 e_kv_delimit("data",pair_sep=r"&?") 加工结果 data: k1=v1&k2=v2?k3=v3 k2: v2 k1: v1 k3: v3 示例3：使用正则表达式提取键值对信息。 测试数据 { "data": "k1=v1 k2:v2 k3=v3" } 加工规则 e_kv_delimit("data", kv_sep=r"(?:=|:)") 加工结果 data: k1=v1 k2:v2 k3=v3 k2: v2 k1: v1 k3: v3

e_kv 通过quote提取多个源字段中的键值对信息。 函数格式 e_kv(源字段或源字段列表, sep="=", quote='"', escape=false, prefix="", suffix="", mode="fill-auto") 参数说明 参数名称 参数类型 是否必填 说明 源字段或源字段列表 字符串或字符串列表 是 字段名或多个字段名的列表。 sep String 否 关键字与值的正则表达式的分隔符串，默认为=，不限于单个字符。 说明 可以使用非捕获分组，但不能使用捕获分组。 quote String 否 引用符，用于包裹值的字符。默认为"。 说明 提取的动态键值对的值一般需要quote来包括，例如：a="abc"，b="xyz"如果提取对象中不包含，则只提取如下字符集的值：中文字母数字_-.%~。例如a=中文ab12_-.%~|abc b=123可以提取a: 中文ab12_-.%~，b: 123。 escape Boolean 否 是否自动提取反转字符的值。默认为false表示否。例如key="abc\"xyz"默认提取字段key的值为abc\，设置escape=true时，提取的值为abc"xyz。 prefix String 否 给提取的字段名添加前缀。 suffix String 否 给提取的字段名添加后缀。 mode String 否 字段的覆盖模式。默认为fill-auto。 返回结果 返回附带新字段值的日志。 函数示例 示例1：使用默认分隔符=提取键值对信息。 测试数据 { "http_refer": "https://video.developer.aadoc.com/s?q=asd&a=1&b=2" } 如果测试数据为request_uri: a1=1&a2=&a3=3，a2值为空，则使用e_kv()函数无法提取出a2。您可以使用e_regex()函数进行提取，例如e_regex("request_uri",r'(\w+)=([^=&]*)',{r"\1":r"\2"},mode="overwrite")。 加工规则 e_kv("http_refer") 加工结果 http_refer: https://video.developer.aadoc.com/s?q=asd&a=1&b=2 q: asd a: 1 b: 2 示例2：给字段名增加前缀和后缀。 测试数据 { "http_refer": "https://video.developer.aadoc.com/s?q=asd&a=1&b=2" } 加工规则 e_kv( "http_refer", sep="=", quote='"', escape=false, prefix="data_", suffix="_end", mode="fill-auto", ) 加工结果 http_refer: https://video.developer.aadoc.com/s?q=asd&a=1&b=2 data_q_end: asd data_a_end: 1 data_b_end: 2 示例3：提取字段content2中的键值对信息，使用escape参数提取反转字符的值。 测试数据 { "content2": "k1:\"v1\\"abc\", k2:\"v2\", k3: \"v3\"" } 加工规则 e_kv("content2", sep=":", escape=true) 加工结果 content2: k1:"v1\"abc", k2:"v2", k3: "v3" k1: v1"abc k2: v2 k3: v3 更多参考 支持和其他函数组合使用。

e_csv、e_psv、e_tsv 使用自定义的分隔符与预定义的字段名，从特定字段中提取多个字段。 e_csv：默认分隔符为半角逗号（,）。 e_psv：默认分隔符为竖线（|）。 e_tsv：默认分隔符为\t。 函数格式 e_csv(源字段名, 目标字段列表, sep=",", quote='"', restrict=true, mode="fill-auto") e_psv(源字段名, 目标字段列表, sep="|", quote='"', restrict=true, mode="fill-auto") e_tsv(源字段名, 目标字段列表, sep="\t", quote='"', restrict=true, mode="fill-auto") 参数说明 参数名称 参数类型 是否必填 说明 源字段名 任意 是 源字段名。如果字段不存在，则不进行任何操作。 目标字段列表 任意 是 字段值经过分隔符分隔后的每个值对应的字段名。可以是字符串的列表，例如：["error", "message", "result"]。 当字段名中不包含逗号时，也可以直接用逗号作为分隔字符，例如："error, message, result"。 sep String 否 分隔符，只能是单个字符。 quote String 否 引用符，用于包裹值的字符。当值包含分隔符时需要使用。 restrict Boolean 否 是否采用严格模式，默认为false表示非严格模式。当分隔值的个数与目标字段列表数不一致时： 严格模式下不进行任何操作。 非严格模式下对前几个可以配对的字段进行赋值。 mode String 否 字段的覆盖模式。默认为fill-auto。 返回结果 返回附带新字段值的日志。 函数示例 以e_csv为例，e_psv和e_tsv功能类似。 测试数据 { "content": "192.168.0.100,10/Jun/2019:11:32:16 +0800,example.aadoc.com,GET /zf/11874.html HTTP/1.1,200,0.077,6404,192.168.0.100:8001,200,0.060,https://image.developer.aadoc.com/s?q=%E8%9B%8B%E8%8A%B1%E9%BE%99%E9%A1%BB%E9%9D%A2%E7%9A%84%E5%81%9A%E6%B3%95&from=wy878378&uc_param_str=dnntnwvepffrgibijbprsvdsei,-,Mozilla/5.0 (Linux; Android 9; HWI-AL00 Build/HUAWEIHWI-AL00) AppleWebKit/537.36,-,-" } 加工规则 e_csv("content", "remote_addr, time_local,host,request,status,request_time,body_bytes_sent,upstream_addr,upstream_status, upstream_response_time,http_referer,http_x_forwarded_for,http_user_agent,session_id,guid") 加工结果 content: 192.168.0.100,10/Jun/2019:11:32:16 +0800,example.aadoc.com,GET /zf/11874.html HTTP/1.1,200,0.077,6404,192.168.0.100:8001,200,0.060,https://image.developer.aadoc.com/s?q=%E8%9B%8B%E8%8A%B1%E9%BE%99%E9%A1%BB%E9%9D%A2%E7%9A%84%E5%81%9A%E6%B3%95&from=wy878378&uc_param_str=dnntnwvepffrgibijbprsvdsei,-,Mozilla/5.0 (Linux; Android 9; HWI-AL00 Build/HUAWEIHWI-AL00) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Mobile Safari/537.36,-,- body_bytes_sent: 6404 guid: - host: example.aadoc.com http_referer: https://image.developer.aadoc.com/s?q=%E8%9B%8B%E8%8A%B1%E9%BE%99%E9%A1%BB%E9%9D%A2%E7%9A%84%E5%81%9A%E6%B3%95&from=wy878378&uc_param_str=dnntnwvepffrgibijbprsvdsei http_user_agent: Mozilla/5.0 (Linux; Android 9; HWI-AL00 Build/HUAWEIHWI-AL00) AppleWebKit/537.36 http_x_forwarded_for: - remote_addr: 192.168.0.100 request: GET /zf/11874.html HTTP/1.1 request_time: 0.077 session_id: - status: 200 time_local: 10/Jun/2019:11:32:16 +0800 topic: syslog-forwarder upstream_addr: 192.168.0.100:800 1upstream_response_time: 0.060 upstream_status: 200 更多参考 支持和其他函数组合使用。

e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者JMES提取后再展开。 函数格式 e_json(key, expand=None, depth=100, prefix="__", suffix="__", fmt="simple", sep=".", expand_array=true, fmt_array="{parent}_{index}", include_node=r"[\u4e00-\u9fa5\u0800-\u4e00a-zA-Z][\w\-\.]*", exclude_node="", include_path="", exclude_path="", jmes="", output="", jmes_ignore_none=false, mode='fill-auto' ) 参数说明 参数名称 参数类型 是否必填 说明 key String 是 源字段名。如果字段不存在，则不进行任何操作。 expand Boolean 否 是否将字段展开。 没有配置jmes参数时，则默认为true，表示展开。 配置jmes参数时，则默认为false，表示不展开。 depth Number 否 字段展开的深度。取值范围为1~2000，1表示只展开第一层，默认为100层。 prefix String 否 展开时添加为字段名的前缀。 suffix String 否 展开时添加为字段名的后缀。 fmt String 否 格式化方式。取值： simple（默认值）：表示将节点名作为字段名。展示形式为{prefix}{current}{suffix}。 full：表示将父节点与当前节点合并作为字段名。展示形式为{parent_list_str}{sep}{prefix}{current}{suffix}。分隔符是由sep参数指定，默认为.。 parent：表示用完整的路径作为字段名。展示形式为{parent}{sep}{prefix}{current}{suffix}。分隔符是由sep参数指定，默认为.。 root：表示将根节点与当前节点合并作为字段名。展示形式为{parent_list[0]}{sep}{prefix}{current}{suffix}。分隔符由sep参数指定，默认为.。 sep String 否 父子节点格式化的分隔符。当fmt取值为full、parent或root时需要设置。默认为.。 expand_array Boolean 否 是否将数组展开。默认为true表示展开数组。 fmt_array String 否 数组展开的格式化方式，格式为{parent_rlist[0]}_{index}。也可以使用最多五个占位符自定义格式化字符串：parent_list，current，sep，prefix，suffix。 include_node String/ Number 否 节点允许名单，表示过滤时包含的节点名称。默认只有中文、数字、字母和_.-的节点才会被自动展开。 exclude_node String 否 节点限制名单，表示过滤时排除的节点名称。 include_path String 否 节点允许名单，表示过滤时包含的节点路径。 exclude_path String 否 节点限制名单，表示过滤时排除的节点路径。 jmes String 否 将字段值转化为JSON对象并通过JMES提取特定值。 output String 否 通过JMES提取特定值时输出的字段名。 jmes_ignore_none Boolean 否 当JMES提取不到值时是否忽略。默认为true表示忽略，否则输出一个空字符串。 mode String 否 字段的覆盖模式。默认为fill-auto。 JSON展开过滤 如果设置了节点允许名单，则内容必须包含在节点允许名单中然后才会在结果中出现。节点允许名单正则示例：e_json("json_data_filed", ...., include_node=r'key\d+')。 如果设置了节点限制名单，则内容必须包含在节点限制名单中然后才不会在结果中出现。节点限制名单正则示例：e_json("json_data_filed", ...., exclude_node=r'key\d+')。 展开节点路径：正则include_path 与 exclue_path从路径开头匹配，匹配路径是以.分隔。 JMES过滤 使用JMES选择、计算。 选择特定JSON路径下的元素属性列表：e_json(..., jmes="cve.vendors[*].product",output="product") 用逗号拼接特定JSON路径下的元素属性：e_json(..., jmes="join(',', cve.vendors[*].name)",output="vendors") 计算特定JSON路径下元素的最大属性值：e_json(..., jmes="max(words[*].score)",output="hot_word") 当特定路径不存在或为空时，返回一个空字符串：e_json(..., jmes="max(words[*].score)",output="hot_word", jmes_ignore_none=false) parent_list和parent_rlist，以如下示例说明。 测试数据： { "data": { "k1": 100,"k2": {"k3": 200,"k4": {"k5": 300}}} } parent_list是将父节点从左到右排列。 e_json("data", fmt='{parent_list[0]}-{parent_list[1]}#{current}') 得到的日志： data:{ "k1": 100,"k2": {"k3": 200,"k4": {"k5": 300}}} data-k2#k3:200 data-k2#k5:300 parent_rlist是将父节点从右到左排列。 e_json("data", fmt='{parent_rlist[0]}-{parent_rlist[1]}#{current}') 得到的日志： data:{ "k1": 100,"k2": {"k3": 200,"k4": {"k5": 300}}} k2-data#k3:200 k4-k2#k5:300 返回结果 返回附带新字段值的日志。 函数示例 示例1：字段展开操作。 测试数据 { "data": {"k1": 100, "k2": 200} } 加工规则 e_json("data",depth=1) 加工结果 data: {"k1": 100, "k2": 200} k1: 100 k2: 200 示例2：给字段名添加前缀和后缀。 测试数据 { "data": {"k1": 100, "k2": 200} } 加工规则 e_json("data", prefix="data_", suffix="_end") 加工结果 data: {"k1": 100, "k2": 200} data_k1_end: 100 data_k2_end: 200 示例3：将字段按照不同格式展开。 测试数据 { "data": {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } } fmt=full格式 e_json("data", fmt='full') data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data.k1: 100 data.k2.k3: 200 data.k2.k4.k5: 300 fmt=parent格式 e_json("data", fmt='parent') data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data.k1: 100 k2.k3: 200 k4.k5: 3000 fmt=root格式 e_json("data", fmt='root') data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data.k1: 100 data.k3: 200 data.k5: 300 示例4：使用指定分隔符、字段名前缀和字段名后缀提取JSON 测试数据 { "data": {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } } 加工规则 e_json("data", fmt='parent', sep="@", prefix="__", suffix="__") 加工结果 data: {"k1": 100, "k2": {"k3": 200, "k4": {"k5": 300} } } data@__k1__：100 k2@__k3__：200 k4@__k5__：300 示例5：指定fmt_array参数，按照数组方式提取JSON。 测试数据 { "people": [{"name": "xm", "sex": "boy"}, {"name": "xz", "sex": "boy"}, {"name": "xt", "sex": "girl"}] } 加工规则 e_json("people", fmt='parent', fmt_array="{parent_rlist[0]}-{index}") 加工结果 people: [{"name": "xm", "sex": "boy"}, {"name": "xz", "sex": "boy"}, {"name": "xt", "sex": "girl"}] people-0.name: xm people-0.sex: boy people-1.name: xz people-1.sex: boy people-2.name: xt people-2.sex: girl 示例6：使用JMES提取JSON对象。 测试数据 { "data": { "people": [{"first": "James", "last": "d"},{"first": "Jacob", "last": "e"}],"foo": {"bar": "baz"}} } 加工规则 e_json("data", jmes='foo', output='jmes_output0') e_json("data", jmes='foo.bar', output='jmes_output1') e_json("data", jmes='people[0].last', output='jmes_output2') e_json("data", jmes='people[*].first', output='jmes_output3') 加工结果 data: { "people": [{"first": "James", "last": "d"},{"first": "Jacob", "last": "e"}],"foo": {"bar": "baz"}} jmes_output0: {"bar": "baz"} jmes_output1: baz jmes_output2: d jmes_output3: ["james", "jacob"] 更多参考 支持和其他函数组合使用。

函数列表 类型 函数 说明 正则提取 e_regex 根据正则表达式提取字段的值并赋值给其他字段。支持和其他函数组合使用。 JSON提取 e_json 对特定字段中的JSON对象进行JSON操作，包括JSON展开、JMES提取或者JMES提取后再展开。支持和其他函数组合使用。 分隔符提取 e_csv、e_psv、e_tsv 使用自定义的分隔符与预定义的字段名，从特定字段中提取多个字段。 e_csv：默认分隔符为半角逗号（,）。 e_psv：默认分隔符为竖线（|）。 e_tsv：默认分隔符为\t。 支持和其他函数组合使用。 KV模式提取 e_kv 通过quote提取多个源字段中的键值对信息。支持和其他函数组合使用。 e_kv_delimit 通过分隔符提取源字段中的键值对信息。