检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置引用符号后,必须保证每个字段中包含0个或者偶数个引用符号,否则会解析失败。 version_id 否 版本号,当obs里的桶或对象有设置版本的时候需填写,否则不用配置该项。
设置引用符号后,必须保证每个字段中包含0个或者偶数个引用符号,否则会解析失败。 version_id 否 版本号,当obs里的桶或对象有设置版本的时候需填写,否则不用配置该项。
如果SQL查询中包含大量的嵌套left join操作,并且表有大量的动态分区时,这可能会导致在数据解析时消耗大量的内存资源,导致Driver节点的内存不足,并触发频繁的Full GC。
如果SQL查询中包含大量的嵌套left join操作,并且表有大量的动态分区时,这可能会导致在数据解析时消耗大量的内存资源,导致Driver节点的内存不足,并触发频繁的Full GC。
设置引用符号后,必须保证每个字段中包含0个或者偶数个引用符号,否则会解析失败。
设置引用符号后,必须保证每个字段中包含0个或者偶数个引用符号,否则会解析失败。
字符":", ",", ";", "$", "{", "}"已被征用为特殊分隔符,暂时没有提供转义功能,禁止在key和value中作为普通字符使用,否则会影响解析,导致程序异常。 示例 将流qualified_cars的数据输出到DCS服务的Redis类型的缓存实例中。
json_path STRING 解析JSON的路径表达式,使用字符串表示。 目前path支持如下表达式参考下表表3。 表3 json_path参数支持的表达式 表达式 说明 $ 根对象 [] 数组下标 * 数组通配符 . 取子元素 示例 测试输入数据。
字符":", ",", ";", "$", "{", "}"已被征用为特殊分隔符,暂时没有提供转义功能,禁止在key和value中作为普通字符使用,否则会影响解析,导致程序异常。 示例 将流qualified_cars的数据输出到DCS服务的Redis类型的缓存实例中。
value.fields-include 否 ALL 枚举类型 可选值:[ALL, EXCEPT_KEY] 在解析消息体时,是否要包含消息键字段。 取值如下: ALL(默认值):所有定义的字段都存放消息体(Value)解析出来的数据。
value.fields-include 否 ALL 枚举类型 可选值:[ALL, EXCEPT_KEY] 在解析消息体时,是否要包含消息键字段。 取值如下: ALL(默认值):所有定义的字段都存放消息体(Value)解析出来的数据。
参数输入格式:--key1 value1 --key2 value2 例如:控制台入输入的参数 --bootstrap.server 192.168.168.xxx:9092 通过ParameterTool解析后的参数如下所示: 图5 解析后的参数 怎样查看作业日志?
value.fields-include 否 ALL 枚举类型 可选值:[ALL, EXCEPT_KEY] 在解析消息体时,是否要包含消息键字段。 取值如下: ALL(默认值):所有定义的字段都存放消息体(Value)解析出来的数据。
value.fields-include 否 ALL 枚举类型 可选值:[ALL, EXCEPT_KEY] 在解析消息体时,是否要包含消息键字段。 取值如下: ALL(默认值):所有定义的字段都存放消息体(Value)解析出来的数据。
get_json_object get_json_object(string <json>, string <path>) STRING 根据所给路径对json对象进行解析,当json对象非法时将返回NULL。
get_json_object get_json_object(string <json>, string <path>) STRING 根据所给路径对json对象进行解析,当json对象非法时将返回NULL。
如果SQL查询中包含大量的嵌套left join操作,并且表有大量的动态分区时,这可能会导致在数据解析时消耗大量的内存资源,导致Driver节点的内存不足,并触发频繁的Full GC。
本示例选择为:CDC(DRS_JSON),以DRS_JSON格式解析源数据。 偏移量参数 从Kafka拉取数据时的初始偏移量。本示例当前选择为:最新。 最新:最大偏移量,即拉取最新的数据。 最早:最小偏移量,即拉取最早的数据。 已提交:拉取已提交的数据。
如何解析和比较偏移量取决于您的订单。对于 create-time 和 partition-time,应为时间戳字符串 (yyyy-[m]m-[d]d [hh:mm:ss])。 对于partition-time,将使用分区时间提取器从分区中提取时间。
本示例选择为:CDC(DRS_JSON),以DRS_JSON格式解析源数据。 偏移量参数 从Kafka拉取数据时的初始偏移量。本示例当前选择为:最新。 最新:最大偏移量,即拉取最新的数据。 最早:最小偏移量,即拉取最早的数据。 已提交:拉取已提交的数据。