检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“EL操作转换”算子,对字段值进行运算后生成新的字段,目前支持的算子有:md5sum、sha1sum、sha256sum和sha512sum等。 输入与输出 输入:需要转换的字段 输出:经过EL表达式转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 el操作之后生成的字段
“EL操作转换”算子,对字段值进行运算后生成新的字段,目前支持的算子有:md5sum、sha1sum、sha256sum和sha512sum等。 输入与输出 输入:需要转换的字段 输出:经过EL表达式转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 el操作之后生成的字段
概述 “ClickHouse输出”算子,用于配置已生成的字段输出到ClickHouse表的列。 输入与输出 输入:需要输出的字段。 输出:ClickHouse表。 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 数据库名 配置ClickHouse表所在的数据库。 string
配置HBase表名。仅支持一个HBase表。 string 是 无 HBase输入字段 配置HBase输入信息: 列族:配置HBase列族名。 列名:配置HBase列名。 字段名:配置输入字段名。 类型:配置字段类型。 长度:配置字段长度,字段值实际长度太长则按配置的长度截取,“类型”为“CHAR”时实
to date 输入字段名 配置输入的待转换字段名称,需填写上一个转换步骤生成的字段名。 string 是 无 输出字段名 配置输出字段的字段名。 string 是 无 字段单位 配置长整型数值字段的单位,根据“转换类型”长整型数据可以是输入字段或生成字段,可选值为“second”和“milisecond”。
to date 输入字段名 配置输入的待转换字段名称,需填写上一个转换步骤生成的字段名。 string 是 无 输出字段名 配置输出字段的字段名。 string 是 无 字段单位 配置长整型数值字段的单位,根据“转换类型”长整型数据可以是输入字段或生成字段,可选值为“second”和“milisecond”。
ORC文件版本 通过该字段配置ORC文件的版本(当SparkSQL表文件的存储格式是ORC时)。 enum 是 0.12 输出分隔符 配置分隔符。 string 是 无 输出字段 配置输出信息: 位置:配置输出字段的位置。 字段名:配置输出字段的字段名。 类型:配置字段类型,字段类型为“DA
ORC文件版本 通过该字段配置ORC文件的版本(当SparkSQL表文件的存储格式是ORC时)。 enum 是 0.12 输出分隔符 配置分隔符。 string 是 无 输出字段 配置输出信息: 位置:配置输出字段的位置。 字段名:配置输出字段的字段名。 类型:配置字段类型,字段类型为“DA
配置HBase表名。仅支持一个HBase表。 string 是 无 HBase输入字段 配置HBase输入信息: 列族:配置HBase列族名。 列名:配置HBase列名。 字段名:配置输入字段名。 类型:配置字段类型。 长度:配置字段长度,字段值实际长度太长则按配置的长度截取,“类型”为“CHAR”时实
已准备源集群,例如,MySQL服务端集群。 Doris集群与MySQL服务端集群网络互通。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 通过JDBC Catalog查询MySQL/Doris数据 进入MySQL官网(https://www.mysql.com/),选择“DOWNLOADS
指标列的值可以通过聚合函数sum、count、min、max、hll_union_agg和bitmap_union等累加起来。 列式存储 在StarRocks中,表数据按列存储。物理上,一列数据会经过分块编码、压缩等操作,然后持久化存储到非易失设备上。但在逻辑上,一列数据可以看成是由相同类型的元素构成的一个数组,
概述 “ClickHouse输出”算子,用于配置已生成的字段输出到ClickHouse表的列。 输入与输出 输入:需要输出的字段 输出:ClickHouse表 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 数据库名 配置ClickHouse表所在的数据库 string
数量的输入字段。 输入与输出 输入:表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段 配置关系型数据库输入字段的相关信息: 位置:配置输入字段的位置。 字段名:配置输入字段名。 类型:配置字段类型。 长度:配置字段长度,字段值实际长度太
数量的输入字段。 输入与输出 输入:表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段 配置关系型数据库输入字段的相关信息: 位置:配置输入字段的位置。 字段名:配置输入字段名。 类型:配置字段类型。 长度:配置字段长度,字段值实际长度太
将图2中的“File”列的值填入“Start Binlog”,“Position”列的值填入“Start Position”,“Executed_Gtid_Set”列的值填入“Start Gtidset”,单击“确定”,任务启动。 如果2查询到的“Executed_Gtid_Set”存在两个值且以逗
enum 是 normal NULL值处理方式 配置NULL值处理方式。选中单选框时是将转换为空字符串并保存。不选中单选框时是不保存数据。 boolean 否 不选中单选框 HBase输出字段 配置HBase输出信息: 字段名:配置输出字段的字段名。 表名:配置HBase表名。 列
enum 是 normal NULL值处理方式 配置NULL值处理方式。选中单选框时是将转换为空字符串并保存。不选中单选框时是不保存数据。 boolean 否 不选中单选框 HBase输出字段 配置HBase输出信息: 字段名:配置输出字段的字段名。 表名:配置HBase表名。 列
空值转换 概述 “空值转换”算子,用于将空值替换成指定值。 输入与输出 输入:空值字段 输出:原字段,但值已经被替换 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 配置可能出现空值的字段名,需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。
是否检验输入字段与值的类型匹配情况,值为“NO”,不检查;值为“YES”,检查。如果不匹配则跳过该行。 enum 是 YES 输入字段 配置输入字段的相关信息: 位置:源文件每行被列分隔符分隔后,目标字段对应的位置,从1开始编号。 字段名:配置字段名。 类型:配置字段类型。 数据格式:字段类型为“DATE”
“字符串大小写转换”算子,用于配置已生成的字段通过大小写变换,转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。