检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
长整型时间转换 概述 “长整型时间转换”算子,用于配置长整型数值与日期的转换。 输入与输出 输入:需要转换的字段 输出:转换后的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换类型 配置长整型时间转换类型: long to date:长整型数值转换为DATE类型。
使用Spark小文件合并工具说明 工具介绍 在Hadoop大规模生产集群中,由于HDFS的元数据都保存在NameNode的内存中,集群规模受制于NameNode单点的内存限制。如果HDFS中有大量的小文件,会消耗NameNode大量内存,还会大幅降低读写性能,延长作业运行时间。因
样例 通过“CSV文件输入”算子,生成三个字段A、B和C。 源文件如下图: 配置“拼接转换”算子,“分隔符”为空格,生成新字段D: 转换后,依次输出A、B、C和D,结果如下: 父主题: Loader转换类算子
脏数据。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: 配置“过滤行转换”算子,过滤掉含有test的行。 转换后,输入原字段,结果如下: 父主题: Loader转换类算子
如果集群为安全集群,可能是Flink的SSL证书配置错误,或者证书过期。 解决方法 增加队列的资源。 排除用户jar包中的Flink和Hadoop依赖,依赖环境中的jar包。 重新配置Flink的SSL证书,可参考从零开始使用Flink。 父主题: 作业管理类
分隔转换 概述 “分隔转换”算子,将已有字段的值按指定的分隔符分隔后生成新字段。 输入与输出 输入:需要分隔的字段 输出:分隔后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 被分隔的字段名,需填写上一个转换步骤生成的字段名。 string 是
样例 通过“CSV文件输入”算子,生成三个字段A、B和C。 源文件如下图: 配置“拼接转换”算子,“分隔符”为空格,生成新字段D: 转换后,依次输出A、B、C和D,结果如下: 父主题: 转换算子
分隔转换 概述 “分隔转换”算子,将已有字段的值按指定的分隔符分隔后生成新字段。 输入与输出 输入:需要分隔的字段 输出:分隔后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段名 被分隔的字段名,需填写上一个转换步骤生成的字段名。 string 是
Kafka目前支持的访问协议类型有哪些? 问:Kafka目前支持的访问协议类型有哪些? 答:当前支持4种协议类型的访问:PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL。 父主题: 组件配置类
问: Kafka支持的访问协议类型有哪些? 答: Kafka支持四种协议类型的访问,分别为:PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL。 父主题: 组件配置类
当IoTDB所在集群为非安全模式时,请咨询IoTDB所在集群的集群管理员获取用户“root”的密码。 开启ssl IoTDB服务是否开启了SSL,安全集群默认开启。 是 truststore文件 IoTDB开启SSL后需上传“truststore.jks”文件。 - IoTDBServer业务IP:
字段原值为null时,替换成指定的值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“空值转换”算子,如下图: 转换后,将A和B的值输出后的结果如下: 父主题: 转换算子
通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“随机值转换”算子,生成C、D、E三个字段: 转换后,按顺序输入这五个字段: 可以发现,每次生成的随机值都不一样。 父主题: 转换算子
取模转换 概述 “取模转换”算子,对整数字段取模,生成新字段。 输入与输出 输入:整数字段 输出:模数字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 取模字段名 配置取模运算信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。
xample样例代码,需进行以下操作: 需放置准备集群认证用户信息获取到的认证文件“user.keytab”和“krb5.conf”及SSL证书文件“truststore.jks”到各样例工程的“..\src\main\resources”目录下。 配置各样例工程的“..\src
通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“随机值转换”算子,生成C、D、E三个字段: 转换后,按顺序输入这五个字段: 可以发现,每次生成的随机值都不一样。 父主题: Loader转换类算子
字符串逆序转换 概述 “字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名
HetuEngine隐式转换对照表 在开启隐式转换功能后,当数据类型不匹配时会隐式转换,但并是不是所有的数据类型都支持隐式转换。以下为当前隐式转换功能支持的数据类型转换表: 表1 隐式转换对照表 - BOOLEAN TINYINT SMALLINT INTEGER BIGINT REAL
字符串大小写转换 概述 “字符串大小写转换”算子,用于配置已生成的字段通过大小写变换,转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息:
字段原值为null时,替换成指定的值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“空值转换”算子,如下图: 转换后,将A和B的值输出后的结果如下: 父主题: Loader转换类算子