检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。
RDS_POSTGRES:RDS服务PostgreSQL数据库 RDS_MYSQL:RDS服务MySQL数据库 gaussdb-mysql:云数据库GaussDB(for MySQL) source_info 是 String 参数解释: 数据源信息,为json格式。 取值范围: 不涉及 响应参数 状态码:
string 是 无 分割后的字段 配置分隔后的字段,可为多个: 位置:分隔后字段的位置。 输出字段名:分隔后的字段名。 map 是 无 数据处理规则 将输入字段的值按指定的分隔符分隔后,依次赋给配置的新字段。 配置分割后字段列数,大于原始数据实际可分割出来的字段列数,当前行成为脏数据。
FE中处理任务的线程池中正在排队的任务数超过阈值 告警解释 系统每30秒周期性检查FE中处理任务的线程池中正在排队的任务数,当检查到该值超出阈值(默认值为10)时产生该告警。该线程池为NIO MySQL Server用于处理任务的线程池。 当FE中处理任务的线程池中正在排队的任务数低于阈值时,告警清除。 告警属性 告警ID
mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html,安装MySQL
string 是 无 分割后的字段 配置分隔后的字段,可为多个: 位置:分隔后字段的位置。 输出字段名:分隔后的字段名。 map 是 无 数据处理规则 将输入字段的值按指定的分隔符分隔后,依次赋给配置的新字段。 配置分割后字段列数,大于原始数据实际可分割出来的字段列数,当前行成为脏数据。
select * from default.tbl_src where name = TestName; 表tbl_src的id字段为Int类型,name字段为String类型。 JDBC超时限制 Impala使用Hive提供的JDBC,Hive提供的JDBC实现有超时限制,默认是5分钟,用户可以通过java
select * from default.tbl_src where name = TestName; 表tbl_src的id字段为Int类型,name字段为String类型。 JDBC超时限制 Impala使用Hive提供的JDBC,Hive提供的JDBC实现有超时限制,默认是5分钟,用户可以通过java
按照某一字段进行分片,配合-m --target-dir 指定hdfs临时目录 --null-string string 类型为null时替换字符串 --null-non-string 非string类型为null时替换字符串 --check-column 增量判断的字段 --incremental
“字符串空格清除转换”算子,用于配置已生成的字段通过清除空格,转换出新的字段。 输入与输出 输入:需要清除空格的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html,安装MySQL
mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html,安装MySQL
“字符串空格清除转换”算子,用于配置已生成的字段通过清除空格,转换出新的字段。 输入与输出 输入:需要清除空格的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
-3.1.0.mysql.sql MySQL导入sql文件的命令: ./bin/mysql -u username -p -D databasename<hive-schema-3.1.0.mysql.sql 其中: ./bin/mysql:在MySQL安装目录下。 username:登录MySQL的用户名。
否 否 验证输入字段 是否检验输入字段与值的类型匹配情况,值为“NO”,不检查;值为“YES”,检查。如果不匹配则跳过该行。 enum 是 YES 输入字段 配置输入字段的相关信息: 位置:目标字段对应的位置,从1开始编号。 字段名:配置字段名。 字段所在的标签:字段的标签。 关键
“字符串大小写转换”算子,用于配置已生成的字段通过大小写变换,转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
“字符串大小写转换”算子,用于配置已生成的字段通过大小写变换,转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。
如果schema包含non-nullable字段但是值是不存在或者null,则可能会发生这种情况。 建议以使用向后兼容的演进schema。本质上,这意味着要么将每个新添加的字段设置为空值,要么为每个新字段设置为默认值。从Hudi版本0.5.1起,如果依赖字段的默认值,则该故障处理对此无效。 父主题:
否 否 验证输入字段 检验输入字段与值的类型匹配情况,值为“NO”,不检查;值为“YES”,检查。若不匹配则跳过该行。 enum 是 YES 输入字段 配置输入字段的相关信息: 位置:目标字段对应的位置,从1开始编号。 字段名:配置字段名。 字段所在的标签:字段的标签。 关键字:
如果schema包含non-nullable字段但是值是不存在或者null,则可能会发生这种情况。 建议以使用向后兼容的演进schema。本质上,这意味着要么将每个新添加的字段设置为空值,要么为每个新字段设置为默认值。从Hudi版本0.5.1起,如果依赖字段的默认值,则该故障处理对此无效。 父主题: