检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive不支持复杂类型字段名称中包含哪些特殊字符 问题 Hive复杂类型字段名称中包含特殊字符,导致建表失败。 回答 Hive不支持复杂类型字段名称中包含特殊字符,特殊字符是指英文大小写字母、阿拉伯数字、中文字符、葡萄牙文字符以外的其他字符。 父主题: Hive常见问题
修改MRS集群系统用户密码 修改或重置MRS集群admin用户密码 修改MRS集群节点操作系统用户密码 修改MRS集群Kerberos管理员用户密码 修改MRS集群Manager用户密码 修改MRS集群LDAP普通用户密码 修改MRS集群LDAP管理账户密码 修改MRS集群组件运行用户密码
日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果 问题 为什么日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果,匹配'2016-06-30'时有查询结果。 如下图所示:“select count(*)from trxfintrx2012 a
当hudi表存在timestamp类型字段时,需指定此参数为true,以实现同步timestamp类型到hive元数据中。该值默认为false,默认将timestamp类型同步为bigInt,默认情况可能导致使用sql查询包含timestamp类型字段的hudi表出现错误。 true 父主题:
日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果 问题 为什么日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果,匹配'2016-06-30'时有查询结果。 如下图所示:“select count(*)from trxfintrx2012 a
同步hive parquet表,其分区字段为非string类型,无法正常使用hive import导入,只能考虑使用hcatalog方式,但是hcatalog方式报错如下: 回答 修改sqoop源码SqoopHCatUtilities中的代码,将限制代码去掉。 修改hive客户端中的hive-site
空字符串 被拼接字段名 配置需要被拼接字段名。 字段名:需填写上一个转换步骤生成的字段名,可添加多个。 map 是 无 数据处理规则 按顺序将“被拼接字段名”中配置的字段的值,通过连接符拼接后,赋给“输出字段名”。 当有字段的值为null时,会转化为空字符串,再与其他字段值拼接。 样例
空字符串 被拼接字段名 配置需要被拼接字段名。 字段名:需填写上一个转换步骤生成的字段名,可添加多个。 map 是 无 数据处理规则 按顺序将“被拼接字段名”中配置的字段的值,通过连接符拼接后,赋给“输出字段名”。 当有字段的值为null时,会转化为空字符串,再与其它字段值拼接。 样例
string 是 无 分割后的字段 配置分隔后的字段,可为多个: 位置:分隔后字段的位置。 输出字段名:分隔后的字段名。 map 是 无 数据处理规则 将输入字段的值按指定的分隔符分隔后,依次赋给配置的新字段。 配置分割后字段列数,大于原始数据实际可分割出来的字段列数,当前行成为脏数据。
“取模转换”算子,对整数字段取模,生成新字段。 输入与输出 输入:整数字段 输出:模数字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 取模字段名 配置取模运算信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。 系数:指定取模的数值。
“取模转换”算子,对整数字段取模,生成新字段。 输入与输出 输入:整数字段 输出:模数字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 取模字段名 配置取模运算信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。 系数:指定取模的数值。
“字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。
“字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。
string 是 无 分割后的字段 配置分隔后的字段,可为多个: 位置:分隔后字段的位置。 输出字段名:分隔后的字段名。 map 是 无 数据处理规则 将输入字段的值按指定的分隔符分隔后,依次赋给配置的新字段。 配置分割后字段列数,大于原始数据实际可分割出来的字段列数,当前行成为脏数据。
map 是 无 数据处理规则 对字段值进行运算后生成新的字段。 当前新字段的类型只能为VARCHAR。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件见下图: 配置“EL操作转换”算子,生成C、D、E和F四个字段: 依次输出这六个字段,结果如下图: 父主题: Loader转换类算子
char 输入字段 配置输入字段相关信息: 固定长度:设置字段长度,第2个字段起点从第1个字段终点开始,以此类推。 字段名:配置输入字段名。 类型:配置字段类型。 数据格式:字段类型为“DATE”或“TIME”或“TIMESTAMP”时,需指定特定时间格式,其他字段类型指定无效。时间格式如:“yyyyMMdd
map 是 无 数据处理规则 对字段值进行运算后生成新的字段。 当前新字段的类型只能为VARCHAR。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件见下图: 配置“EL操作转换”算子,生成C、D、E和F四个字段: 依次输出这六个字段,结果如下图: 父主题: 转换算子
“剪切字符串”算子,截取已有字段的值,生成新的字段。 输入与输出 输入:需要截取的字段 输出:截取后生成的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 被截取的字段 配置被截取字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。
“剪切字符串”算子,截取已有字段的值,生成新的字段。 输入与输出 输入:需要截取的字段 输出:截取后生成的新字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 被截取的字段 配置被截取字段相关信息: 输入字段名:配置输入字段名,需填写上一个转换步骤生成的字段名。 输出字段名:配置输出字段名。
修改Kudu表 功能简介 通过KuduClient.alterTable(String name, AlterTableOptions ato)方法修改表对象。 代码样例 如下是写数据的代码片段: // Alter the table, adding a column with a