检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行成为脏数据。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: 配置“过滤行转换”算子,过滤掉含有test的行。 转换后,输入原字段,结果如下: 父主题: 转换算子
Hive输入 概述 “Hive输入”算子,将Hive表的指定列转换成同等数量的输入字段。 输入与输出 输入:Hive表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 Hive数据库 Hive的数据库名称。 String 否 default Hive表名
SQL,查询SQL结果中包含中文字符,出现报错“UnicodeDecodeError: 'utf-8' codec can't decode byte in position 0: unexpected end of data”。 原因分析 Hive中一个中文字符长度为“1”;而Imp
脏数据。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下: 配置“过滤行转换”算子,过滤掉含有test的行。 转换后,输入原字段,结果如下: 父主题: Loader转换类算子
字符串逆序转换 概述 “字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名
转换算子 长整型时间转换 空值转换 增加常量字段 随机值转换 拼接转换 分隔转换 取模转换 剪切字符串 EL操作转换 字符串大小写转换 字符串逆序转换 字符串空格清除转换 过滤行转换 更新域 父主题: 算子帮助
字符串大小写转换 概述 “字符串大小写转换”算子,用于配置已生成的字段通过大小写变换,转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息:
字符串空格清除转换 概述 “字符串空格清除转换”算子,用于配置已生成的字段通过清除空格,转换出新的字段。 输入与输出 输入:需要清除空格的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息:
Hive复杂类型字段名称中包含特殊字符,导致建表失败。 回答 Hive不支持复杂类型字段名称中包含特殊字符。 特殊字符是指英文大小写字母、阿拉伯数字、中文字符、葡萄牙文字符以外的其他字符。 用户在创建相关字段时,应避免使用相关特殊字符。 父主题: Hive常见问题
表输入 概述 “表输入”算子,将关系型数据库表的指定列按顺序转换成同等数量的输入字段。 输入与输出 输入:表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段 配置关系型数据库输入字段的相关信息: 位置:配置输入字段的位置。 字段名:配置输入字段名。
字符串逆序转换 概述 “字符串逆序转换”算子,用于配置已生成的字段通过逆序,转换出新的字段。 输入与输出 输入:需要逆序的字段 输出:逆序转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 逆序转换的字段 配置字符串逆序转换的字段相关信息: 输入字段名
字符串空格清除转换 概述 “字符串空格清除转换”算子,用于配置已生成的字段通过清除空格,转换出新的字段。 输入与输出 输入:需要清除空格的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 清除空格的字段 配置字符串空格清除的字段相关信息:
字符串大小写转换 概述 “字符串大小写转换”算子,用于配置已生成的字段通过大小写变换,转换出新的字段。 输入与输出 输入:需要转换大小写的字段 输出:转换后的字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 转换后的字段 配置字符串大小写转换的字段相关信息:
通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“增加常量字段”算子,增加两个字段C和D: 转换后,将A、B、C和D按顺序输出,结果如下: 父主题: 转换算子
表输入 概述 “表输入”算子,将关系型数据库表的指定列按顺序转换成同等数量的输入字段。 输入与输出 输入:表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输入字段 配置关系型数据库输入字段的相关信息: 位置:配置输入字段的位置。 字段名:配置输入字段名。
通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“增加常量字段”算子,增加两个字段C和D: 转换后,将A、B、C和D按顺序输出,结果如下: 父主题: Loader转换类算子
用(连接操作 ||)时能提供数据类型隐式转换功能。 类型隐式转换功能是可以打开、关闭的,默认是关闭状态,使用前需要先打开隐式转换功能。 在Session级别开启隐式转换 登录HetuEngine客户端。 执行以下命令,开启数据类型隐式转换功能。 set session impli
HetuEngine隐式转换对照表 在开启隐式转换功能后,当数据类型不匹配时会隐式转换,但并是不是所有的数据类型都支持隐式转换。以下为当前隐式转换功能支持的数据类型转换表: 表1 隐式转换对照表 - BOOLEAN TINYINT SMALLINT INTEGER BIGINT REAL
关闭HetuEngine数据类型隐式转换 在Session级别关闭隐式转换 登录HetuEngine客户端。 执行以下命令,关闭隐式转换功能。 set session implicit_conversion=false; 在Session级别关闭UDF函数运算结果的隐式转换 登录HetuEngine客户端。
Loader转换类算子 长整型时间转换 空值转换 增加常量字段 随机值转换 拼接转换 分隔转换 取模转换 剪切字符串 EL操作转换 字符串大小写转换 字符串逆序转换 字符串空格清除转换 过滤行转换 更新域 父主题: Loader算子帮助