云服务器内容精选

华为云首页用户手册

算子帮助

MapReduce服务 MRS-Loader算子配置项中使用宏定义:Loader宏定义

Loader宏定义目前Loader默认支持以下时间宏定义：表1 Loader常用宏定义名称替换后效果说明 @{dateformat("yyyy-MM-dd")}@ 2016-05-17 当前日期。 @{dateformat("yyyy-MM-dd HH:mm:ss")}@ 2016-05-17 16:50:00 当前日期和时间。 @{timestamp()}@ 1463476137557 从1970年到现在的毫秒数。 @{dateformat("yyyy-MM-dd HH:mm:ss",-7,DAYS)}@ 2016-05-10 16:50:00 最近7天，即当前时间减7天。第二个参数支持加减运算。第三个参数为时间运算的单位，参考“java.util.concurrent.TimeUnit.java”定义，分为DAYS、HOURS 、MINUTES、SECONDS。在以下场景中，可以使用宏进行配置参数：指定以当天时间命名的数据目录参数项配置为“/user/data/inputdate_@{dateformat("yyyy-MM-dd")}@”。通过SQL语句查询最近7天的数据 select * from table where time between '@{dateformat("yyyy-MM-dd HH:mm:ss",-7,DAYS)}@' and '@{dateformat("yyyy-MM-dd HH:mm:ss")}@' 指定当天的表名参数项配置为“table_@{dateformat("yyyy-MM-dd")}@”。

MapReduce服务 MRS Loader算子帮助
MapReduce服务 MRS-算子数据处理规则

算子数据处理规则在Loader导入或导出数据的任务中，每个算子对于原始数据中NULL值、空字符串定义了不同的处理规则；在算子中无法正确处理的数据，将成为脏数据，无法导入或导出。在转换步骤中，算子数据处理规则请参见下表。表1 数据处理规则一览表转换步骤规则描述 CS V文件输入分隔符在原始数据中连续出现两次，将生成空字符串字段。配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。遇到类型转换错误，当前数据保存为脏数据。固定宽度文件输入原始数据包含NULL值，不做转换处理。配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。配置转换字段类型，与原始数据实际类型不同，全部数据成为脏数据。例如将字符串类型转换为数值类型。配置字段分割长度，大于原字段值的长度，则数据分割失败，当前行成为脏数据表输入原始数据包含NULL值，不做转换处理。配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。配置转换字段类型，与原始数据实际类型不同，全部数据成为脏数据。例如将字符串类型转换为数值类型。 HBase输入原始数据包含NULL值，不做转换处理。配置HBase表名错误，全部数据成为脏数据。 “主键”没有配置主键列，全部数据成为脏数据。配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。配置转换字段类型，与原始数据实际类型不同，全部数据成为脏数据。例如将字符串类型转换为数值类型。长整型时间转换原始数据包含NULL值，不做转换处理。配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。遇到类型转换错误，当前数据保存为脏数据。空值转换原始数据包含NULL值，转换为用户指定的值。配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。随机值转换不涉及处理NULL值、空字符串，不生成脏数据。增加常量字段不涉及处理NULL值、空字符串，不生成脏数据。拼接转换原始数据包含NULL值，将转换为空字符串。配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。分隔转换原始数据包含NULL值，当前行成为脏数据。配置分割后字段列数，大于原始数据实际可分割出来的字段列数，当前行成为脏数据。取模转换原始数据包含NULL值，当前行成为脏数据。配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。数据类型转换失败，当前行成为脏数据。剪切字符串传入数据为NULL值，不做转换处理。配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。字符截取的起点位置或终点位置，大于输入字段的长度时，当前行成为脏数据。 EL操作转换传入数据为NULL值，不做转换处理。输入一个或多个字段的值，输出计算结果。输入类型和算子不兼容时，当前行为脏数据。字符串大小写转换传入数据为NULL值，不做转换处理。配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。字符串逆序转换传入数据为NULL值，不做转换处理。配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。字符串空格清除转换传入数据为NULL值，不做转换处理。配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。过滤行转换条件逻辑为“AND”，如果未添加过滤条件，全部数据成为脏数据；或者原始数据满足添加的全部过滤条件，当前行成为脏数据。条件逻辑为“OR”，如果未添加过滤条件，全部数据成为脏数据；或者原始数据满足任意添加的过滤条件，当前行成为脏数据。文件输出传入数据为NULL值，不做转换处理。配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。数据类型转换失败，当前行成为脏数据。表输出 HBase输出原始数据包含NULL值，如果“NULL值处理方式”设置为“true”，将转换为空字符串并保存。如果“NULL值处理方式”设置为“false”，不保存数据。配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。数据类型转换失败，当前行成为脏数据。 Hive输出如果指定了一个或多个列为分区列，则在“到”页面上，会显示“分割程序”属性，该属性表示使用多少个处理器去对分区数据进行处理。如果没有指定任何列为分区列，则表示不需要对输入数据进行分区处理，“分割程序”属性默认隐藏。配置输入字段列数，大于原始数据实际包含的字段列数，全部数据成为脏数据。数据类型转换失败，当前行成为脏数据。父主题：算子帮助

MapReduce服务 MRS 算子帮助