华为云用户手册

MAPREDUCE服务 MRS-表输出:参数说明

参数说明表1 算子参数说明参数含义类型是否必填默认值输出分隔符配置分隔符。说明：该配置仅用于MySQL专用连接器，当数据列内容中包含默认分隔符时，需要设置自定义分隔符，否则会出现数据错乱。 string 否 , 换行分隔符用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。说明：该配置仅用于MySQL专用连接器，当数据列内容中包含默认分隔符时，需要设置自定义分隔符，否则会出现数据错乱。 string 否 \n 输出字段配置关系型数据库输出字段的相关信息：字段名：配置输出字段的字段名。表列名：配置数据库表的列名。类型：配置字段类型，需要和数据库的字段类型一致。长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“类型”为“CHAR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是无

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-Spark输出:参数说明

参数说明表1 算子参数说明参数含义类型是否必填默认值 Spark文件存储格式配置SparkSQL表文件的存储格式（目前支持四种格式： CS V、ORC、RC和PARQUET）。说明： PARQUET格式是一种列式存储格式，PARQUET要求Loader的输出字段名和SparkSQL表中的字段名保持一致。 Hive 1.2.0版本之后，Hive使用字段名称替代字段序号对ORC文件进行解析，因此，Loader的输出字段名和SparkSQL表中的字段名需要保持一致。 enum 是 CSV Spark文件压缩格式在下拉菜单中选择SparkSQL表文件的压缩格式，未配置或选择“NONE”表示不压缩数据。 enum 是 NONE Spark ORC文件版本通过该字段配置ORC文件的版本（当SparkSQL表文件的存储格式是ORC时）。 enum 是 0.12 输出分隔符配置分隔符。 string 是无输出字段配置输出信息：位置：配置输出字段的位置。字段名：配置输出字段的字段名。类型：配置字段类型，字段类型为“DATE”或“TIME”或“TIMESTAMP”时，需指定特定时间格式，其他类型指定无效。时间格式如：“yyyyMMdd HH:mm:ss”。十进制格式：配置小数的刻度和精度。长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“类型”为“CHAR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。分区键：配置是否为分区列。可以不指定分区列，也可以指定多个分区列。配置多个列为分区列时，会按照配置列的先后顺序对其进行拼接。 map 是无

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-Hive输出:参数说明

参数说明表1 算子参数说明参数含义类型是否必填默认值 Hive文件存储格式配置Hive表文件的存储格式（目前支持四种格式：CSV、ORC、RC和PARQUET）。说明： PARQUET格式是一种列式存储格式，PARQUET要求Loader的输出字段名和Hive表中的字段名保持一致。 Hive 1.2.0版本之后，Hive使用字段名称替代字段序号对ORC文件进行解析，因此，Loader的输出字段名和Hive表中的字段名需要保持一致。 enum 是 CSV Hive文件压缩格式在下拉菜单中选择Hive表文件的压缩格式，未配置或选择“NONE”表示不压缩数据。 enum 是 NONE Hive ORC文件版本通过该字段配置ORC文件的版本（当Hive表文件的存储格式是ORC时）。 enum 是 0.12 输出分隔符配置分隔符。 string 是无输出字段配置输出信息：位置：配置输出字段的位置。字段名：配置输出字段的字段名。类型：配置字段类型，字段类型为“DATE”或“TIME”或“TIMESTAMP”时，需指定特定时间格式，其他类型指定无效。时间格式如：“yyyyMMdd HH:mm:ss”。十进制格式：配置小数的刻度和精度。长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“类型”为“CHAR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。分区键：配置是否为分区列。可以不指定分区列，也可以指定多个分区列。配置多个列为分区列时，会按照配置列的先后顺序对其进行拼接。 map 是无

MAPREDUCE服务 MRS Loader输出类算子
MAPREDUCE服务 MRS-更新域:参数说明

参数说明表1 算子参数说明参数含义类型是否必填默认值更新字段名需要更新的字段 string 是无操作符操作符，支持“+”、“-”和“=” enum 是 + 更新值用来更新的值与字段类型相匹配否无条件逻辑连接符配置条件逻辑连接符，可配置“AND”或“OR”。 enum 是 AND 条件配置过滤条件相关信息：输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。操作：配置操作符。比较值：配置比较值，可直接输入值或输入“#{已存在的字段名}”格式引用字段的具体值。 map 是无

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-字符串逆序转换:参数说明

参数说明表1 算子参数说明参数含义类型是否必填默认值逆序转换的字段配置字符串逆序转换的字段相关信息：输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。输出字段名：配置输出字段名。类型：配置字段类型。输出字段长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“类型”为“CHAR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是无

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-EL操作转换:参数说明

参数说明表1 算子参数说明参数含义类型是否必填默认值 el操作之后生成的字段配置EL表达式：名称：表达式输出结果的名称。 el表达式：表达式，格式为：表达式名称（输入字段名,是否用小写字母表示输出结果）。例如，md5sum(fieldname,true)。 md5sum：生成md5校验值。 sha1sum：生成sha1校验值。 sha256sum：生成sha256校验值。 sha512sum：生成sha512校验值。类型：表达式输出结果类型，建议选择“VARCHAR”。时间格式：表达式输出结果格式。长度：表达式输出结果长度。 map 是无

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-剪切字符串:参数说明

参数说明表1 算子参数说明参数含义类型是否必填默认值被截取的字段配置被截取字段相关信息：输入字段名：配置输入字段名，需填写上一个转换步骤生成的字段名。输出字段名：配置输出字段名。开始位置：截取开始位置，从序号1开始。结束位置：截取结束位置，不确定字符串长度时，可指定为-1表示被截取字段的末尾。输出字段类型：输出字段的类型。输出字段长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“输出字段类型”为“CHAR”时实际长度不足则空格补齐，“输出字段类型”为“VARCHAR”时实际长度不足则不补齐。 map 是无

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-增加常量字段:参数说明

参数说明表1 算子参数说明参数含义类型是否必填默认值配置字段配置常量字段相关信息：输出字段名：配置字段名。类型：配置字段类型。时间格式：字段类型为“DATE”或“TIME”或“TIMESTAMP”时，需指定特定时间格式，其他类型指定无效。时间格式如：“yyyyMMdd HH:mm:ss”。长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“类型”为“CHAR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。常量值：配置符合类型的常量值。 map 是无

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-长整型时间转换:参数说明

参数说明表1 算子参数说明参数含义类型是否必填默认值转换类型配置长整型时间转换类型： long to date：长整型数值转换为DATE类型。 long to time：长整型数值转换为TIME类型。 long to timestamp：长整型数值转换为TIMESTAMP类型。 date to long：DATE类型转换为长整型数值。 time to long：TIME类型转换为长整型数值。 timestamp to long：TIMESTAMP类型转换为长整型数值。 enum 是 long to date 输入字段名配置输入的待转换字段名称，需填写上一个转换步骤生成的字段名。 string 是无输出字段名配置输出字段的字段名。 string 是无字段单位配置长整型数值字段的单位，根据“转换类型”长整型数据可以是输入字段或生成字段，可选值为“second”和“milisecond”。 enum 是 second 输出字段类型配置输出字段的类型，可选值为“BIGINT”，“DATE”，“TIME”和“TIMESTAMP”。 enum 是 BIGINT 时间格式配置时间字段格式，时间格式如：“yyyyMMdd HH:mm:ss”。 string 否无

MAPREDUCE服务 MRS Loader转换类算子
MAPREDUCE服务 MRS-Spark输入:样例

样例以SPARK导出到sqlserver2014数据库为例。在sqlserver2014上创建一张空表“test_1”用于存储SparkSQL数据。执行以下语句： create table test_1 (id int, name text, value text); 配置“Spark输入”算子，生成三个字段A、B和C：设置了数据连接器后，单击“自动识别”，系统将自动读取数据库中的字段，可根据需要选择添加，然后根据业务场景手动进行完善或者修正即可，无需逐一手动添加。此操作会覆盖表格内已有数据。通过“表输出”算子，将A、B和C输出到“test_1”表中： select * from test_1;

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-Spark输入:参数说明

参数说明表1 算子参数说明参数含义类型是否必填默认值 Spark数据库 SparkSQL的数据库名称。 String 否 default Spark表名配置SparkSQL表名。仅支持一个SparkSQL表。 String 是无分区过滤器配置分区过滤器可以导出指定分区数据，默认为空，导出整个表数据。例如导出分区字段locale的值为“CN”或“US”的表数据，输入如下： locale = "CN" or locale = "US" String 否 - Spark输入字段配置SparkSQL输入信息：列名：配置SparkSQL列名。字段名：配置输入字段名。类型：配置字段类型。长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“类型”为“CHAR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 -

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-Hive输入:样例

样例以Hive导出到sqlserver2014数据库为例。在sqlserver2014上创建一张空表“test_1”用于存储Hive数据。执行以下语句： create table test_1 (id int, name text, value text); 配置“Hive输入”算子，生成三个字段A、B和C：设置了数据连接器后，单击“自动识别”，系统将自动读取数据库中的字段，可根据需要选择添加，然后根据业务场景手动进行完善或者修正即可，无需逐一手动添加。此操作会覆盖表格内已有数据。通过“表输出”算子，将A、B和C输出到“test_1”表中： select * from test_1;

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-Hive输入:参数说明

参数说明表1 算子参数说明参数含义类型是否必填默认值 Hive数据库 Hive的数据库名称。 String 否 default Hive表名配置Hive表名。仅支持一个Hive表。 String 是无分区过滤器配置分区过滤器可以导出指定分区数据，默认为空，导出整个表数据。例如导出分区字段locale的值为“CN”或“US”的表数据，输入如下： locale = "CN" or locale = "US" String 否 - Hive输入字段配置Hive输入信息：列名：配置Hive列名。字段名：配置输入字段名。类型：配置字段类型。长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“类型”为“CHAR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是 -

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-HTML输入:数据处理规则

数据处理规则首先配置父标签，限定搜索范围，父标签要存在，否则取到的内容为空。配置输入字段，子标签用于精确定位字段所在的标签，相同的标签再通过关键字来精确匹配。关键字用于匹配字段的内容，配置方法类似于“输入设置”中的“文件过滤器”字段，支持“*”通配符，提供三种标记用于辅助定位，分别为： “#PART”标记，表示取被通配符“*”所匹配的值，如果存在多个“*”号，可以指定一个序号，按从左到右的顺序，取得对应序号的“*”所配置的内容。例如“#PART1”，表示取第1个“*”号匹配的值；“#PART8”，表示取第8个“*”号匹配的值。 “#NEXT”标记，表示取当前匹配的标签的下一个标签的值。 “#ALL”标记，表示取当前匹配的标签的所有内容作为值。配置的标签有误时，取到的值为空，不会报错。

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-HTML输入:参数说明

参数说明表1 算子参数说明参数含义类型是否必填默认值父标签所有字段的上层HTML标签，用于限定搜索范围 string 是无文件名自定义一个字段，以当前数据所在的文件名作为该字段值。 string 否无绝对文件名配置“文件名”引用文件名环境，选中单选框时是带绝对路径的文件名；不选中单选框时是不带路径的文件名。 boolean 否否验证输入字段是否检验输入字段与值的类型匹配情况，值为“NO”，不检查；值为“YES”，检查。如果不匹配则跳过该行。 enum 是 YES 输入字段配置输入字段的相关信息：位置：目标字段对应的位置，从1开始编号。字段名：配置字段名。字段所在的标签：字段的标签。关键字：配置关键字，能够匹配标签所在的内容，支持通配符，例如标签内容为“姓名”，可配置关键字“*姓名*”。类型：配置字段类型。数据格式：字段类型为“DATE”或“TIME”或“TIMESTAMP”时，需指定特定时间格式，其他字段类型指定无效。时间格式如：“yyyyMMdd HH:mm:ss”。长度：配置字段长度，字段值太长则按配置的长度截取，“类型”为“CHAR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是无

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-HBase输入:样例

样例以HBase导出到sqlserver2014数据库为例。在sqlserver2014上创建一张空表test_1用于存储HBase数据。执行以下语句： create table test_1 (id int, name text, value text); 配置“HBase输入”算子，生成三个字段A、B和C：设置了数据连接器后，可以单击“自动识别”，系统将自动读取数据库中的字段，可根据需要选择添加，然后根据业务场景手动进行完善或者修正即可，无需逐一手动添加。此操作会覆盖表格内已有数据。通过“表输出”算子，将A、B和C输出到test_1表中： select * from test_1;

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-HBase输入:参数说明

参数说明表1 算子参数说明参数含义类型是否必填默认值 HBase表类型配置HBase表类型，可选项为normal（普通表）和phoenix表。 enum 是 normal HBase表名配置HBase表名。仅支持一个HBase表。 string 是无 HBase输入字段配置HBase输入信息：列族：配置HBase列族名。列名：配置HBase列名。字段名：配置输入字段名。类型：配置字段类型。长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“类型”为“CHAR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。主键：配置是否为主键列。普通HBase表主键只能指定一个；phoenix表主键可以指定多个，配置多个列为主键时，会按照配置列的先后顺序对其进行拼接。必须配置一个主键列。 map 是无

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-表输入:样例

样例以sqlserver 2014为例，创建测试表test： create table test (id int, name text, value text); 往测试表中插入三条数据： insert into test values (1,'zhangshan','zhang'); insert into test values (2,'lisi','li'); insert into test values (3,'wangwu','wang'); 查询表：配置“表输入”算子，生成三个字段：设置了数据连接器后，可以单击“自动识别”，系统将自动读取数据库中的字段，可根据需要选择添加，然后根据业务场景手动进行完善或者修正即可，无需逐一手动添加。此操作会覆盖表格内已有数据。单击“自动识别”后，建议手动检查系统自动识别出的字段类型，确保与表中实际的字段类型相符合。例如Oracle数据库中的“date”类型，系统会自动识别为“timestamp”类型，如果不手动处理会导致后续Hive表在查询数据时报错。配置输出算子，输出到HDFS/OBS，结果如下：

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-固定宽度文件输入:参数说明

参数说明表1 算子参数说明参数含义类型是否必填默认值换行符用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 分割长度单位长度单位，可选择“char”字符或“byte”字节。 enum 是 char 输入字段配置输入字段相关信息：固定长度：设置字段长度，第2个字段起点从第1个字段终点开始，以此类推。字段名：配置输入字段名。类型：配置字段类型。数据格式：字段类型为“DATE”或“TIME”或“TIMESTAMP”时，需指定特定时间格式，其他字段类型指定无效。时间格式如：“yyyyMMdd HH:mm:ss”。长度：配置字段长度，字段值实际长度太长则按配置的长度截取，“类型”为“CHAR”时实际长度不足则空格补齐，“类型”为“VARCHAR”时实际长度不足则不补齐。 map 是无

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-CSV文件输入:参数说明

参数说明表1 算子参数说明参数含义类型是否必填默认值分隔符 CSV文件的列分隔符，用于分隔每行的数据。 string 是 , 换行符用户根据数据实际情况，填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 文件名是否作为字段自定义一个字段，以当前数据所在的文件名作为该字段值。 string 否无绝对路径配置“文件名是否作为字段”引用文件名环境，选中单选框时是带绝对路径的文件名；不选中单选框时是不带路径的文件名。 boolean 否不选中验证输入字段是否检验输入字段与值的类型匹配情况，值为“NO”，不检查；值为“YES”，检查。如果不匹配则跳过该行。 enum 是 YES 输入字段配置输入字段的相关信息：位置：源文件每行被列分隔符分隔后，目标字段对应的位置，从1开始编号。字段名：配置字段名。类型：配置字段类型。数据格式：字段类型为“DATE”或“TIM”E或“TIMESTAMP”时，需指定特定时间格式，其他字段类型指定无效。时间格式如：“yyyyMMdd HH:mm:ss”。长度：配置字段长度，字段值太长则按配置的长度截取，类型为“CHAR”时实际长度不足则空格补齐，类型为“VARCHAR”时实际长度不足则不补齐。 map 是无

MAPREDUCE服务 MRS Loader输入类算子
MAPREDUCE服务 MRS-Loader算子说明:转换流程

转换流程 Loader读取源端数据，通过输入算子将数据按规则逐一转换成字段，再通过转换算子，对这些字段做清洗或转换，最后通过输出算子将处理后的字段，输出到目标端。每个作业，如果进行数据转换操作，有且只能有一个输入算子，有且只能有一个输出算子。不符合转换规则的数据，将成为脏数据跳过。从关系型数据库导入数据到HDFS/OBS，可以不用配置数据转换，数据将按“,”分隔保存到HDFS/OBS。从HDFS/OBS导出数据到关系型数据库，可以不用配置数据转换，数据将按“,”分隔保存到关系型数据库。

MAPREDUCE服务 MRS Loader算子帮助
MAPREDUCE服务 MRS-Loader算子说明:算子简介

算子简介 Loader算子包括以下类型：输入算子数据转换的第一步，负责将数据转换成字段，每次转换有且只能有一种输入算子，涉及HBase或Hive导入导出时，必须填写。转换算子数据转换的中间转换步骤，属于可选类型，各个转换算子可任意搭配使用。转换算子是针对字段而言，必须先使用输入算子，将数据转换成字段。输出算子数据转换的最后一步，每次转换有且只能有一种输出算子，用于输出处理后的字段。涉及HBase或Hive导入导出时，必须填写。表1 算子分类一览表类型描述输入 CSV文件输入：将文件的每一行按指定分隔符转换成多个输入字段。固定宽度文件输入：将文件的每一行，按可配置长度的字符或字节，转换成多个输入字段。表输入：将关系型数据库表的指定列按顺序转换成同等数量的输入字段。 HBase输入：将HBase表的指定列转换成同等数量的输入字段。 HTML输入：将HTML文件中的元素转换成输入字段。 Hive输入：将Hive表的指定列转换成同等数量的输入字段。转换长整型时间转换：实现长整型数值与日期类型的互换。空值转换：将空值替换成指定值。增加常量字段：生成常量字段。随机值转换：生成随机数字段。拼接转换：拼接已有字段，生成新字段。分隔转换：将已有字段，按指定分隔符，分隔出新字段。取模转换：对已有字段取模，生成新字段。剪切字符串：通过指定起始位置，截取已有字符串类型的字段，生成新字段。 EL操作转换：指定算法，对字段值进行运算，目前支持的算法有：md5sum、sha1sum、sha256sum和sha512sum等。字符串大小写转换：对已有的字符串类型字段，切换大小写，生成新字段。字符串逆序转换：对已有的字符串类型字段，做逆序变换，生成新字段。字符串空格清除转换：对已有的字符串类型字段，清除左右空格，生成新字段。过滤行转换：配置逻辑条件过滤掉含触发条件的行。更新域：当满足某些条件时，更新字段的值。输出 Hive输出：将已生成的字段输出到Hive表。表输出：将已生成的字段输出到关系型数据库表。文件输出：将已生成的字段通过分隔符连接并输出到文件。 HBase输出：将已生成的字段输出到HBase表。

MAPREDUCE服务 MRS Loader算子帮助
MAPREDUCE服务 MRS-使用Loader从HBase导出数据到HDFS/OBS:前提条件

前提条件创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。确保用户已授权访问作业执行时操作的HBase表或phoenix表。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-使用Loader从Hive导出数据到SFTP服务器:前提条件

前提条件创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业中指定的Hive表的权限。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器数据导出目录的写入权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的任务需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-使用Loader从HBase导出数据到SFTP服务器:前提条件

前提条件创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HBase表或phoenix表。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器数据导出目录的写入权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。如果设置的任务需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-使用Loader从HDFS/OBS导出数据到SFTP服务器:前提条件

前提条件创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器数据导出目录的写入权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。使用Loader从HDFS/OBS导出数据时，确保HDFS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。如果设置的任务需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-使用Loader导出MRS集群内数据:前提条件

前提条件创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的目录、HBase表和数据。获取外部数据源（SFTP服务器或关系型数据库）使用的用户和密码。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。使用Loader从HDFS/OBS导出数据时，确保HDFS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。如果设置的任务需要使用指定Yarn队列功能，该用户需要已授权有相关Yarn队列的权限。设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。

MAPREDUCE服务 MRS 创建Loader数据导出作业
MAPREDUCE服务 MRS-使用Loader从HDFS/OBS导入数据到HBase:前提条件

前提条件创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。确保用户已授权访问作业执行时操作的HBase表或phoenix表。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。使用Loader从HDFS/OBS导入数据时，确保HDFS/OBS输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-使用Loader从FTP服务器导入数据到HBase:前提条件

前提条件创建或获取该任务中创建Loader作业的业务用户和密码。获取FTP服务器使用的用户和密码，且该用户具备FTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀，则该用户还需具备源文件的写入权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。使用Loader从FTP服务器导入数据时，确保FTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。

MAPREDUCE服务 MRS
MAPREDUCE服务 MRS-使用Loader从SFTP服务器导入数据到Hive:前提条件

前提条件创建或获取该任务中创建Loader作业的业务用户和密码。确保用户已授权访问作业中指定的Hive表的权限。获取SFTP服务器使用的用户和密码，且该用户具备SFTP服务器上源文件的读取权限。如果源文件在导入后文件名要增加后缀，则该用户还需具备源文件的写入权限。检查磁盘空间，确保没有出现告警且余量满足导入、导出数据的大小。使用Loader从SFTP服务器导入数据时，确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。

MAPREDUCE服务 MRS

共100000条

undefined

意见反馈

0/200

提交取消

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

华为云用户手册

7*24

备案

专业服务

退订

建议反馈

售前咨询热线