检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Oracle作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如
t对应一个MRS集群数据连接。 表1 MRS上的HDFS连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mrs_hdfs_link Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择
对应一个MRS集群数据连接。 表1 MRS上的HBase连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mrs_hbase_link Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选
现有集群”,单击集群名称进入集群详情页面,单击“组件管理”。 单击“下载客户端”。“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”或“远端主机”,自定义文件保存路径后,单击“确定”开始生成客户端配置文件。 将生成的配置文件,保存到本地路径。 具体可参见MapReduce服务文档。 针对MRS
户,密码不会立即生效且作业会运行失败。 表1 Redis连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 redis_link Redis部署方式 Redis部署方式: Single:表示单机部署。 Cluster:表示集群部署。
S连接。 obs_link 列表文件OBS桶 存储文本文件的OBS桶名称。 obs-cdm 列表文件或目录 在OBS中存储文本文件的文件自定义目录,多级目录可用“/”进行分隔。 test1 文件格式 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景,二进制格式适用于文件迁移场景。
新建连接”,进入选择连接器类型的界面,如图3所示。 图3 选择连接器类型 连接器类型选择“云数据库 MySQL”后单击“下一步”,配置连接参数: 名称:用户自定义连接名称,例如:“rds_link”。 数据库服务器、端口:配置为RDS上MySQL数据库的连接地址、端口。 数据库名称:配置为RDS上MySQL数据库的名称。
图3所示。 图3 选择连接器类型 连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。
图3所示。 图3 选择连接器类型 连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。
新建连接”,进入选择连接器类型的界面,如图3所示。 图3 选择连接器类型 连接器类型选择“云数据库 MySQL”后单击“下一步”,配置连接参数: 名称:用户自定义连接名称,例如:“rds_link”。 数据库服务器、端口:配置为RDS上MySQL数据库的连接地址、端口。 数据库名称:配置为RDS上MySQL数据库的名称。
默认使用最新版本驱动,若不兼容请尝试其他版本。 高于12.1 驱动版本 需要适配的驱动。 - 一次请求行数 指定每次请求获取的行数。 1000 连接属性 自定义连接属性。 useCompression=true 引用符号 连接引用表名或列名时的分隔符号。默认为空。 ' 单击“保存”回到连接管理界面。
里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 toJobConfig.filePrefix 否 String 自定义文件名前缀,支持时间宏。例如:test_${dateformat(yyyyMMdd, -1, DAY)} 注意文件名格式要符合hdfs文件路径命名规范。
可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 自定义连接属性。 useCompression=true 引用符号 连接引用表名或列名时的分隔符号。默认为空。 ' 单次写入行数 指定单次批量写
单击“保存”回到连接管理界面。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。
可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 自定义连接属性。 useCompression=true 引用符号 连接引用表名或列名时的分隔符号。默认为空。 ' 单次写入行数 指定单次批量写
fromJobConfig.inputDirectory 是 String 抽取文件的路径。支持输入多个文件路径(最多50个),默认以“|”分隔,也可以自定义文件分隔符,例如:“FROM/example.csv|FROM/b.txt”。 fromJobConfig.inputFormat 是 枚举
业管理”。 选择“表/文件迁移 > 新建作业”,进入作业配置界面。 图1 新建表/文件迁移的作业 选择源连接、目的连接: 作业名称:用户自定义任务名称,名称由中文、数字、字母、中划线、下划线、点号,且首字符不能是中划线或点号组成,长度必须在1到240个字符之间,例如“oracle2rds_t”。
里保持默认,必填参数如下表所示。 表1 MRS Hive连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 hivelink Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已
里保持默认,必填参数如下表所示。 表1 MRS Hive连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 hivelink Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已
说明 取值样例 基本参数 源目录或文件 待迁移数据的目录或单个文件路径。文件路径支持输入多个文件(最多50个),默认以“|”分隔,也可以自定义文件分隔符,具体请参见文件列表迁移。 待迁移数据的目录,将迁移目录下的所有文件(包括所有嵌套子目录及其子文件)。 该参数支持配置为时间宏变