检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DEFLATE：压缩为DEFLATE格式。 GZIP：压缩为GZIP格式。 BZIP2：压缩为BZIP2格式。 LZ4：压缩为LZ4格式。 SNAPPY：压缩为SNAPPY格式。 toJobConfig.appendMode 是 Boolean 当加载路径已经存在文件，是否需要写入，默认值为“false”。 toJobConfig
创建Oracle数据连接测试连通性成功，连接管理界面中测试连接失败。是什么原因？ 作业配置表不存在时自动创建，目的端字段映射不出来怎么处理？ 作业从旧集群导出，再导入到新的集群失败怎么解决？ 迁移HDFS文件，报错无法获取块怎么处理？ 创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理？
“NONE”。 NONE：不压缩。 SNAPPY：压缩为Snappy格式。 GZ：压缩为GZ格式。 NONE WAL开关 选择是否开启HBase的预写日志机制（WAL，Write Ahead Log）。 是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。
已使用的内存与CPU核数 Max Resources：队列中最大可供使用的内存与CPU核数 Used Application Master Resources: 已使用的AM资源 Max Application Master Resources: 队列中最大可供使用的AM资源 通过对比基
方式二：单击对应驱动名称右侧操作列的“从sftp复制”，配置sftp连接器名称和驱动文件路径。 在“集群管理”界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面，如图1所示。 图1 选择连接器类型 连接器类型选择“MySQL”后单击“下一步”，配置MySQL连接的参数。
方式二：单击对应驱动名称右侧操作列的“从sftp复制”，配置sftp连接器名称和驱动文件路径。 在“集群管理”界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面，如图1所示。 图1 选择连接器类型 连接器类型选择“MySQL”后单击“下一步”，配置MySQL连接的参数。
DEFLATE：压缩为DEFLATE格式。 GZIP：压缩为GZIP格式。 BZIP2：压缩为BZIP2格式。 LZ4：压缩为LZ4格式。 SNAPPY：压缩为SNAPPY格式。 SNAPPY 换行符 文件中的换行符，默认自动识别“\n”、“\r”或“\r\n”。“文件格式”为“二进制格式”时该参数值无效。
通过作业配置中的源端和目标端连接名称，进入到cdm作业管理—>连接管理，找到该连接器名称。 编辑连接器，显示高级属性—>连接属性—>添加：属性名称socketTimeout 值：36000（单位为秒），测试连接，保存。 重新启动作业，等待迁移任务执行成功。 父主题： 故障处理类
在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。 图1 新建字段转换器 CDM可以在迁移过程中对字段进行转换，目前支持以下字段转换器： 脱敏 去前后空格 字符串反转 字符串替换 去换行 表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面，C
在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。 图1 新建字段转换器 CDM可以在迁移过程中对字段进行转换，目前支持以下字段转换器： 脱敏 去前后空格 字符串反转 字符串替换 去换行 表达式转换 约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面，C
应用场景 大数据迁移上云 本地数据是指存储在用户自建或者租用的IDC中的数据，或者第三方云环境中的数据，包括关系型数据库、NoSQL数据库、OLAP数据库、文件系统等。 这个场景是用户希望利用云上的计算和存储资源，需要先将本地数据迁移上云。该场景下，需要保证本地网络与云上网络是连通的。
SQL过程中，需要等Spark SQL执行完作业才会结束。 原因分析 打开日志，搜索insert into，找到如下的日志，根据日志中打印的Yarn ApplicationId到MRS Resource Manager上看Yarn任务详情。 执行Spark SQL的速度与租户队列资源强相关，在
Principal和keytab文件，可以联系Hadoop管理员获取。 单击“保存”，CDM会自动测试连接是否可用。 如果可用则提示保存成功，系统自动跳转到连接管理界面。 如果测试不可用，需要重新检查连接参数是否配置正确，或者H公司防火墙是否允许CDM集群的EIP访问数据源。 单
类型：字符串。 默认值：application/json; charset=UTF-8 是 X-request-id 此字段携带请求ID号，以便任务跟踪。 类型：字符串。request_id-timestamp-hostname（request_id在服务器端生成UUID， tim
创建新HBase表时采用的压缩算法，支持SNAPPY和GZ算法，默认为“NONE”。 toJobConfig.writeToWAL 否 Boolean 选择是否开启HBase的预写日志机制（WAL，Write Ahead Log）。 是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。
CSV：以CSV格式解析源数据。 fromJobConfig.separator 否 String 字段分隔符。 fromJobConfig.appName 否 String 用户数据消费程序的唯一标识符。 父主题： 源端作业参数说明
bindEip 解绑弹性IP cluster unbindEip 创建连接 link createLink 修改连接 link modifyLink 测试连接 link verifyLink 删除连接 link deleteLink 创建任务 job createJob 修改任务 job modifyJob
进入“我的凭证”页面，选择“访问密钥 > 新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件，即可查看访问密钥（Access Key Id和Secret
设置从DIS拉取数据时的初始偏移量： 最新：最大偏移量，即拉取最新的数据。 上次停止处：从上次停止处继续读取。 最早：最小偏移量，即拉取最早的数据。 最新 APP名字 配置用户数据消费程序的唯一标识符，不存在时会自动创建。 cdm 数据格式 解析数据时使用的格式： 二进制格式：适用于文件迁移场景，不解析数据内容原样传输。
cdm/job”。 HTTP方法：创建CDM作业的HTTP请求方法为“POST”。 添加如下两个请求头： Content-Type = application/json X-Language = en-us 请求消息体：输入修改JSON里面修改完成后的CDM作业JSON。 图3 创建CDM作业的节点属性
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
