检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接成功后,需要在MgC Agent上分别添加源端“大数据-MaxCompute”凭证、目的端“大数据-Hive Metastore”凭证和目的端“MRS执行机”凭证,认证方式分别选择“AK/SK”、“用户名/密钥”、“用户名/密码”。凭证的添加方法请参考添加资源凭证。 MaxCompute
Agent与云端MgC控制台建立连接。 连接成功后,需要在MgC Agent上分别添加阿里云EMR ClickHouse凭证和目的端MRS ClickHouse凭证,类型选择“大数据-ClickHouse”,认证方式选择“用户名/密码”。凭证的添加方法请参考添加资源凭证。 阿里云EMR ClickHouse的凭证填写登录EMR
例如:192.0.2.1,192.0.2.2 最多可输入3个DNS服务器地址。 域名映射配置(可选) 添加域名到IP地址的映射,用于修改/etc/hosts文件。 最多可添加500个IP地址映射。 - 流量控制 设置迁移任务在指定时段的最大流量带宽。 不勾选,则不进行流量控制
),编辑.\tools\SecAs-1.2.29\bin\catalina.bat,配置参数。 在文件中 “@echo off”的下一行,添加如下信息: set "JAVA_OPTS=-Xms512M -Xmx1024M" 其中“-Xms512M -Xmx1024M”即为可进行配置的JVM参数。-Xms512M
模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式,否则会导致解析失败。 模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100 MB。 选择血缘模板。 单击“模板下载”,将血缘模板下载到本地。
模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式,否则会导致解析失败。 模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100 MB。 选择血缘模板。 单击“模板下载”,将血缘模板下载到本地。
-jar 之后添加JVM参数: -Xms512M -Xmx1024M 其中“-Xms512M -Xmx1024M”即为可进行配置的JVM参数。-Xms512M 表示JVM初始分配的堆内存为512M。-Xmx1024M 表示JVM最大允许分配的堆内存为1024M。可按需添加其他JVM参数。
连接名称 默认创建名称为“执行机类型-4位随机数(字母和数字)”,也可以自定义名称。 执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录
连接名称 默认创建名称为“执行机类型-4位随机数(字母和数字)”,也可以自定义名称。 执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录
任务名称 自定义发现任务名称。 是 任务说明 输入发现任务说明。 否 任务配置 源端 选择阿里云。 是 凭证 选择阿里云对应的凭证,如未提前添加凭证,请单击“新建凭证”,填写相应参数,校验并保存凭证。 须知: 新建凭证中的认证方式请选择“AK/SK”,并输入源端阿里云账号的AK/S
例如:192.0.2.1,192.0.2.2 最多可输入3个DNS服务器地址。 域名映射配置(可选) 添加域名到IP地址的映射,用于修改/etc/hosts文件。 最多可添加500个IP地址映射。 - 流量控制 设置迁移任务在指定时段的最大流量带宽。 不勾选,则不进行流量控制
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务?
单击目的端规格配置框中的“目的端配置表”按钮,进入目的端配置表页面。 在资源配置明细区域的主机页签,单击已完成规格评估主机购买状态列的“添加至购买列表”,购买状态变为“待购买”。 添加完成后,在页面上方的购买列表框中,单击“查看列表”按钮,进入购买列表页面。 在操作流程区域,单击“查看我的模板”,右
单击目的端规格配置框中的“目的端配置表”按钮,进入目的端配置表页面。 在资源配置明细区域的主机页签,单击已完成规格评估主机购买状态列的“添加至购买列表”,购买状态变为“待购买”。 添加完成后,在页面上方的购买列表框中,单击“查看列表”按钮,进入购买列表页面。 在操作流程区域,单击“查看我的模板”,右
application-arguments:提交Spark应用的所需要的参数(可以为空)。 以下为特定场景下需要添加的参数配置: 如果创建的是阿里云 EMR且涉及Spark 3的Delta Lake源端统计任务,请添加如下参数: 参数名:jars 参数值:'/opt/apps/DELTALAKE/delt
application-arguments:提交Spark应用的所需要的参数(可以为空)。 以下为特定场景下需要添加的参数配置: 如果创建的是阿里云 EMR且涉及Spark 3的Delta Lake源端统计任务,请添加如下参数: 参数名:jars 参数值:'/opt/apps/DELTALAKE/delt
前项目下拉列表中选择迁移项目。 单击任务框中的“导入>工具采集结果”,弹出导入工具采集结果窗口。 图1 导入工具采集结果 单击导入窗口的“添加文件”,将工具采集结果的json文件上传至迁移中心。 上传成功后,单击“确认”按钮,系统自动开始采集。 您可以在任务列表页面,查看任务状态。
模板下载到本地。 图1 下载应用关联模板 打开导入模板,填写模板内的参数,其中标黄的参数为必填。模板参数填写完成并保存后,单击导入窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 上传成功后,单击“确认”按钮,系统自动开始采集。 您可以在任务列表页面,查看任务状态。 如果任
MB/s,当迁移任务运行到(08:00~12:00)该时间段时,最大迁移速度将限制为20 MB/s。该时间段以外,迁移速度不做限制。 最多可添加五条流量控制规则。 时区时间以控制台所选Region的当地时间为准。 启用LTS服务 启用:记录存储迁移过程中的日志,便于查看和定位迁移中出现的问题。
模板下载到本地。 图2 下载应用关联模板 打开导入模板,填写模板内的参数,其中标黄的参数为必填。模板参数填写完成并保存后,单击导入窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 上传成功后,单击“确认”按钮,进入任务中心页面,系统自动开始采集。 当任务状态为“成功”时,您