检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
法请参见如何获取添加Azure凭证所需的信息。 私有云 用户名/密码 输入源端私有云的登录用户名、密码。 数据库 用户名/密码 输入数据库的登录用户名、密码。 大数据-执行机 用户名/密码 输入大数据所部署主机的登录用户名、密码;网段限制填写网段地址,可以是单个IP地址或IP地址段。
配置同步完成后,您可以选择以下两种方式执行统计任务: 自动定时执行:按照设置的执行时间,自动、定时执行作业。 在任务列表,单击统计任务调度状态列的“激活”按钮,弹出激活提示窗。 单击“确认”按钮,激活自动化执行作业。 手动执行:手动立即触发一次作业的执行。 在任务列表,单击统计任务操作列的“执行作业”按钮,弹出执行作业提示窗。
主机资源。 添加数据库 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。 单击数据库资源类型,进入数据库资源列表。 单击“添加资源”按钮,弹出添加数据库窗口。 图2 添加数据库资源 根据表2,填写相应参数。
并加入表组。 分别创建源端执行机连接和目的端执行机连接,方法请参考创建执行机连接。执行机凭证分别选择步骤6.在MgC Agent侧添加的源端和目的端执行机凭证。 在MgC控制台,分别创建源端和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤20
如何获取Azure对象存储深度采集所需凭证? 在对Azure云平台对象存储资源进行深度采集时,需要使用“存储账户”和“密钥”作为采集凭证,本节介绍获取Azure“存储账户”和“密钥”的方法。 登录 Azure 门户中转到存储账户。 在左侧导航栏选择“安全性和网络 > 访问密钥” ,即可看到“存储账户名称”和“密钥”。
查看元数据 您可以通过创建采集任务、手动添加、导入模板等方式获取元数据库表清单。 通过采集任务获取元数据 创建采集任务的方法请参考创建并运行元数据同步任务。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 手动添加数据表 登录迁移中心管理控制台。
查看元数据 您可以通过创建采集任务、手动添加、导入模板等方式获取元数据库表清单。 通过采集任务获取元数据 创建采集任务的方法请参考创建并运行元数据同步任务。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 手动添加数据表 登录迁
工具进行作业对数。 在完成MRS到MRS集群数据迁移后,如果源端和目的端都使用YARN模式进行校验,需要分开执行校验任务,确保一个任务执行完成后才能执行另一个任务。 在进行对数任务时,不支持使用 MRS 3.3.0 及以上版本集群节点的ECS作为执行机,会导致对数任务执行失败。 约束与限制
迁移任务执行失败如何处理? 如果迁移工作流完成后显示工作流状态为失败,请通过以下方式尝试解决。 方式一:通过LTS查询失败原因 如果在创建集群时启用了LTS日志,可以通过下列步骤查询任务失败原因,获得迁移失败的ERROR日志,可以自行分析失败原因或者提交给华为云技术支持人员分析原因并给出修复建议。
任务完成后再进行后续操作。 登录到安装MgC Agent的Linux主机。 执行如下命令,应用环境变量。 source /etc/profile 执行如下命令,重启MgC Agent。 bash /opt/cloud/Edge/scripts/start.sh 执行如下命令,检查采集器进程是否正常运行。
”,可以修改任务参数配置。 图5 元数据同步任务管理 单击操作列的“运行任务”,即可触发一次任务执行。每执行一次任务,会生成一条任务实例。 单击操作列的“查看实例”,进入任务实例管理页签。可以查看该任务的运行记录,以及每条任务实例的状态和采集结果。当元数据同步任务的实例状态为“已
迁移工作流状态一直处于“运行中”,如何判断迁移是否正常? 迁移工作流除了“开始迁移”、“开始同步”两个阶段运行时间比较久以外,其它步骤一般运行不会超过3分钟。如果长时间卡在某一步,可能是因为MgC Agent(原Edge)上报结果给MgC的过程中丢失。 解决办法: 方法一:单击工
输入华为云账号的AK/SK,单击“查询项目”按钮。系统会对输入的AK/SK进行验证,验证通过后,即可进行下一步。如果提示AK/SK错误,请参考AK/SK验证失败,如何处理?进行排查处理。 如果是进行主机迁移,输入的AK/SK需要具备SMS服务的相关权限。需要的权限和配置方法请参考SMS自定义策略。
面左上角的“修改”或单击“选择迁移工具”按钮,弹出选择迁移工具窗口。在下拉列表中,选择在完成准备工作时与迁移中心连接成功的Edge。 在进行大数据数据迁移时,请确保迁移工具Edge一直处于在线并启用状态。 启用迁移工具Edge后,单击页面右上角的“创建源端连接”按钮,右侧弹出创建连接窗口。
Agent。单击页面左上角的“修改”或单击“选择迁移中心Agent”按钮,弹出选择迁移工具窗口。在下拉列表中,选择在完成准备工作时与迁移中心连接成功的MgC Agent。 在进行大数据数据迁移时,请确保MgC Agent一直处于在线并启用状态。 启用MgC Agent后,单击“创建连接”,右侧弹出新增连接窗口。 图1
解析数据:MgC将返回的数据进行解析,提取关键信息,如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中,为后续分析和迁移提供支持。 深度采集原理 MgC对AWS 容器资源进行深度采集的原理图,如图2所示。 图2 AWS容器深度采集原理图 对AWS容器资源进行深度采集的过程详细说明如下:
卸载Linux版本 本文介绍卸载Linux版本MgC Agent的方法。 操作步骤 执行如下命令,进入MgC Agent安装目录中的scripts目录。 cd /opt/cloud/Edge/scripts/ 执行如下命令,启动MgC Agent卸载脚本。 ./uninstall.sh 当
关联资源 本节介绍为应用关联资源的方法。通过应用将资源进行分组管理,为后续规格评估、创建迁移工作流作准备。 前提条件 已通过资源采集页面中公网发现/内网发现/手动添加等方式完成主机资源的发现。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用管理”,进入应用管理页
“确定”按钮,继续使用该工具进行后续操作。 如迁移工具状态为“在线”、“未启用”,代表该工具尚未被用于对数,单击“启用”按钮,启用该工具进行后续操作。 如迁移工具状态为“离线”、“已删除”,代表该工具已被删除,无法进行对数操作;如果该工具在删除前进行过对数操作,可以单击“查看”按钮,查看已有数据。