检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题： 新版
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题： 旧版
大数据数据迁移（MaxCompute迁移到DLI） 大数据迁移概述 使用须知 准备工作 创建源端连接 创建目的端连接 创建迁移任务 查看并导出执行结果 自定义参数说明 父主题： 新版
推荐规格不小于4U8G。 安全组的出方向规则中，需要包含8883端口。 关闭该主机上的杀毒、防护类软件，该类软件会拦截MgC Agent的执行，导致迁移工作流执行失败。 不建议将MgC Agent安装在源端待迁移的主机上，主要原因包括： 资源消耗：MgC Agent在采集和迁移运行过程中会
推荐规格不小于4U8G。 安全组的出方向规则中，需要包含8883端口。 关闭该主机上的杀毒、防护类软件，该类软件会拦截MgC Agent的执行，导致迁移工作流执行失败。 不建议将MgC Agent安装在源端待迁移的主机上，主要原因包括： 资源消耗：MgC Agent在采集和迁移运行过程中会
Linux系统使用“LF”作为换行符，但安装的脚本中使用了Windows系统的“CR LF”。这种格式不匹配导致采集时脚本推送到源端主机上执行失败。 解决方案 卸载当前安装的MgC Agent，然后重新安装。 MgC Agent重装后，再次进行主机深度采集。 父主题： 资源采集
务的方式进行设计。 MgC Agent：部署在客户的网络中，用来保存凭证等敏感资源和操作租户本地部署的资源。可以接收MgC的命令和上报命令执行结果。 图1 MgC逻辑架构图
迁移完成后，恢复源端桶的访问策略。 如果在步骤1.中执行命令的返回结果为 Policy: none，请执行如下命令，删除添加的公开访问策略： s3cmd delpolicy s3://<BUCKET-NAME> 如果在步骤1.中执行命令的返回结果包含访问策略，请按以下步骤恢复。 执行如下命令，删除添加的公开访问策略:
上限为1000台，超出此数量的主机会在工作流第一步暂停并处于等待状态，直至有资源释放或主机完成迁移，等待中的主机将按照创建时间顺序依次自动执行工作流后续步骤。 单个工作流资源限制：单个工作流的资源数量不能超过100个。 父主题： 迁移工作流
迁移节点ECS规格 迁移节点用于执行迁移和对比的动作，推荐规格为C系列规格，大小是8U16G。 规格选定后，后续无法更改。 设置的节点数量需要同时满足如下要求： 迁移节点数+列举节点数+1 ≤100 迁移节点数+列举节点数+1 ≤子网可用IP数 列举节点ECS规格 列举节点用于执行列举动作，推荐规格为C系列规格，大小是8U16G。
上限为1000台，超出此数量的主机会在工作流第一步暂停并处于等待状态，直至有资源释放或主机完成迁移，等待中的主机将按照创建时间顺序依次自动执行工作流后续步骤。 单个工作流资源限制：单个工作流的资源数量不能超过100个。 父主题： 迁移工作流
例如，已有组合是地址192.168.0.1:/a和路径/abc/a，那么添加或修改另一个地址为192.168.0.1:/a和路径/abc时，会因重复而报错。要覆盖已有路径，需要先删除旧的地址和路径组合。 路径 输入待迁移文件路径，格式为：/文件夹。 列表迁移时，路径填写为/即可。 配置完成后
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验，Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
输入如下命令，根据获得的应用ID查询应用进程。此处的应用ID仅为举例，请根据实际查询结果进行替换。 ps -ef | grep 11083 确认占用端口的应用可以停用后，执行如下命令，将该应用进程停止。然后重新安装MgC Agent。 kill -9 11083 Windows主机： 打开Windows命令行窗
选择“否”，生成目的端后，目的端自动开机。 增量备份前源端是否关机 选择“是”，工作流在执行增量备份前，会关闭源端主机，这样可以最大限度保证新建目的端数据与源端数据的一致性。 选择“否”，工作流在执行增量备份时，依旧保持开机状态。 创建系统盘镜像 选择“是”，将基于源端系统盘创建系统盘镜像，便于后续目的端重装系统。
选择“否”，生成目的端后，目的端自动开机。 增量备份前源端是否关机 选择“是”，工作流在执行增量备份前，会关闭源端主机，这样可以最大限度保证新建目的端数据与源端数据的一致性。 选择“否”，工作流在执行增量备份时，依旧保持开机状态。 创建系统盘镜像 选择“是”，将基于源端系统盘创建系统盘镜像，便于后续目的端重装系统。
如果可以登录，请更新在MgC Agent（原Edge）上添加的源端主机凭证信息为核对后的信息，然后重新进行迁移准备度检查。 如果无法登录，则是用户名或密码错误。请继续执行后续步骤。 重置密码或联系源端主机管理员。 如果您确定用户名正确，但忘记了密码，可以选择重置源端主机的密码。源端主机为华为云ECS时，请参
PASSWORD(ENCRYPTED) PRI_KEY_PATH(ENCRYPTED) 注意： 填写的账号信息（用户名、密码）必须具备在源端主机上执行netstat命令的权限。 app_only 否 设置是否仅采集进程应用信息，true代表是，false代表否，默认为false。 注意：
评估并承担启用该功能带来的风险。 启动快速模式 适用于无需增量同步的场景，可提高迁移效率。默认关闭，启用后工作流执行完全量复制步骤后，会直接跳过增量同步步骤，继续执行后续步骤。请根据您的需求谨慎选择。 企业项目 选择需要迁移到的企业项目。默认为“default”。 工作流配置完成
迁移节点ECS规格 迁移节点用于执行迁移和对比的动作，推荐规格8U16G。 规格选定后，后续无法更改。 设置的节点数量需要同时满足如下要求： 迁移节点数+列举节点数+1 ≤100 迁移节点数+列举节点数+1 ≤子网可用IP数 列举节点ECS规格 列举节点用于执行列举动作，推荐规格8U16G。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
