检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark应用的Driver内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 父主题： 大数据数据迁移（MaxCompute迁移到DLI）
接口返回：MgC接收API调用的返回值，这些返回值通常包含丰富的资源数据。 解析数据：MgC将返回的数据进行解析，提取关键信息，如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中，为后续分析和迁移提供支持。 深度采集原理 MgC对AWS 容器资源进行深度采集的原理图，如图2所示。 图2 AWS容器深度采集原理图
在左侧导航栏选择“调研>大数据血缘”，进入大数据血缘页面。 在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据表1，配置元数据同步任务参数。 表1 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任务-4位随机数（字母和数字）”，也可以自定义名称。
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题： 大数据校验
资源类型 云服务 Action 最小权限策略 主机 EC2 ec2:DescribeInstances AmazonEC2ReadOnlyAccess ec2:DescribeAddresses ec2:DescribeImages ec2:DescribeVolumes cloudw
创建源端连接 创建源端云服务连接 创建源端组件连接 父主题： 大数据校验
是否可以访问。命令格式分别为：telnet {源端主机IP地址} {端口}。 如果端口无法访问，请检查源端主机安全组入方向规则中，协议端口号为TCP：5985（Windows）/22（Linux）和ICMP：全部的源地址是否配置为安装MgC Agent主机的公网IP。确认安全组规则配置无误后，重新进行迁移准备度检查。
迁移中心会整理源端资源和应用间的关联关系，并且绘制技术架构图和应用依赖图，为后续迁移计划的制定和目的端架构设计提供帮助。 前提条件 已导入应用关联文件或导入工具采集结果。 查看技术架构图 在应用管理页面，单击应用列表中的“技术架构图”，可以查看所有服务、微服务、资源的矩阵图。 选择服务，
全量校验：全量对比所有数据，适用于需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。支持单日或连续多日增量数据的统计，是最常用的校验方式。 小时级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。在24小
全量校验：全量对比所有数据，适用于需要对比历史数据的场景。 日级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。支持单日或连续多日增量数据的统计，是最常用的校验方式。 小时级增量校验：依靠元数据中的创建或更新时间，获取数据变化（增量）分区，再进行校验。在24小
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题： 大数据校验
迁移过程完成之前，不要更改源端主机的私有IP地址。 前提条件 已在源端内网环境安装MgC Agent，并与迁移中心连接。 已在MgC Agent上添加源端主机凭证。 为确保采集过程具备充分的系统访问权限，从而能够获取到必要的信息和数据。对主机深度采集的凭证要求如下： 对Linux
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题： 大数据校验
域名。这通常涉及到在每台源端主机上编辑hosts文件。如果迁移的主机数量众多，手动编辑将非常耗时。为了简化这一过程，我们提供了一个批量修改的脚本示例。您可以利用这个脚本，快速地将域名解析IP批量追加写入到所有源端主机的hosts文件中。 脚本说明 脚本是基于Powershell语
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验，校验任务执行成功，查看校验结果，发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中，如果遇到
MgC利用部署在源端网络中的MgC Agent完成数据采集。 数据采集架构图，如图1所示。 图1 MgC Agent远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景，针对不同云服务提供商（友商）的云资源进行数据采集。使用API接口与其它云服务提供商的系统进行交互，实现数据的在线采集。不需要在源端网络中安装MgC
迁移过程完成之前，不要更改源端主机的私有IP地址。 前提条件 已在源端内网环境安装MgC Agent，并与迁移中心连接。 已在MgC Agent上添加源端主机凭证。 为确保采集过程具备充分的系统访问权限，从而能够获取到必要的信息和数据。对主机深度采集的凭证要求如下： 对Linux
公网采集失败，提示：“网络连接超时”或“其他异常” 数据源采集失败，如何重新采集？ 如何获取云平台凭证（AK/SK）？ 如何获取添加Azure凭证所需的信息？ 如何获取Azure对象存储深度采集所需凭证？ 如何配置采集Azure容器资源所需权限？ 转换CSV文件编码为UTF-8 Windows主机
口域名。这通常涉及到在每台源端主机上编辑hosts文件。如果迁移的主机数量众多，手动编辑将非常耗时。为了简化这一过程，我们提供了一个批量修改的脚本示例。您可以利用这个脚本，快速地将域名解析IP批量推送到所有源端主机的hosts文件中。 脚本说明 脚本是基于Shell语言开发，仅支
Check failed 问题描述 进行大数据数据迁移时，部分表迁移失败，报错：CRC Check failed 解决方法 通过修改DLI作业中迁移sql，将源端timestamp字段类型转成String类型，进行数据迁移。 父主题： 大数据数据迁移
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
