检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同一表组内的表必须属于同一个元数据来源。 模板中单元格不允许存在公式且必须是文本格式，否则会导致解析失败。 元数据连接为Delta（有元数据）或Hudi（有元数据）连接时，模板中的source_path参数为必填项。 元数据连接为Delta（无元数据）或Hudi（无元数据）连接时，模板中的source_pa
“查看详情”，可以查看该方案的更多信息。 在迁移集群区域，选择迁移使用的集群。默认使用迁移方案中配置的集群，您也可以在下拉列表中重新选择集群，选择后仅对当前工作流生效，不会修改迁移方案中配置的集群。 根据表1，进行迁移配置。 表1 迁移配置参数说明 参数 子参数 说明 并发子任务数
返回值通常包含丰富的资源数据。 解析数据：MgC将返回的数据进行解析，提取关键信息，如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中，为后续分析和迁移提供支持。 准备工作 华为账号准备 使用MgC之前，您需要拥有一个华为账号或一个可用于访问MgC的IAM用户，注册华为账号
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用
K8S静态采集器（app-discovery-k8s） 用于采集k8s集群中的ingress，service，configMap等信息。参数配置说明参见表1。 表1 k8s静态采集器参数配置说明 参数 必填 配置说明 output_path 否 自定义采集结果（app-discovery-k8s-xxx
Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用
原因为：SMS-Workflow.0503:SMS migration task failed 'SMS.xxxx' 问题分析 在迁移过程中，源端会和目的端服务器建立一个SSH连接用于传输数据。如果无法成功建立SSH连接，则会导致迁移失败。 解决方法 单击任务详情，进入SMS任务详情页面。
for DLI table"，需要您手动删除DLI中的分区数据，然后再进行迁移。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前，需要联系技术支持人员，将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心管理控制台。在左侧导
) 上游组件类型(SourceComponentType) 作业ID(JobId) 须知： 模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式，否则会导致解析失败。 模板参数填写完成并保存后，单击窗口的“添加文件”，将填写后的模板文件上传至迁移中心。
) 上游组件类型(SourceComponentType) 作业ID(JobId) 须知： 模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式，否则会导致解析失败。 模板参数填写完成并保存后，单击窗口的“添加文件”，将填写后的模板文件上传至迁移中心。
用户自定义。 源表路径（可选） 元数据连接为Delta时，为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径（可选） 元数据连接为Delta（无元数据）时，为必填项。 输入目的端数据表在数据库中的存放路径。 分区信息（可选） 用户自定义。 是否分区表（可选） 根据实际需求，选择该表是否为分区表。
用户自定义。 源表路径（可选） 元数据连接为Delta时，为必填项。 输入源端数据表在数据库中的存放路径。 目标表路径（可选） 元数据连接为Delta（无元数据）时，为必填项。 输入目的端数据表在数据库中的存放路径。 分区信息（可选） 用户自定义。 是否分区表（可选） 根据实际需求，选择该表是否为分区表。
Check failed 问题描述 进行大数据数据迁移时，部分表迁移失败，报错：CRC Check failed 解决方法 通过修改DLI作业中迁移sql，将源端timestamp字段类型转成String类型，进行数据迁移。 父主题： 大数据数据迁移
Agent安装目录中的scripts目录。 cd Edge/scripts/ 执行如下命令，启动MgC Agent安装脚本。 ./install.sh 输入Linux本机网卡的弹性公网IP地址作为后续访问MgC Agent页面的地址。如果输入的地址不在本机拥有的IP列表中，会提示是否开
创建源端连接 创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”，进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。
创建源端连接 创建源端连接是为了允许MgC Agent（原Edge）访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择在完成准备工作时创建的大数据迁移项目。 在左侧导航栏选择“实
K，单击“查询项目”按钮。系统会对输入的AK/SK进行验证，验证通过后，即可进行下一步。如果提示AK/SK错误，请参考AK/SK验证失败，如何处理？进行排查处理。 如果是进行主机迁移，输入的AK/SK需要具备SMS服务的相关权限。需要的权限和配置方法请参考SMS自定义策略。 您可
务账号凭据，该凭证必须为json格式文件，且大小不能超过4KB。 ID/密钥适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 私有云 用户名/密码 输入源端私有云的登录用户名、密码。 数据库 用户名/密码 输入数据库的登录用户名、密码。
资源采集常见问题和处理方法 如何查看采集失败原因？ 公网采集失败，提示：“网络连接超时”或“其他异常” 数据源采集失败，如何重新采集？ 如何获取云平台凭证（AK/SK）？ 如何获取添加Azure凭证所需的信息？ 如何获取Azure对象存储深度采集所需凭证？ 如何配置采集Azure容器资源所需权限？
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验，校验任务执行成功，查看校验结果，发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中，如果遇到
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
