检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本节将介绍如何注册华为账号开通华为云并实名认证,创建IAM用户。 注册华为账号开通华为云并实名认证 请参考以下步骤注册华为账号开通华为云并完成实名认证。如果您已经有一个华为账号,无需重新注册。 访问华为云,单击“注册”。 根据提示信息完成注册开通,详细操作请参见注册华为账号并开通华为云。
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题: 旧版
大数据数据迁移(MaxCompute迁移到DLI) 大数据迁移概述 使用须知 准备工作 创建源端连接 创建目的端连接 创建迁移任务 查看并导出执行结果 自定义参数说明 父主题: 新版
您可以根据不同的业务领域将应用进行分类管理。 在应用管理页面,单击应用框中业务领域的“查看”按钮,右侧弹出业务领域窗口。 单击“添加”按钮,输入业务领域名称,选择该业务包含的应用,单击“保存”。 修改应用 仅简单项目支持。 在应用列表,单击应用操作列的“修改”,弹出修改应用窗口。 根据实际情
校验模板失败,表头无效。 请检查是否修改了模板中非自定义的表头。 存在未记录在Domain Sheet的域名。 请将导入文件中的Application Sheet和MQ Sheet出现的域名填入Domain Sheet中。 导入文件格式错误。 检查是否改动了导入模板Sheet,或重新下载模板填写。
Agent的安装方法请参见安装Windows版本的MgC Agent。 连接迁移中心。 MgC Agent安装完成并注册用户后,将MgC Agent与迁移中心进行连接,方法请参考连接迁移中心。 添加资源凭证。 MgC Agent与迁移中心连接成功后,需要在MgC Agent上添加源端待迁移主机凭证
上云操作 连接迁移中心 添加/修改华为云凭证
conf文件中的nameserver参数值。多个DNS服务器地址使用英文逗号分隔,例如:192.0.2.1,192.0.2.2 最多可输入3个DNS服务器地址。 域名映射配置(可选) 添加域名到IP地址的映射,用于修改/etc/hosts文件。 最多可添加500个IP地址映射。 - 流量控制 设置迁移任务在指定时段的最大流量带宽。
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘
389端口,Linux开放22端口,也可以单独指定。 采集原理:通过枚举网段下所有IP地址,得到扫描范围,然后依次循环使用TCP连接到对应IP的远程连接端口。如果3389存在监听则判定该IP操作系统为Windows,如果22端口存在监听则判定该IP操作系统为Linux。 性能采集
大数据校验 新增大数据校验数据连接时,凭证列表数据缺失 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时,如何优化校验任务?
常见问题 如何启用 PowerShell 远程管理模块 如何启用 WinRM 服务 执行脚本后报错:连接到远程服务器失败,且登录凭证信息正确 父主题: 批量修改与还原源端Windows主机的Host配置
创建存储迁移工作流 大数据数据迁移 支持多种大数据组件的元数据迁移,元数据增量感知,数据全量及增量迁移。 支持区域: 全部 创建源端连接 创建目的端连接 迁移实施 大数据校验 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提
conf文件中的nameserver参数值。多个DNS服务器地址使用英文逗号分隔,例如:192.0.2.1,192.0.2.2 最多可输入3个DNS服务器地址。 域名映射配置(可选) 添加域名到IP地址的映射,用于修改/etc/hosts文件。 最多可添加500个IP地址映射。 - 流量控制 设置迁移任务在指定时段的最大流量带宽。
在创建集群时的网络配置中选择。 - 服务类型 接口 - 连接审批 是 确保终端节点审核后方可使用。 端口映射 22、9002 用于集群安装和任务下发、管理。 后端资源类型 云服务器 连接Master节点所在的ECS虚拟机。 连接管理 OMS云服务的VPCEP端点 允许OMS云服务与迁移集群的Master节点通信。
资源采集 资源采集常见问题和处理方法 如何查看采集失败原因? 公网采集失败,提示:“网络连接超时”或“其他异常” 数据源采集失败,如何重新采集? 如何获取云平台凭证(AK/SK)? 如何获取添加Azure凭证所需的信息? 如何获取Azure对象存储深度采集所需凭证? 如何配置采集Azure容器资源所需权限?
在创建集群时的网络配置中选择。 - 服务类型 接口 - 连接审批 是 确保终端节点审核后方可使用。 端口映射 22、9002 用于集群安装和任务下发、管理。 后端资源类型 云服务器 连接Master节点所在的ECS虚拟机。 连接管理 OMS云服务的VPCEP端点 允许OMS云服务与迁移集群的Master节点通信。
要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE
制台断开连接,MgC控制台会监控到该情况,同时迁移工作流会失败并出现“重试”和“全量重试”的按钮。以下是导致源端SMS-Agent进程与SMS控制台断开连接的原因,请根据具体原因选择对应的处理方法: 原因一:因网络异常导致源端SMS-Agent进程和SMS控制台断开连接。 该情况