检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“MaxCompute”,单击“下一步”。 根据MaxCompute连接参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 MaxCompute连接参数配置说明 参数 配置说明 所属源
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Delta Lake(有元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(有元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称
在大数据校验页面的功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。连接类型选择“ClickHouse”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 ClickHouse组件参数配置说明
在大数据校验页面的功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。连接类型选择“ClickHouse”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 ClickHouse组件参数配置说明
在大数据校验页面的功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。连接类型选择“ClickHouse”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4 ClickHouse组件参数配置说明
在元数据采集区域,单击“创建连接”,右侧弹出创建连接窗口。 连接类型选择“Delta Lake(无元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称
以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge与迁移中心进行连接,方法请参考连接迁移中心。 Edge与迁移中心连接成功后,添加大数据相关凭证,方法请参考添加资源凭证。 父主题: 大数据血缘
Excel编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。
ux版本Edge。安装成功后,将Edge与迁移中心进行连接,连接方法请参考连接迁移中心。 迁移工具Edge不具备自动重启功能,严禁在任务执行期间重启Edge,以避免任务失败。 选择并启用迁移工具 迁移工具Edge与迁移中心连接成功后,登录迁移中心管理控制台。 在左侧导航栏选择“实
int对照表。 单击“确定”,创建增强型跨源连接。创建完成后,增强型跨源连接的连接状态显示“已激活”,代表该连接创建成功。 添加并配置路由 添加路由 为创建的DLI增强型跨源连接添加两条路由,方法请参考添加路由。路由IP与创建跨源连接时,配置的主机信息IP保持一致。 配置路由 登录虚拟私有云管理控制台。
端口占用:Edge会占用源端主机上的一些端口,也可能会对源端业务产生影响。 安装完成并注册用户后,将Edge与迁移中心进行连接,方法请参考连接迁移中心。 连接成功后,需要在Edge上添加源端待迁移主机凭证,凭证的添加方法请参考添加资源凭证。资源类型请根据实际情况选择“Windows主机”或“Linux主机”。
要调整目录权限或选择其他路径。 检查源端主机连通性 网络连接检查:确保执行脚本的主机能够通过网络访问所有源端主机。 SSH端口开放检查:确保源端主机的SSH端口(默认是22)已开放,允许从执行脚本的主机通过SSH协议进行连接。 SSH访问权限设置 SSH服务配置:确保所有源端主机
目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName) 目标组件类型(TargetComponentType) 上游数据库(SourceDataset) 上游表(SourceTable) 上游连接名称(SourceConnectionName)
389端口,Linux开放22端口,也可以单独指定。 采集原理:通过枚举网段下所有IP地址,得到扫描范围,然后依次循环使用TCP连接到对应IP的远程连接端口。如果3389存在监听则判定该IP操作系统为Windows,如果22端口存在监听则判定该IP操作系统为Linux。 性能采集
创建存储迁移工作流 大数据数据迁移 支持多种大数据组件的元数据迁移,元数据增量感知,数据全量及增量迁移。 支持区域: 全部 创建源端连接 创建目的端连接 迁移实施 大数据校验 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提
在创建集群时的网络配置中选择。 - 服务类型 接口 - 连接审批 是 确保终端节点审核后方可使用。 端口映射 22、9002 用于集群安装和任务下发、管理。 后端资源类型 云服务器 连接Master节点所在的ECS虚拟机。 连接管理 OMS云服务的VPCEP端点 允许OMS云服务与迁移集群的Master节点通信。
华南-广州 华东-上海一 华东-上海二 华东-青岛 西南-贵阳一 中国-香港 亚太-新加坡 内网迁移 支持在同一Region内通过内网进行迁移。 软连接处理 MgC不支持源端路径为软链接的迁移。如果源端包含软链接,请进行如下处理: 填写实际的文件路径。 迁移完成后,手动在目的端创建相应的软链接。
要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE
List cen:ListTransitRouterVbrAttachments List cen:ListTransitRouterVpnAttachments List cen:DescribeCenAttachedChildInstances Read cen:Descr
的要求以及Edge的安装方法请参见安装Windows版本的Edge。 连接迁移中心。 Edge安装完成并注册用户后,将Edge与迁移中心进行连接,方法请参考连接迁移中心。 添加资源凭证。 Edge与迁移中心连接成功后,需要在Edge上添加源端待迁移主机凭证,凭证的添加方法请参考添