检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分别创建源端Delta统计任务和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。需要注意,在配置任务时,命令参数中的Spark-submit命令需要配置mgc.delta.metadata.client.ips参数,参数值为所有元数据连接的IP地址和端口,用英文逗号分隔。
复杂迁移(大数据迁移)项目:适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。 选择“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。 图1 创建项目 在弹出的窗口中,仔细查看并了解项目类
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。
部署迁移工具Edge 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能,严禁在任务执行期间重启Edge,以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge
Agent(原Edge)当前版本? 查询Windows版本 进入MgC Agent的安装目录(默认为C:\Edge)。 双击version.txt文件,查看当前MgC Agent版本信息。 查询Linux版本 执行如下命令,进入MgC Agent安装目录。 cd /opt/cloud/Edge 执行如下命令,可查看MgC
部署MgC Agent(原Edge) 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署MgC Agent。 MgC Agent不具备自动重启功能,严禁在任务执行期间重启MgC Agent,以避免任务失败。 操作步骤 安装MgC Agent的方法请参考下载并安装MgC
以兼容性模式运行程序 鼠标右键打开MgC Agent(原Edge)安装程序的属性窗口。 选择“兼容性”页签,在兼容模式框中,勾选“以兼容模式运行这个程序”。 单击“确定”,重新启动MgC Agent安装程序。 父主题: 常见问题
“开始配置”按钮,进行工作流配置。 根据表1,配置工作流参数。 表1 主机迁移工作流配置参数说明 区域 参数 说明 工作流详情 名称 用户自定义 描述 用户自定义 应用程序 应用名称 选择待迁移资源所关联的应用。 迁移网络配置 网络类型 选择公网迁移,要求目的端服务器配置有“弹性
连接类型选择“Delta Lake(无元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Delta-Lake-无
前提条件 已在源端安装迁移中心Agent,并与迁移中心连接成功。 认证方式 支持在MgC Agent上添加凭证的资源类型包括:私有云、主机、容器。各资源类型包含的认证方式参见表1。 表1 各资源认证方式 资源类型 认证方式 说明 公有云 AK/SK 配置文件 ID/密钥 AK
大数据血缘 部署MgC Agent(原Edge) 采集元数据 血缘采集 父主题: 新版
阿里云主机迁移至华为云 概述 准备工作 步骤一:下载并安装MgC Agent(原Edge) 步骤二:采集阿里云ECS主机资源 步骤三:评估迁移准备度 步骤四:目的端规格评估 步骤五:创建主机迁移工作流 父主题: 主机迁移相关最佳实践
大数据血缘 部署迁移工具Edge 采集元数据 血缘采集 父主题: 旧版
元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到
元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到
安装MgC Agent(原Edge)的主机有哪些要求? 安装Windows版本的主机要求如下: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。
vpc:publicIps:update(更新弹性公网IP) vpc:publicIps:create(创建弹性公网IP) 配置主机购买模板 场景 委托对象 自定义策略名称 细粒度最小使用权限 配置主机购买模板 MgC MgC PurchaseTemplateAgencyPolicy iam:proj
应用间的关联关系和应用的组织架构,帮助您进行迁移分组和方案设计。 权限管理 创建用户并授权使用MgC 自定义策略 配置管理 项目管理 凭证管理 调研工具 下载并安装MgC Agent 设备管理 应用发现 资源发现与采集 手动添加资源 关联应用 迁移实施 规格评估 创建迁移工作流 05
vpc:publicIps:update(更新弹性公网IP) vpc:publicIps:create(创建弹性公网IP) 配置主机购买模板 场景 委托对象 自定义策略名称 细粒度最小使用权限 配置主机购买模板 MgC MgC PurchaseTemplateAgencyPolicy iam:proj
在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset)