检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。
分别创建源端Delta统计任务和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。需要注意,在配置任务时,命令参数中的Spark-submit命令需要配置mgc.delta.metadata.client.ips参数,参数值为所有元数据连接的IP地址和端口,用英文逗号分隔。
复杂迁移(大数据迁移)项目:适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。 选择“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。 图1 创建项目 在弹出的窗口中,仔细查看并了解项目类
据信息。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具MgC Agent(原Edge)并注册用户,方法请参见安装Linux版本的MgC Agent。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。 选择“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。
要对源端开放22、8899、8900端口。 安装MgC Agent(原Edge)的主机 建议在源端内网环境中准备一台用于安装MgC Agent的Windows主机,并确保该Windows主机可以连接公网。 推荐规格不小于4U8G。 安装MgC Agent的Windows主机,powershell版本需要大于3
大数据-Hive Metastore凭证文件获取方法 MgC Agent(原Edge)安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查 新增大数据校验数据连接时,凭证列表数据缺失
前提条件 已在源端安装迁移中心Agent,并与迁移中心连接成功。 认证方式 支持在MgC Agent上添加凭证的资源类型包括:私有云、主机、大数据、容器。各资源类型包含的认证方式参见表1。 表1 各资源认证方式 资源类型 认证方式 说明 公有云 AK/SK 配置文件 ID/密钥
云边协同 添加资源凭证 配置OBS桶 MgC Agent管理 事件记录
最佳实践 配置MgC Agent(原Edge)插件JVM参数
在全量迁移完成后,参考创建存储迁移工作流,创建一个与步骤一相同的新的存储迁移工作流以进行增量迁移。需要注意在配置工作流的迁移配置区域,同名覆盖方式选择“条件覆盖”,其余参数配置与步骤一创建的工作流保持一致。配置完成后,启动新的存储迁移工作流,开始增量迁移。 图1 选择同名覆盖方式 步骤三:灰度切流(可选)
迁移集群 创建集群 集群管理 计费说明 集群状态说明 资源类型和安全组配置说明 父主题: 旧版
工具采集 创建工具采集任务 采集器管理 采集器参数配置说明
Agent,对该主机的要求以及MgC Agent的安装方法请参见安装Windows版本的MgC Agent。 不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括: 资源消耗:MgC Agent在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。
迁移集群 创建集群 集群管理 计费说明 集群状态说明 资源类型和安全组配置说明 父主题: 新版
卸载Windows版本 请根据安装MgC Agent的Windows主机操作系统版本,选择适合的卸载方法。 需要将安装的MgC Agent应用程序和msi安装程序一同卸载。 方法一 在“开始”菜单中,单击“控制面板”,进入控制面板主页。 单击“程序和功能”,部分系统为“卸载程序”,进入卸载或更改程序页面。
产品咨询 迁移中心使用权限配置 MgC支持的区域 使用迁移中心进行迁移前,需要做哪些准备工作? 提示“请检查当前用户是否具有IAM权限”,如何处理? 无法签署隐私声明和使用迁移中心 如何防止采集数据泄露? 调研采集过程是否会对源端业务产生影响?
IaaS、PaaS 和 SaaS 类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API 网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思
vpc:publicIps:update(更新弹性公网IP) vpc:publicIps:create(创建弹性公网IP) 配置主机购买模板 场景 委托对象 自定义策略名称 细粒度最小使用权限 配置主机购买模板 MgC MgC PurchaseTemplateAgencyPolicy iam:proj
vpc:publicIps:update(更新弹性公网IP) vpc:publicIps:create(创建弹性公网IP) 配置主机购买模板 场景 委托对象 自定义策略名称 细粒度最小使用权限 配置主机购买模板 MgC MgC PurchaseTemplateAgencyPolicy iam:proj
目下拉列表中选择迁移项目。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset)