检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新版 权限管理 配置管理 调研评估 资源采集 应用管理 大数据血缘 迁移方案设计 迁移方案配置 迁移集群 迁移工作流 大数据数据迁移(MaxCompute迁移到DLI) 大数据校验
迁移工作流状态一直处于“运行中”,如何判断迁移是否正常? 迁移工作流状态为“运行中”,如何查看迁移进度? 迁移工作流步骤执行失败,提示“Edge is not accessible ...”,如何处理? 迁移工作流步骤执行失败,提示“server require to bind credenlial first
Windows版本 问题描述 Windows版本的MgC Agent安装完成后,无法启动进入注册页面。 问题分析 出现该问题通常是因为安装MgC Agent的主机后台进程过多或可用CPU太小,导致MgC Agent在安装时,进程无法自动启动。 解决方法 请按照以下步骤,手动启动MgC
Agent安装完成后,无法启动。 问题分析 出现该问题通常是因为安装MgC Agent的主机后台进程过多或可用CPU太小,导致MgC Agent在安装时,进程无法自动启动。 解决方法 请按照以下步骤,手动启动MgC Agent进程: 执行如下命令,进入MgC Agent安装目录中的scripts目录。
主机深度采集 完成主机资源发现后,可以按照以下步骤对主机资源进行深度采集。 在主机列表,单击操作列的“配置凭证”,弹出配置窗口。 根据表2,配置参数。 表2 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 IP 选择主机接入IP,可以为公网IP,也可以是私有IP。
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。
要对源端开放22、8899、8900端口。 安装MgC Agent(原Edge)的主机 建议在源端内网环境中准备一台用于安装MgC Agent的Windows主机,并确保该Windows主机可以连接公网。 推荐规格不小于4U8G。 安装MgC Agent的Windows主机,powershell版本需要大于3
分别创建源端Delta统计任务和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。需要注意,在配置任务时,命令参数中的Spark-submit命令需要配置mgc.delta.metadata.client.ips参数,参数值为所有元数据连接的IP地址和端口,用英文逗号分隔。
复杂迁移(大数据迁移)项目:适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。 选择“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。 图1 创建项目 在弹出的窗口中,仔细查看并了解项目类
大数据-Hive Metastore凭证文件获取方法 MgC Agent(原Edge)安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查 新增大数据校验数据连接时,凭证列表数据缺失
云边协同 添加资源凭证 配置OBS桶 设备管理 事件记录
迁移集群 创建集群 集群管理 计费说明 集群状态说明 资源类型和安全组配置说明 父主题: 旧版
Agent,对该主机的要求以及MgC Agent的安装方法请参见安装Windows版本的MgC Agent。 不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括: 资源消耗:MgC Agent在采集和迁移运行过程中会消耗CPU和内存资源。在迁移任务量大时,这可能会对源端的业务运行造成影响。
dOnlyAccess),如果没有,请参考如下步骤生成AK/SK并添加权限。 登录阿里云RAM控制台。 在左侧导航栏,选择身份管理 > 用户。 在用户页面,单击用户名称,进入用户详情页面。 在用户 AccessKey区域,单击“创建 AccessKey”,生成AccessKey ID和AccessKey
在资源采集页面的主机资源列表。单击需要进行深度采集的主机迁移中心Agent绑定列的“配置”按钮,弹出配置窗口。 根据表2,配置参数。 表2 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 迁移中心Agent绑定 选择在源端环境安装的MgC Agent。 接入IP 选择主机接入IP,
数据库监听端口。默认为1521。 服务名称/SID 源端数据库待采集的服务名。默认为ORCL。 您可以登录Oracle 数据库,使用如下命令,查看并确定需要采集的服务名称。 SELECT instance_name FROM v$instance; 凭证 选择源端数据库凭证,如未提前在MgC
卸载Windows版本 请根据安装MgC Agent的Windows主机操作系统版本,选择适合的卸载方法。 需要将安装的MgC Agent应用程序和msi安装程序一同卸载。 方法一 在“开始”菜单中,单击“控制面板”,进入控制面板主页。 单击“程序和功能”,部分系统为“卸载程序”,进入卸载或更改程序页面。
出现该问题,可能的原因如下: 主机规格不足:安装MgC Agent(原Edge)的主机规格小于推荐的最小规格4U8G。因资源不足导致采集器无法正常运行。 采集器离线:主机规格满足要求但采集器未运行。 解决方法 主机规格不足 请升级主机规格或选择满足规格要求的主机重新安装MgC Agent并采集。 采集器离线
最佳实践 配置MgC Agent(原Edge)插件JVM参数
组件选择“数据湖探索 DLI”,任务类型选择“元数据增量感知”,单击“下一步”,进入详细配置页面。 根据表1,配置元数据增量感知任务参数。 表1 元数据增量感知参数配置说明 区域 参数 配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI元数据增量感知-4位