检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Lake到MRS Delta Lake数据校验任务存在以下约束与限制: 源端EMR环境的Spark版本为3.3.1时,支持Delta Lake(有元数据)和Delta Lake(无元数据)的数据校验。 源端EMR环境的Spark版本为2.4.8时,仅支持Delta Lake(有元数据)的数据校验。
Agent是一款专为配合MgC设计的软件,用于源端资源发现与信息采集,同时还提供了工作流模块,用于支持云端迁移工作流任务的执行。 操作步骤 建议在源端内网环境中准备一台Windows主机,用于安装MgC Agent,对该主机的要求以及MgC Agent的安装方法请参见安装Windows版本的MgC
Agent的主机规格最低要求为16U32G,且可使用内存不小于8G。 前提条件 已通过在线调研/内网采集/手动添加等方式完成主机资源采集。 已在源端内网环境安装MgC Agent,并与迁移中心连接。 已在MgC Agent上添加源端主机凭证。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。
机规格最低要求为16U32G,且可使用内存不小于8G。 前提条件 已通过公网采集/内网采集/手动添加等方式完成主机资源采集。 已在源端内网环境安装Edge工具,并与迁移中心连接。 已在迁移工具 Edge上添加源端主机凭证。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调
Agent的主机规格最低要求为16U32G,且可使用内存不小于8G。 前提条件 已通过关联资源或手动添加等方式获取主机资源。 已在源端内网环境安装MgC Agent,并与迁移中心连接。 已在MgC Agent上添加源端主机凭证。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。
装Edge的主机规格最低要求为16U32G,且可使用内存不小于8G。 前提条件 已通过关联资源或手动添加等方式获取主机资源。 已在源端内网环境安装Edge工具,并与迁移中心连接。 已在迁移工具 Edge上添加源端主机凭证。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“调
are采集等任务在执行中。如果有,请等待采集任务完成后再进行后续操作。 登录到安装MgC Agent的Linux主机。 执行如下命令,应用环境变量。 source /etc/profile 执行如下命令,重启MgC Agent。 bash /opt/cloud/Edge/scripts/start
MySQL-generallog采集器(app-discovery-mysql-generallog) 通过MySQL的general-log日志,采集客户端host和port信息。参数配置说明参见表1。 表1 MySQL-generallog采集器参数配置说明 参数 必选 配置说明
请联系技术支持人员或提交工单。 OBS文件不存在或已过期。 重新上传文件,或重命名文件后再上传。 MQ Sheet中生产者和消费者环境不一致。 请检查导入文件MQ Sheet中生产者和消费者环境是否一致。 MQ Sheet中生产者和消费者服务或微服务在Application Sheet中不存在。 请在导入文件的Application
问凭证的文件。 采集原理:利用kspider工具进行数据采集。 vCenter采集 权限要求:需要管理员账号,该账号应具备对vCenter环境中所有虚拟机的完全访问权限。 采集原理:通过VSphere SDK提供的资源枚举能力,采集到资源的列表及详细数据。 父主题: 采集安全性说明
gC Agent所在主机的公网IP,端口选择全部。 入方向规则设置完成后,单击“确定”。 步骤五:搭建大数据数据迁移环境 参考大数据数据迁移的准备工作,完成迁移环境搭建。其中,购买ECS选择在阿里云购买一台ECS实例,要求该ECS实例的私有IP地址能够通过SNAT访问外部网络。MgC
Lake到MRS Delta Lake数据校验任务存在以下约束与限制: 源端EMR环境的Spark版本为3.3.1时,支持Delta Lake(有元数据)和Delta Lake(无元数据)的数据校验。 源端EMR环境的Spark版本为2.4.8时,仅支持Delta Lake(有元数据)的数据校验。
数据库角色 约束限制 当前凭证只支持账号密码形式。 提供的Oracle账号需要有权限:select any dictionary。 鉴于网络等环境限制,可能存在采集失败问题,可通过重新启动采集器解决。 “select any dictionary”是一种系统权限,它允许用户查询数据库中的所有数据字典。
代理服务器的安全组设置,确保对源端IP开放了代理端口。 MgC通用主机迁移网络场景 MgC当前不支持完全无公网的迁移场景。 在与源端互通的内网环境中安装MgC Agent(原Edge)。安装方法和要求请参考安装Windows版本的MgC Agent。 参考MgC的线下主机迁移上云最佳实践,完成步骤二至步骤五的操作。
离,从而实现更好的组织管理和资源分配。创建方法请参考项目管理。 准备MgC Agent(原Edge) 在启用大数据校验功能前,需要先在源端环境中安装用于配合大数据校验的MgC Agent。大数据校验场景仅支持Linux版本的MgC Agent,安装方法请参考下载并安装Linux版本MgC
SK,Access Key ID/Secret Access Key)。获取方法请参考新增访问密钥。 获取AWS访问密钥(Access keys) 添加AWS凭证时,需要填写源端资源所在AWS根用户或IAM用户的访问密钥(Access Key ID/Secret Access K
CDH执行机只支持源端,MRS执行机支持源端和目的端。 连接名称 默认创建名称为“执行机类型-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent 选择在源端环境中安装的MgC Agent(原Edge)。 执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP
PORT(REQUIRED) USER(REQUIRED) PASSWORD(SENSITIVE) PRI_KEY_PATH(SENS_PATH) CLUSTER APPLICATION BUSINESS_DOMAIN PASSWORD(ENCRYPTED) PRI_KEY_PATH(ENCRYPTED)
Number of successful restores: $successCount Number of failed restores: $failureCount Failure rate: $failurePercentage% Success rate: $successPercentage%
日志。 例如搜索迁移节点的ERROR日志,输入hostName:oms_cluster_ecs_LIST_* AND ERROR。 搜索迁移节点的ERROR日志,输入hostName:oms_cluster_ecs_MIGRATION_* AND ERROR。 按上述方法可以得到