检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移
您需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 权限根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为
Metastore”凭证和目的端“MRS执行机”凭证,认证方式分别选择“AK/SK”、“用户名/密钥”、“用户名/密码”。凭证的添加方法请参考添加资源凭证。 MaxCompute侧的AK/SK获取方法请参考查看RAM用户的AccessKey信息。 Hive Metastore凭证文件的获取方法请参考大数据-Hive
查看并导出执行结果 每运行一次迁移任务,即会生成一条任务实例。在任务实例的进度详情页面,可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载,15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表,单击进度统计列的“查看”,进入进度详情页面。
添加主机参数说明 参数 说明 名称 用户自定义 迁移中心Agent绑定 选择源端注册的MgC Agent。 类型 主机实际系统类型 接入IP 填写主机IP。 如果采集的主机与安装MgC Agent的主机处于同一VPC内,可以填写私有IP,否则需要填写公网IP。 端口 主机开放端口。 Wi
单击“确定”,完成用户组授权。 步骤四:创建用户 在统一身份认证服务,左侧导航栏,选择“用户”,单击右上方的“创建用户”。 图8 创建用户 输入自定义用户名,去勾选“管理控制台访问”,单击“下一步”。 图9 配置基本信息 勾选步骤一创建的用户组,单击“创建用户”。 图10 选择用户组 创建
创建桶。 如果使用IAM用户进行迁移,该IAM用户需要拥有目的端桶的读写权限。授权方法请参考对单个IAM用户授予桶的读写权限。 创建集群 通过集群可以创建Master节点、迁移节点和列举节点,确保存储工作流的顺利运行。创建方法请参考创建集群。 步骤一:设置MinIO文件共享并生成下载链接
自定义参数说明 在目的端配置中,支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name
Redis采集器(app-discovery-redis) 通过连接到Redis节点,获取Redis节点IP、版本、连接客户端IP信息。参数配置说明参见表1。 表1 Redis采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-redis-xxx
填写的账号信息(用户名、密码)必须具备在源端主机上执行netstat命令的权限。 app_only 否 设置是否仅采集进程应用信息,true代表是,false代表否,默认为false。 注意: 当该参数设置为false时,time参数为必填。 time 否 当app_only设置为false时,该参数必填。
配置OBS桶 设置用于存放大数据校验任务日志文件和内容校验结果的OBS桶(以下称为日志桶),实现对日志和内容校验结果的有效管理和分析。设置了日志桶后,会默认使用大数据校验中的日志上传功能,将日志数据和内容校验结果上传到指定的OBS桶中。 权限要求 请确保添加的目的端凭证最少拥有日志桶的如下操作权限:
迁移准备度检查失败,失败原因:主机IP或端口不可达 迁移准备度检查失败,失败原因:用户名和密码错误 迁移准备度检查失败,失败原因:下发命令到Edge失败 迁移准备度检查失败,失败原因:主机端口不可达、防火墙规则不正确或访问权限不足 深度采集失败,失败原因:源端winrm服务没开启或IP无法连通或端口不通
配置,确保目的端安全组对源端IP开放了指定的迁移端口。如果源端主机无法直接访问公网或与目的端直接通信,需要配置代理服务器。在这种情况下,需要额外考虑以下因素: 代理服务器的配置,确保它能够正确转发源端主机的流量。 代理服务器的安全组设置,确保对源端IP开放了代理端口。 MgC通用主机迁移网络场景
认证方式选择“AK/SK”。凭证的添加方法请参考添加资源凭证。 DLI侧的AK/SK获取方法请参考如何获取AK/SK。 MaxCompute侧的AK/SK获取方法请参考查看RAM用户的AccessKey信息。 在MgC控制台左侧导航栏选择“调研 > 大数据血缘”,进入大数据血缘页
为什么存储迁移工作流进度长时间没有变化? 问题分析 出现迁移进度长时间未更新的情况通常是因为以下几个原因: 子任务处理:迁移工作流会自动将大型任务拆分为多个子任务来执行。只有当这些子任务完成后,系统才会更新显示的进度。 大对象迁移:如果子任务中包含了大型文件或对象,可能需要较长时间来迁移。 后
元数据连接 选择步骤8.创建的元数据连接。 数据库(可选) 填写需要进行元数据同步的数据库名称,如果有多个数据库,库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和MgC
EDGE.00170025 收集资源失败,目标ip与凭据的网段不匹配。 请上传与目标ip网段匹配的凭据。 EDGE.00260003 用户名、密码异常或IP与用户名、密码不匹配。 请仔细核对用户名和密码是否正确,并确保它们与IP地址匹配。确认无误后重试。 EDGE.00030022
主机评估策略推荐逻辑说明 本节介绍对主机进行规格评估时,关于推荐策略和偏好设置配置项推荐逻辑的详细说明。 表1 评估策略参数说明 参数 子参数 说明 购买区域 - 选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格 根据
Agent(原Edge)安装完成后,无法启动 如何升级MgC Agent(原Edge)至最新版本? 如何卸载MgC Agent(原Edge)? 如何重启MgC Agent(原Edge)? 如何查询MgC Agent(原Edge)当前版本? 如何获取Linux版本的MgC Agent(原Edge)各种运行日志?
OBS迁移到NAS,如果源端存在同名但大小写不同的对象,会如何处理? 关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明 如何解决迁移集群创建失败问题 如何获取微软云的访问凭证 存储工作流执行失败,列表提示“COMPARISON_ATTRIBUTE_NOT_SAME”,如何处理? 存储类型介绍 迁移任务执行失败如何处理?