检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘
csv。 ssl_ca_file 否 使用SSL连接,填写CA证书文件(.pem)路径。建议使用一组特定的CA证书,而不是由知名机构颁发签署的服务器证书。 ssl_client_private_key_password 否 如果证书密钥文件中包含的私钥已加密,则需要填写密码或口令短语。
流。 准备工作 创建迁移项目。 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建迁移集群。 通过集群可以创建Master节点、迁移节点和列举节点,确保文件存储工作流的顺利运行。创建方法请参考创建集群。 创建目的端弹性文件系统。 在目的端创建相应的弹性文件系统,用
创建N个Delta元数据连接,除了执行机IP和端口不同以外,其余参数配置需要与步骤1.中的第一个元数据连接保持一致。 “N”需要根据您现有的ECS资源和表的数量来确定。在ECS资源充足且表数量非常多的情况下,增加元数据连接的数量可以提高数据校验的效率。 为避免数据重复,除了步骤1.创建的第一个元数
配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的存储路径填写到此处。 cat ~/.kube/config
covery-k8s-conntrack\config\kube-config\xxx.yaml 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config
CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。
或迁移方案配置。 主机深度采集 请按照以下步骤对主机资源进行深度采集。 在源端内网环境中安装Edge工具并与迁移中心连接。 在资源采集页面的资源列表,单击主机资源的资源数量,进入资源列表页面的主机页签。 在需要进行深度采集的主机采集设备列,单击“配置”,弹出配置窗口。根据表4,配置参数。
添加资源凭证 凭证是资源采集的唯一认证方式,在进行资源采集前,您需要在Edge上添加源端资源凭证。连接迁移中心后,资源凭证会同步至迁移中心。在Edge上添加的凭证都会加密存储在您本地,同步时密码、密钥等凭证信息并不会上传至迁移中心。 在Edge添加的资源凭证存储有效期为60天,超过60天后,凭证会过期,需要重新添加。
MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在功能入口区域,单击“连接管理”,进入连接管理页面。 单击页面右上角的“新增连接”,右侧弹出新增连接窗口。
迁移时,可以作为目的端凭证发送给源端迁移Agent。 在第二步:关联迁移中心项目区域的项目下拉列表中,选择MgC控制台所创建的迁移项目,Edge会将采集数据上报到该项目。 在第三步:预设当前Edge名称区域,自定义Edge在MgC控制台显示的名称,单击“连接”按钮,确认要与迁移中心进行连接,单击“确定”按钮。
或迁移方案配置。 主机深度采集 请按照以下步骤对主机资源进行深度采集。 在源端内网环境中安装Edge工具并与迁移中心连接。 在资源采集页面的资源列表,单击主机资源的资源数量,进入资源列表页面的主机页签。 在需要进行深度采集的主机采集设备列,单击“配置”,弹出配置窗口。根据表4,配置参数。
Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全地控制资源的访问。 通过IAM,您可以在账号中给员工创建IAM用户,并授权控制他们对资源的访问范围。例如您的员工中有负责软件开发的人员,您希望他们拥有MgC的使用权限,但是不希望他
公网采集失败,提示:“网络连接超时”或“其他异常” 问题描述 在使用公网发现功能进行源端资源采集时,遇到采集失败,错误提示:“网络连接超时”或“其他异常”。 问题分析 网络连接超时:出现该提示是因为源端资源所在的地域(Region)不在MgC服务支持的资源采集范围内。 其他异常:
如果可以登录,请更新在Edge上添加的源端主机凭证信息为核对后的信息,然后重新进行迁移准备度检查。 如果无法登录,则是用户名或密码错误。请继续执行后续步骤。 重置密码或联系源端主机管理员。 如果您确定用户名正确,但忘记了密码,可以选择重置源端主机的密码。源端主机为华为云ECS时,请参考在控制台
Edge安装端口被占用,导致无法安装,如何处理? 问题描述 在安装Edge时,提示“安装端口被占用,请先关闭占用进程再重试”。 问题分析 出现该问题,是因为安装Edge的默认端口27080被占用。 解决方法 将占用27080端口的应用进程停用。 在将应用进程停用前,请自行评估风险并承担相应后果。
单击左侧导航栏的“配置管理”,进入配置管理页面。在页面左上角的当前项目下拉列表中选择迁移项目。 选择“凭证管理”页签,单击“添加凭证”,弹出“添加云平台凭证”窗口。 按照窗口提示,选择资源类型后,选择认证方式并输入/上传相应凭证,凭证名称为用户自定义,单击“确认”。 添加完成后,在凭证管理列表可以看到添加的凭证。
的权限。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择迁移中心 MgC,进入MgC主界面,根据您授予的权限可以进行对应操作,表示授予的权限已生效。 在“服务列表”中选择除迁移中心 MgC外的任一服务,若提示权限不足,表示授予的权限已生效。
可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可以在选择策略模板后,根据具体需求编辑策略内容;也可以直接在编辑框内编写JSON格式的策略内容。 具体创建步骤请参见:创建自定义策略。本章为您介绍常用的MgC自定义策略样例。
建议:提升集群规格配置或增加计算资源(如ECS实例)。 系统性能管理:在迁移期间,系统的性能资源(如CPU、内存)可能会被被其他任务占用,从而影响迁移速度。 建议:在迁移期间,对占用系统性能的任务进行优先级调整,确保迁移任务能够获得足够的性能资源。也可以考虑在系统负载较低的时段进行迁移。 父主题: