检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将MgC资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用MgC服务的其它功能。
根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将MgC资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用MgC服务的其它功能。
使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,并获取账号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 创建应用迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参考项目管理。 创建目的端OBS桶 在华为云创建一个用于存放URL列表文件和接收源端数据的OBS标准存储
参数配置完成后,单击“测试连接”,系统会校验配置信息并与组件建立连接,测试通过代表与组件连接成功。 测试连接通过后,单击“确认”按钮,创建大数据组件连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。 父主题: 创建目的端连接
参数配置完成后,单击“测试连接”,系统会校验配置信息并与组件建立连接,测试通过代表与组件连接成功。 测试连接通过后,单击“确认”按钮,创建大数据组件连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。 父主题: 创建目的端连接
创建用户时选择步骤3创建的具有MgC权限的用户组。 获取访问密钥(AK/SK) 账号和IAM用户的访问密钥是单独的身份凭证,即账号和IAM用户仅能使用自己的访问密钥进行API调用/鉴权。获取访问密钥的方法请参见新增访问密钥。
执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口。 Spark客户端目录 填写Spark客户端的安装目录路径。 环境变量地址 填写环境变量文件(配置文件)的绝对路径,例如:
存储类型介绍 各云厂商的对象存储服务针对用户业务对存储性能、成本的不同诉求,将对象的存储级别进行了区分,区分的普遍依据是对象的访问频度、访问时延、最低存储时间、最低存储单元、数据可靠性、数据可用性等。根据以上依据,华为云OBS提供了以下四种存储类型: 标准存储 访问时延低和吞吐量高,
Agent(原Edge) 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署MgC Agent。 MgC Agent不具备自动重启功能,严禁在任务执行期间重启MgC Agent,以避免任务失败。 操作步骤 安装MgC Agent的方法请参考下载并安装MgC Agent。
出现该报错是因为:远程服务器的WinRM服务未启动或者配置不正确。 解决方法 验证执行机能否 ping 通远程服务器。如果可以ping通,请执行步骤2。 确认远程服务器的 WinRM 服务5985端口是否已对执行机开放。确认开放请执行步骤3。 检查远程服务器的登录凭证是否正确。确认凭证正确无误后,请执行后续步骤。
部署迁移工具Edge 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能,严禁在任务执行期间重启Edge,以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge
也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 增量区间 选择T-N区间作为增量数据的迁移范围,即任务开始执行时间的前 24 x N 小时内的增量数据。例如:选择T-1,2024/06/06 14:50执行任务,则表示迁移从
动迁移时,单击操作列的“运行”,手动启动迁移。 迁移任务运行后,单击操作列的“查看实例”,进入任务进度页签,可以查看该任务产生的运行实例以及迁移进度。 单击状态列的“重新运行”,可以多次运行迁移实例。 单击进度统计列的“查看”,进入进度详情页面。可以查看迁移的数据表清单、状态并导出任务结果。
采集原理:连接数据库,基于数据库的查询语句进行采集。 中间件采集 权限要求: Redis:使用具有基本访问权限的普通账号即可。 Kafka:需要具备访问所有topic的权限以及对topic的容量等信息进行访问的权限。 采集原理:利用Java语言编写的应用程序,集成对应中间件的SDK(Software
以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的MgC Agent。 源端配置 源端连接 选择创建的源端连接。 增量区间 选择T-N区间作为增量数据的迁移范围,即任务开始执行时间的前 24 x N 小时内的增量数据。例如:选择T-1,2024/06/06 14:50执行任务,则表示迁移从
Key)。获取方法请参考创建根用户的访问密钥或管理 IAM 用户的访问密钥。 获取腾讯云访问密钥(SecretId/SecretKey) 添加腾讯云凭证时,需要填写源端资源所在主账号或子账号的访问密钥即 API 密钥。获取方法请参考主账号访问密钥管理或子账号访问密钥管理。 获取七牛云访问密钥(AccessKey/SecretKey)
Windows主机,请添加Administrator账号和密码作为采集凭证。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 单击左侧导航栏的“源端发现>资源采集”,进入资源采集页面。 在主机资源列表,单击列表上方的“添加资源”按钮,弹出添加主机窗口。 图1 添加主机 根
MgC Agent(原Edge)设备离线原因 MgC控制台显示设备状态为离线,请排查以下原因: 请检查安装MgC Agent的主机是否仍然具备访问公网的能力。 请检查MgC Agent运行进程是否正常。 父主题: 常见问题
”,如何处理? 出现该提示是因为MgC Agent(原Edge)无法访问到源端。 源端为Windows系统时需要对安装MgC Agent主机的IP开放5985端口。 源端为Linux系统时需要对安装MgC Agent主机的IP开放22端口。 源端Windows服务器需要关闭防火墙、杀毒
执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口。 Spark客户端目录 填写Spark客户端的安装目录路径。 环境变量地址 填写环境变量文件(配置文件)的绝对路径,例如: