检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录DLI管理控制台,在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 单击弹性资源池名称前的,在展开的信息中,获取该弹性资源池的网段。 将弹性资源池的网段加入ECS安全组的入方向规则中。 登录弹性云服务器控制台。 在弹性云服务器列表中,单击购买的Linux主机名称(用于安装Edge的主机)。
如何防止采集数据泄露? MgC通过以下方式确保采集数据的安全: 数据加密传输:采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证:Edge上的凭证信息都会经过加密处理后保存在本地,不会通过网络传输到云端。 本地数据采集与存储:通过Edge线下采集的信息会被安全地保存在本地
手动添加资源 目前支持手动添加的资源类型包括:主机、Oracle数据库。通过在源端环境中安装Edge工具进行资源采集。 准备工作 在MgC控制台创建项目。 在源端内网环境安装Edge工具,并与迁移中心连接。 在Edge上添加源端资源凭证。 添加主机 登录迁移中心管理控制台。 单击
可选参数。将对象迁移到指定前缀,例如:源端对象路径为/A/B/C.txt,目的端前缀配置为/D,迁移后目的端对象路径为/D/A/B/C.txt。详细介绍请参考 设置“保存到指定前缀”参数中的功能介绍。 根据表4,进行迁移配置。 表4 迁移配置参数说明 参数 子参数 说明 迁移任务类型 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。
根据源端规格推荐最合适的华为云对应资源规格,适合云上源端规格推荐。 匹配业务场景 以源端业务场景为基础,结合华为云最佳实践进行资源规格推荐。 跨可用区迁移 仅适用于华为云弹性云服务可用区下线迁移,该策略只会为应用中的主机资源推荐规格。选择该策略同时需要选择目的可用区。 详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。
Edge提供了一系列日志记录和事件审计功能,允许用户通过控制台界面和日志文件查看和了解操作行为,并进行错误排查和资源定位。 功能介绍 日志记录:系统会生成详细的操作日志,日志文件存储于:{Edge安装路径}/logs/audit/audit.log 。 事件记录界面:Edge控制台提供事件记录页面,可以查看事件来源、
数据源采集成功后,可以通过如下方式获取采集结果: 单击任务操作列的“下载json”,将采集结果保存为json文件,用于将采集结果导入MgC进行应用关联分析,详情请参考导入工具采集结果。 单击任务操作列的“下载csv”,将采集结果保存为csv文件,用于本地查看采集结果。 单击任务操作列的“显示结果路径”,可以查看采集结果存放路径。
创建元数据连接 创建元数据来源类型的连接,获取源端大数据库表清单。 目前支持的连接类型,参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake(有元数据) Delta Lake(无元数据)
Recovery,CBR) 提供对云硬盘、弹性云服务器的备份保护服务。 镜像服务(Image Management Service,IMS 通过镜像创建弹性云服务器。 弹性云服务器(Elastic Cloud Server,ECS) 将源端服务器的系统、应用和文件等数据迁移到华为云弹性云服务器。 消息通知服务(Simple
查看元数据 您可以通过创建采集任务、手动添加、导入模板等方式获取元数据库表清单。 通过采集任务获取元数据 创建采集任务的方法请参考创建并运行元数据同步任务。当元数据同步任务的实例状态为“已完成”且采集结果有数值时,在库表清单页签可以查看采集到的元数据列表。 手动添加数据表 登录迁移中心管理控制台。
4.1 4.4.2 4.4.3 4.4.4 4.4.5 4.5.0 4.5.1 4.6.1 文件格式要求 导出结果的文件格式必须为Excel (.xlsx)。 文件大小、压缩比要求 导入的文件大小不能超过100 MB,压缩比不能低于5%。 步骤一:导出RVTools资源 启动RVTools应用程序,进入登录界面。
传以下配置文件: 非安全集群(未开启Kerberos认证)需要上传core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml和hbase-site.xml等5个配置文件。配置文件的获取方法请参考准备运行环境配置文件。集群是否
conf和user.keytab文件。 在Edge添加凭证时,填写的用户名要与此处下载的凭证对应。 在页面上方菜单栏选择“集群>Hive”,进入Hive概览页,单击右上角“更多>下载客户端”,弹出下载客户端窗口。 客户端类型选择“仅配置文件”,单击“确定”按钮。 将下载的文件包解压,在/Hiv
手动添加资源 支持在应用内手动添加主机和Oracle数据库两种资源类型。通过在源端环境中安装Edge工具进行资源采集。 准备工作 在MgC控制台创建项目。 在源端内网环境安装Edge工具,并与迁移中心连接。 在Edge上添加源端资源凭证。 已在应用管理页面创建应用。 添加主机 登录迁移中心管理控制台。
转换CSV文件编码为UTF-8 导入阿里云主机资源清单仅支持上传UTF-8编码且为中文表头的CSV文件,本节介绍将CSV文件的编码格式修改UTF-8编码的方法。 方法一(适用于Windows操作系统) 选择csv文件,鼠标右键,打开方式选择“记事本”。 在记事本窗口左上角选择“文件
元数据全量迁移 将源端数据库中的所有元数据迁移到华为云数据湖探索(DLI) 。 元数据迁移不支持事务表(即DDL中带有transactional=true字段的表)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 操作步骤 登录迁移中心控制台。 在左侧导航
可选参数。将对象迁移到指定前缀,例如:源端对象路径为/A/B/C.txt,目的端前缀配置为/D,迁移后目的端对象路径为/D/A/B/C.txt。详细介绍请参考 设置“保存到指定前缀”参数中的功能介绍。 根据表4,进行迁移配置。 表4 迁移配置参数说明 参数 子参数 说明 迁移任务类型 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。
环境变量地址 请添加环境变量文件的绝对路径,示例:/opt/bigdata/client/bigdata_env, 如果该参数不为空,则环境变量文件在命令执行前将被自动“source” SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知:
全量数据迁移 将源端数据库中的所有数据迁移到目的端华为云数据湖探索(DLI)。 前提条件 已完成所有准备工作。 已创建源端连接。 已创建目的端连接。 开始迁移前,需要联系技术支持人员,将您添加到允许jar程序访问DLI元数据功能的白名单中。 操作步骤 登录迁移中心控制台。 在左侧
安全特性 采集安全性 采集时长受控:采集任务在有限的时间内完成,采集避免长时间占用系统资源。 加密保存凭证:所有用于数据采集的凭证都经过加密处理,以保护凭证的安全。线上采集的凭证仅在线上环境中保存。 操作权限与最小权限原则:无论哪种采集方式,都需要具备相应的操作权限,并且遵循最小