检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ReadOnlyAccess 网络 ELB elb:ListListeners elb:ListLoadbalancers elb:ListPools elb:ListL7policies elb:ListL7rules elb:ListMembers elb:ListFlavors vpc:ListSubnets
首次使用大数据数据迁移功能时,需要先启用迁移工具Edge。单击页面左上角的“修改”或单击“选择迁移工具”按钮,弹出选择迁移工具窗口。在下拉列表中,选择在完成准备工作时与迁移中心连接成功的Edge。 在进行大数据数据迁移时,请确保迁移工具Edge一直处于在线并启用状态。 启用迁移工具Edge后,单击页面右
单,选择“UTF-8”,然后保存即可。 方法二(适用于Windows操作系统) 使用Notepad++工具转换CSV文件编码为UTF-8。确保您已经安装了Notepad++工具。如果尚未安装,请从官方网站下载并安装。 打开Notepad++,将csv文件拖进Notepad++窗口中,使用快捷键“Ctrl
使用须知 支持的区域 当前支持在以下区域(Region)进行SFS迁移,其它Region请使用线下工具RDA或者咨询其它方案进行迁移。 华北-北京四 华北-乌兰察布一 华南-广州 华东-上海一 华东-上海二 华东-青岛 西南-贵阳一 中国-香港 亚太-新加坡 内网迁移 支持在同一Region内通过内网进行迁移。
手动添加资源 目前支持手动添加的资源类型包括:主机、Oracle数据库。通过在源端环境中安装Edge工具进行资源采集。 准备工作 在MgC控制台创建项目。 在源端内网环境安装Edge工具,并与迁移中心连接。 在Edge上添加源端资源凭证。 创建应用。 添加主机 登录迁移中心管理控制台。
创建迁移项目: 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 操作步骤 下载并安装迁移工具Edge。 在源端内网环境中准备一台Windows主机,用于安装迁移工具Edge,如果您没有空闲的云主机,可以购买一台按需收费的主机,规格推荐4U8G。对该主机的要求以及Ed
速率,网络连接数等性能信息。 支持区域: 全部 采集主机性能 迁移方案设计 迁移中心提供一系列评估功能,包括目的端规格评估与推荐、多种迁移工具的选项及对比,并支持一站式资源购买。 支持区域: 全部 规格评估 迁移风险评估 购买资源 迁移方案配置 迁移中心为多种资源的不同迁移方案配
单击“选择并启用迁移工具”按钮,弹出选择迁移工具窗口。 在下拉列表中,选择与迁移中心连接成功的Edge。 如迁移工具状态为“在线”、“已启用”,代表该工具已被用于对数相关操作,单击“确定”按钮,继续使用该工具进行后续操作。 如迁移工具状态为“在线”、“未启用”,代表该工具尚未被用于对数
keytab文件对应的用户名。 执行命令 可以通过设置Beeline或Spark-sql命令行参数,对数据进行处理。 Beeline:用于与 Hive交互的命令行工具。 Spark-sql:用于执行 SQL 查询和分析数据。 MaxCompute参数 (MaxCompute配置参数) - 根据实际需求,
根据表1,配置参数。 表1 迁移准备度参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。当资源较多时,可以同时勾选多个资源,并通过列表上方的“绑定采集设备”进行批量绑定。 IP 选择主机接入IP,可以为公网IP,也可以是私有
配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI全量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 预估项目周期(天)(可选) 配置后,系统会
步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 参数配置完成后,单击“确认”按钮,创建元数据同步任务完成。 单击“采集任务”,进入元数据采集页面。在任
手动添加 适用于采集本地主机和暂不支持公网、内网采集的云平台主机。 前提条件 已在源端内网环境安装Edge工具,并与迁移中心连接。 已在Edge上添加源端主机凭证。为确保采集过程具备充分的系统访问权限,主机凭证要求如下: Linux主机,请添加Root账号和密码做为采集凭证。 W
填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数:
配置说明 基本信息 任务名称 默认创建名称为“MaxCompute到DLI增量数据迁移-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具 选择在完成准备工作时与迁移中心连接成功的Edge。 源端配置 源端连接 选择创建的源端连接。 增量区间 选择T-N区间作为增量数据的迁移范围,即任务开始执行时间的前
问题描述 主机迁移工作流进行“启动迁移Agent”步骤时失败,报错信息为:System.OutOfMemoryException 问题分析 迁移工具Edge使用WinRM服务连接源端主机,进行脚本传输和执行。出现该问题是因为执行脚本的内存不足,导致迁移失败。 解决方法 检查并调整PowerShell内存配置。
入大数据校验页面。首次使用大数据校验功能时,需要先选择并启用迁移工具。单击“选择并启用迁移工具”按钮,弹出选择迁移工具窗口。在下拉列表中,选择步骤3.与迁移中心连接成功的Edge。 在进行大数据校验时,请确保迁移工具Edge一直处于在线并启用状态。 在功能入口区域,单击“表管理”,进入表管理页面的表组页签。
影响大对象迁移速度的关键因素有哪些? 在迁移大对象的过程中,迁移集群的以下几个关键因素可能会影响迁移速度: 网络带宽限制:网络带宽不足,可能成为迁移速度的主要制约因素。 建议:升级带宽或选择低峰时段进行迁移。 迁移集群规格:如果迁移集群的规格小于推荐规格(8U16G)可能会因处理能力不足,成为迁移速度的制约因素。
创建公网采集任务。 通过公网采集的主机,需要迁移预检查通过或深度采集成功后,才可以创建迁移工作流。 前提条件 已在源端内网环境安装Edge工具,并与迁移中心连接。 已在Edge上添加源端主机凭证。为确保采集过程具备充分的系统访问权限,主机凭证要求如下: Linux主机,请添加Root账号和密码做为采集凭证。
内网发现与采集 适用于暂不支持公网采集的云平台主机,在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge