检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
首次迁移时选择“不覆盖”,不会迁移源端中父文件夹的属性到目的端,可能会造成文件夹属性不完整。为规避这一风险,首次迁移时请谨慎使用“不覆盖”策略。 选择“不覆盖”策略进行数据迁移时,如果迁移任务因错误中断后重启或从暂停状态恢复,可能会造成部分数据未完全迁移,而任务显示成功的现象,影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。
Spark应用的Driver内存,参数配置例如:2G, 2048M。该配置项会替换“sc_type”中对应的默认参数,使用时必须带单位,否则会启动失败。 父主题: 大数据数据迁移
安全组配置说明。 费用说明 在创建迁移集群时,会产生以下费用: 创建Master节点、迁移节点和列举节点会产生ECS服务费用。具体计费详情请参见ECS按需计费说明或ECS价格计算器。 如果您使用公网迁移时,会产生NAT网关服务费用。计费详情请参见NAT网关计费说明或NAT价格计算器。
户配额) ecs:servers:list(查询云服务器列表) ecs:cloudServers:list(查询云服务器详情列表) ecs:servers:stop(关闭云服务器) ecs:cloudServers:listServerInterfaces(查询云服务器网卡信息)
器、对象存储和数据库等资源进行深度采集。 创建主机迁移工作流:进行主机迁移,MgC提供高灵活、可定制的迁移工作流,根据采集的源端主机性能数据,推荐最合适的华为云主机规格。 创建大数据迁移任务:进行大数据迁移,支持将阿里云 MaxCompute数据迁移至华为云 数据湖探索(DLI)。
创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。
列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DL
勾选“仅显示适合专属主机规格族”,则只能选择在购买区域所选Region下专属主机所包含的规格,并且虚拟机类型偏好将无法选择。 系统盘规格偏好(可选) 选择期望的目的端系统盘规格类型。 数据盘规格偏好(可选) 选择期望的目的端数据盘规格类型。 虚拟机规格调整 选择主机性能规格的推荐策略。 选择“不调整”,会推荐与源
选择公网迁移,要求目的端服务器配置有“弹性公网IP(EIP)”,迁移时会使用目的端EIP。 选择私网迁移,需要提前配置专线、VPN、对等连接或同VPC子网,确保源端能够通过私网访问目的端。 如果源端无法访问公网,需要输入源端代理服务器的私网IP和代理软件指定的代理端口。 如果源端代理服务器无法访问
开始性能采集后,您还可以进行如下操作: 查看采集数据 单击主机名称,进入主机详情页面,在性能信息区域,可以查看采集到的主机性能数据。其中,7天和30天最大值为每小时汇总的定时任务,采集时长需超过1小时才能获取数据。 单击操作列的“查看”,可以查看采集周期内每项数据的详细数值和曲线图。 停止采集 单击“停止”,可以暂停性能数据采集。
的主机资源。 添加数据库 登录迁移中心管理控制台。 单击左侧导航栏的“调研>资源采集”,进入资源采集页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在资源列表单击数据库或数据库的资源数量,进入资源列表页面的数据库页签。 单击“添加资源”按钮,弹出添加数据库窗口。 根据表2,填写相应参数。
installed如何处理? 大数据-Hive Metastore凭证文件获取方法 Edge安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查 新增大数据校验数据连接时,凭证列表数据缺失
Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
迁移实施 元数据全量迁移 元数据增量感知 全量数据迁移 增量数据迁移 父主题: 大数据数据迁移
务执行结果进行过滤,如有过滤,则只导出过滤后的数据。 图1 导出执行结果 单击“导出管理”按钮,右侧弹出导出管理窗口。 当导出进度为导出成功后,单击操作列的“下载”,可以将导出结果下载到本地。 图2 下载导出结果 父主题: 大数据数据迁移
添加数据库资源 根据表2,填写相应参数。 表2 添加数据库参数配置说明 参数 说明 名称 用户自定义 采集设备 选择在源端注册并与迁移中心连接的Edge。 类型 选择“Oracle”。 IP 输入可以连接到源端Oracle数据库服务器的IP地址。 端口 源端Oracle 数据库监听端口。默认为1521。
首次迁移时选择“不覆盖”,不会迁移源端中父文件夹的属性到目的端,可能会造成文件夹属性不完整。为规避这一风险,首次迁移时请谨慎使用“不覆盖”策略。 选择“不覆盖”策略进行数据迁移时,如果迁移任务因错误中断后重启或从暂停状态恢复,可能会造成部分数据未完全迁移,而任务显示成功的现象,影响数据的完整性。为规避这一风险,请谨慎使用“不覆盖”策略。
创建目的端连接 创建执行机连接 创建目的端云服务连接 创建目的端组件连接 父主题: 大数据校验
vector %s 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:no more field nodes for for field %s and vector %s 解决方法 基于源端表创建临时表,使用临时表进行数据迁移。 父主题: 大数据数据迁移
作列的“查看”,可以查看采集失败的数据源,将鼠标放到数据源的采集状态上,可以查看失败原因。 步骤二:关联应用 如果在采集可用区主机资源的步骤6.已经为主机关联了应用,则可以跳过该步骤,进行下一步规格评估。 在资源列表页面的主机页签,勾选需要关联到同一应用的主机,单击页面左上角的“