检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在元数据采集区域,单击“创建任务 > 数据湖元数据同步”按钮,右侧弹出创建任务-数据湖元数据同步窗口。 根据表1,配置数据湖元数据同步任务参数。 表1 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“数据湖元数据同步任务-4位随机数(字母和数字)”,也可以自定义名称。 元数据连接
单击操作列的“下载账单”按钮,下载Excel版账单。 查看配置 系统会根据解析出来的产品规格及用量自动匹配华为云上的产品及用量,在匹配策略上系统坚持在不低于您当前配置的前提下优先考虑成本的原则,给出华为云上的产品规格及用量配置。 您可以通过查看配置进入产品映射明细列表,在这个列表中,您可以添加
单击左侧导航栏的“设计>迁移方案设计”,进入迁移方案设计页面。在页面左上角的当前项目下拉列表中选择迁移项目。 单击目的端规格配置框中的“目的端配置表”,进入目的端配置表页面。 在资源配置明细的主机页签,单击主机资源绑定目的端列的“去绑定”,弹出绑定目的端窗口。 选择源端主机关联的应用所在区域以及
入资源列表页面的主机页签。 单击主机采集设备列表或凭证列的“配置”,弹出配置窗口。 根据表3,配置参数。 表3 深度采集参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。 接入IP 选择主机接入IP,可以为公网IP,
查看主机规格 安装驱动 源端为Linux主机,请参考以下任一方案安装驱动。 XEN实例变更为KVM实例(Linux-自动配置)中的步骤1~步骤2 XEN实例变更为KVM实例(Linux-手动配置)中的步骤1~步骤3 XEN实例变更为KVM实例(Linux-批量自动配置)中的步骤1~步骤2
评估执行完成后,单击“关闭”按钮,进行工作流配置。 根据表1参数说明,配置工作流参数。 表1 参数说明 区域 参数 说明 工作流详情 名称 用户自定义 描述 用户自定义 应用程序 应用名称 选择步骤4中自定义的应用名称。 迁移设置 区域 选择待迁移可用区所在Region,与创建的应用配置保持一致。 目的可用区
Edge安装端口被占用,导致无法安装,如何处理? 问题描述 在安装Edge时,提示“安装端口被占用,请先关闭占用进程再重试”。 问题分析 出现该问题,是因为安装Edge的默认端口27080被占用。 解决方法 将占用27080端口的应用进程停用。 在将应用进程停用前,请自行评估风险并承担相应后果。
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。
迁移阿里云资源、AWS资源分别创建项目,通过项目将不同来源的资源进行隔离。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。选择“项目管理”页签,单击“创建项目”。 在弹出的窗口中,自定义项目名称,并根据实际需求,选择迁移类型,单击“确认”。创建项目成功,可在项目管理列表查看。
分别创建源端Delta统计任务和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。需要注意,在配置任务时,命令参数中的Spark-submit命令需要配置mgc.delta.metadata.client.ips参数,参数值为所有元数据连接的IP地址和端口,用英文逗号分隔。
现任务页面。 图1 公网发现 根据公网发现任务参数说明,配置公网发现任务参数。 表1 公网发现任务参数说明 区域 参数 说明 是否必选 基础配置 任务名称 自定义发现任务名称。 是 任务说明 输入发现任务说明。 否 任务配置 源端 选择阿里云。 是 凭证 选择阿里云对应的凭证,如
云边协同 添加资源凭证 配置OBS桶 设备管理 事件记录
installed如何处理? 大数据-Hive Metastore凭证文件获取方法 Edge安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查 新增大数据校验数据连接时,凭证列表数据缺失
要重新添加。 前提条件 已在源端安装Edge,并与迁移中心连接成功。 认证方式 支持在Edge上添加凭证的资源类型包括:私有云、主机、容器。各资源类型包含的认证方式参见表1。 表1 各资源认证方式 资源类型 认证方式 说明 公有云 AK/SK 配置文件 ID/密钥 AK/SK适用
目下拉列表中选择迁移项目。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset)
最佳实践 配置Edge插件JVM参数
在全量迁移完成后,参考创建存储迁移工作流,创建一个与步骤一相同的新的存储迁移工作流以进行增量迁移。需要注意在配置工作流的迁移配置区域,同名覆盖方式选择“条件覆盖”,其余参数配置与步骤一创建的工作流保持一致。配置完成后,启动新的存储迁移工作流,开始增量迁移。 图1 选择同名覆盖方式 步骤三:灰度切流(可选)
工具采集 创建工具采集任务 采集器管理 采集器参数配置说明
迁移集群 创建集群 集群管理 计费说明 集群状态说明 资源类型和安全组配置说明
请参见项目管理。 操作步骤 下载并安装迁移工具Edge。 在源端内网环境中准备一台Windows主机,用于安装迁移工具Edge,如果您没有空闲的云主机,可以购买一台按需收费的主机,规格推荐4U8G。对该主机的要求以及Edge的安装方法请参见安装Windows版本的Edge。 连接迁移中心。