检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载并安装MgC Agent(原Edge) 安装Windows版本 安装Linux版本
下载并安装MgC Agent(原Edge) 安装Windows版本
应。 在页面上方菜单栏选择“集群>Hive”,进入Hive概览页,单击右上角“更多>下载客户端”,弹出下载客户端窗口。 客户端类型选择“仅配置文件”,单击“确定”按钮。 将下载的文件包解压,在/Hive/config文件夹下可以获取core-site.xml、hivemetastore-site
部署MgC Agent(原Edge) 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署MgC Agent。 MgC Agent不具备自动重启功能,严禁在任务执行期间重启MgC Agent,以避免任务失败。 操作步骤 安装MgC Agent的方法请参考下载并安装MgC
需要做的准备工作,让您对迁移中心的功能和操作有个初步认识。 迁移中心目前还支持跨可用区迁移和存储迁移,创建迁移工作流的操作步骤请参考华为云主机跨可用区迁移、迁移其他云平台存储数据至华为云。 操作流程 操作步骤 说明 准备工作 注册华为账号、开通华为云,并为账户充值。 获取账号迁移权限。
部署迁移工具Edge 使用迁移中心的大数据血缘功能前,需要先在可以访问源端元数据来源的环境中部署迁移工具Edge。 迁移工具Edge不具备自动重启功能,严禁在任务执行期间重启Edge,以避免任务失败。 操作步骤 安装Edge的方法请参考下载并安装Edge。 安装成功后,将Edge
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
在左侧导航栏选择“实施>大数据校验”,进入大数据校验页面。 在功能入口区域,单击“表管理”,进入表管理页面的表组页签。 单击“新增表组”,弹出新增表组窗口。 根据表1,配置参数。 表1 新增表组参数说明 参数 说明 表组名 用户自定义 元数据连接 根据实际需求,选择创建的源端连接。 注意: 表组中的所有表必须来源于同一个元数据来源。
项目下拉列表中选择迁移项目。 在功能入口区域,单击“表管理”,进入表管理页面的表组页签。 单击“新增表组”,弹出新增表组窗口。 根据表1,配置参数。 表1 新增表组参数说明 参数 说明 表组名 用户自定义 元数据连接 根据实际需求,选择创建的源端连接。 注意: 表组中的所有表必须来源于同一个元数据来源。
解冻操作可能会产生一定的费用,由源端云厂商收取,计费规则请咨询源端云厂商。 并发子任务数 用户自定义。配置的数目不能超过可用迁移节点数x10。 例如:可用的迁移节点数为2,则最大子任务数配置数目需要≤20。 列表迁移文件 列表文件存放地址必须与目的端桶处于同一区域。 列表文件类型必须为
安装MgC Agent(原Edge)的主机有哪些要求? 安装Windows版本的主机要求如下: 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 PowerShell 版本在3.0及以上。 推荐规格不小于4U8G。 安全组的出方向规则中,需要包含8883端口。
步骤添加华为云凭证。 在MgC Agent(原Edge)控制台的总览页面,单击页面右上角的“查看配置”按钮,右侧弹出连接配置窗口。 在华为云账号框中,单击“配置”按钮。 在弹出的配置华为云凭证窗口,输入目的端华为云账号的AK/SK,单击“确认”,完成添加。 修改华为云凭证 如果您
MgC Agent(原Edge)安装完成后,无法启动 Windows版本 Linux版本 父主题: 常见问题
)以及数据中心(IDC)部署,或者以上部署方式的混合场景。迁移中心 MgC利用部署在源端网络中的MgC Agent完成数据采集。 数据采集架构图,如图1所示。 图1 MgC Agent远程在线采集架构图 通过调用API在线采集云平台资源 适用于公有云部署场景,针对不同云服务提供商
面。 在元数据采集区域,单击“查看库表清单”,进入元数据采集页面的库表清单页签。 单击“新增数据表”按钮,弹出新增数据表窗口。 根据表1,配置参数。 表1 新增数据表参数说明 参数 说明 元数据连接 根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。
目。 在元数据采集区域,单击“查看库表清单”,进入元数据采集页面的库表清单页签。 单击“新增数据表”按钮,弹出新增数据表窗口。 根据表1,配置参数。 表1 新增数据表参数说明 参数 说明 元数据连接 根据实际需求,选择已创建的元数据连接类型。 数据库名 用户自定义。 数据表名 用户自定义。
档存储更低,但相应的数据取回时间将更长,一般为数小时。 关于华为云OBS存储类型更多介绍请参见OBS存储类别。 保留源端存储类型转换说明 配置存储策略选择“保留源端存储类型”时,源端存储类型与华为云存储类型之间的转换关系参见表1。括号内的数值分别代表:每月每GB容量费用|每万次读
旧版 权限管理 配置管理 上云调研 资源采集 应用管理 大数据血缘 迁移方案设计 迁移方案配置 迁移集群 迁移工作流 大数据数据迁移 大数据校验
新版 权限管理 配置管理 调研评估 资源采集 应用管理 大数据血缘 迁移方案设计 迁移方案配置 迁移集群 迁移工作流 大数据数据迁移(MaxCompute迁移到DLI) 大数据校验
单击存储迁移成本调研框,进入存储迁移成本调研参数配置页面。 在源端详情区域,根据实际情况,选择源端平台和源端类型,并输入源端文件个数、总文件大小。 在目的端详情区域,选择目的端区域和目的端类型。 在高级特性选择网络模式、偏好设置,并输入期望迁移时间。 配置完以上参数后,单击“创建评估”按钮。系统会根据配置参数,并给出不同的迁移方案。