检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
复杂迁移(大数据迁移)项目:适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。 选择“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。 图1 创建项目 在弹出的窗口中,仔细查看并了解项目类
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。
云边协同 添加资源凭证 配置OBS桶 设备管理 事件记录
MgC Agent(原Edge)安装端口被占用,导致无法安装,如何处理? 问题描述 在安装MgC Agent时,提示“安装端口被占用,请先关闭占用进程再重试”。 问题分析 出现该问题,是因为安装MgC Agent的默认端口27080被占用。 解决方法 将占用27080端口的应用进程停用。
迁移集群 创建集群 集群管理 计费说明 集群状态说明 资源类型和安全组配置说明 父主题: 旧版
连接类型选择“Delta Lake(无元数据)”,单击“下一步”。 根据表1,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表1 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Delta-Lake-无
门户中单击“存储账户”,选择待迁移的存储账户。 在“安全性和网络”下,选择“共享访问签名” , 设置页面部分必要参数,参见表1 设置参数。其余参数请根据需求配置。 表1 设置参数 参数 设置 允许的服务 选择至少包含:Blob。 允许的资源类型 选择至少包含:容器和对象。 允许的权限 选择至少包含
最佳实践 配置MgC Agent(原Edge)插件JVM参数
迁移集群 创建集群 集群管理 计费说明 集群状态说明 资源类型和安全组配置说明 父主题: 新版
元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到
元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到
产品咨询 迁移中心使用权限配置 MgC支持的区域 使用迁移中心进行迁移前,需要做哪些准备工作? 提示“请检查当前用户是否具有IAM权限”,如何处理? 无法签署隐私声明和使用迁移中心 如何防止采集数据泄露? 调研采集过程是否会对源端业务产生影响?
目下拉列表中选择迁移项目。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset)
在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset)
选择“服务”页签,找到名为“Edge_Tomcat ”的服务,鼠标右键,单击“开始”,即可手动启动MgC Agent进程。 Linux版本 执行如下命令,进入MgC Agent安装目录中的scripts目录。 cd /opt/cloud/Edge/scripts/ 执行如下命令,启动MgC Agent。 ./start
下载并安装MgC Agent(原Edge) 安装Windows版本 安装Linux版本
下载并安装MgC Agent(原Edge) 安装Windows版本
迁移大文件时,该指标比较重要,建议速率能达到2 Gbit/s至3 Gbit/s。 以上指标的查看方法如下: 在ECS管理控制台,单击集群对应ECS实例的名称,进入ECS详情页面。 选择“监控 > 基础监控”页签,查看CPU使用情况和网络流量的实时数据。 网络指标 网络包含的关键指标和说明参见下表。
删除集群中 删除失败 删除集群失败 已废弃 集群已废弃(vpcep删除) 等待创建 等待创建集群资源 安装中 安装master节点中 安装失败 安装master节点失败 等待安装 等待安装master节点 等待升级 等待升级集群版本 等待删除 等待删除集群 父主题: 迁移集群
删除集群中 删除失败 删除集群失败 已废弃 集群已废弃(vpcep删除) 等待创建 等待创建集群资源 安装中 安装master节点中 安装失败 安装master节点失败 等待安装 等待安装master节点 等待升级 等待升级集群版本 等待删除 等待删除集群 父主题: 迁移集群