检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。
autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。
选择“在线调研”页签,单击“云平台采集”,进入云平台采集参数配置页面。 图1 云平台采集 根据公网发现任务参数说明,配置公网发现任务参数。 表1 公网发现任务参数说明 区域 参数 说明 是否必选 基础配置 任务名称 自定义发现任务名称。 是 任务说明 输入发现任务说明。 否 任务配置 源端 选择阿里云。 是 凭证
复杂迁移(大数据迁移)项目:适用于需要进行大数据迁移和大数据一致性校验等复杂数据处理场景。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。 选择“项目管理”页签,单击“创建项目”,右侧弹出创建新项目窗口。 图1 创建项目 在弹出的窗口中,仔细查看并了解项目类
MgC Agent(原Edge)安装端口被占用,导致无法安装,如何处理? 问题描述 在安装MgC Agent时,提示“安装端口被占用,请先关闭占用进程再重试”。 问题分析 出现该问题,是因为安装MgC Agent的默认端口27080被占用。 解决方法 将占用27080端口的应用进程停用。
分别创建源端Delta统计任务和目的端Delta统计任务并执行,方法请参考创建统计任务并执行校验。需要注意,在配置任务时,命令参数中的Spark-submit命令需要配置mgc.delta.metadata.client.ips参数,参数值为所有元数据连接的IP地址和端口,用英文逗号分隔。
云边协同 添加资源凭证 配置OBS桶 设备管理 事件记录
前提条件 已在源端安装迁移中心Agent,并与迁移中心连接成功。 认证方式 支持在MgC Agent上添加凭证的资源类型包括:私有云、主机、容器。各资源类型包含的认证方式参见表1。 表1 各资源认证方式 资源类型 认证方式 说明 公有云 AK/SK 配置文件 ID/密钥 AK
最佳实践 配置MgC Agent(原Edge)插件JVM参数
在全量迁移完成后,参考创建存储迁移工作流,创建一个与步骤一相同的新的存储迁移工作流以进行增量迁移。需要注意在配置工作流的迁移配置区域,同名覆盖方式选择“条件覆盖”,其余参数配置与步骤一创建的工作流保持一致。配置完成后,启动新的存储迁移工作流,开始增量迁移。 图1 选择同名覆盖方式 步骤三:灰度切流(可选)
迁移集群 创建集群 集群管理 计费说明 集群状态说明 资源类型和安全组配置说明 父主题: 旧版
工具采集 创建工具采集任务 采集器管理 采集器参数配置说明
迁移集群 创建集群 集群管理 计费说明 集群状态说明 资源类型和安全组配置说明 父主题: 新版
大数据-Hive Metastore凭证文件获取方法 MgC Agent(原Edge)安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查 新增大数据校验数据连接时,凭证列表数据缺失
所有凭证非AK/SK认证方式 选择AK/SK认证方式的凭证。 MSE配置文件无效 请检查所用凭证和所选区域是否正确。 配置文件格式不正确 使用上传正确的文件格式。 获取Nacos的accessToken失败 请检查配置信息中填写的用户名和密码是否正确。 解析Nacos鉴权信息失败 请联系技术支持人员或提交工单。
产品咨询 迁移中心使用权限配置 MgC支持的区域 使用迁移中心进行迁移前,需要做哪些准备工作? 提示“请检查当前用户是否具有IAM权限”,如何处理? 无法签署隐私声明和使用迁移中心 如何防止采集数据泄露? 调研采集过程是否会对源端业务产生影响?
显示账号名称或凭证ID等内容。 对于MgC下发指令给MgC Agent或MgC Agent上报数据到MgC等关键行为,资源字段会显示存储这些内容的文件所在路径,您可以根据以下路径自行查找。 下发指令存储在{MgC Agent安装路径}/logs/audit/downlink_command
元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到
元数据迁移和数据迁移需要使用不同的DLI队列连接,元数据迁移需要使用DLI SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到
IaaS、PaaS 和 SaaS 类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API 网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思