检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
价格计算说明 本节介绍使用跨云成本分析功能进行成本分析后,产品映射列表中所展示的价格计算说明。 资源总用量 显示该资源在账单区间内(即所选对比时间段内)的使用时长/使用容量,与账单中的用量保持一致。 不会体现该资源在账单区间内使用的具体时间节点。 根据产品类型单位分为小时或者GB。
在线调研 适用于采集云平台主机。目前支持的源端云平台为:阿里云、华为云、AWS、腾讯云、Azure、七牛云、金山云。 通过公网采集的主机,需要迁移预检查通过或深度采集成功后,才可以创建迁移工作流。 前提条件 已在源端内网环境安装MgC Agent,并与迁移中心连接。 已在MgC
在线调研 通过公网在线发现并采集源端云平台资源,获取源端资源详细信息,并整理源端资源与应用间的关联关系。目前支持发现的源端云平台为:阿里云、华为云、AWS、腾讯云、Azure、七牛云、金山云。 阿里云和华为云支持采集的资源类型包括:主机、容器、中间件、数据库、网络和存储。 腾讯云
数据采集架构 迁移中心(MgC)采集数据的方式主要包括以下两种: 利用MgC Agent远程在线采集 通过调用API在线采集云平台资源 利用MgC Agent远程在线采集 适用于公有云、私有云(如VMware、Hyper-V等虚拟化环境)以及数据中心(IDC)部署,或者以上部署方式的混合场景。迁移中心
创建源端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建源端连接的大数据云服务包括: MaxCompute 阿里云云数据库ClickHouse 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的大数据迁移项目。
详情请参见ECS按需计费说明或ECS价格计算器。 如果您使用公网迁移时,会产生NAT网关服务费用。计费详情请参见NAT网关计费说明或NAT价格计算器。 启用LTS服务时,会产生LTS服务费用。具体计费详情请参见LTS计费说明或LTS价格计算器。 父主题: 迁移集群
详情请参见ECS按需计费说明或ECS价格计算器。 如果您使用公网迁移时,会产生NAT网关服务费用。计费详情请参见NAT网关计费说明或NAT价格计算器。 启用LTS服务时,会产生LTS服务费用。具体计费详情请参见LTS计费说明或LTS价格计算器。 父主题: 迁移集群
查看当前项目下的所有MgC Agent以及状态。 MgC Agent状态说明参见表1。 表1 MgC Agent状态说明 设备状态 说明 在线 MgC Agent与MgC控制台之间一直连接,无断开。 离线 MgC Agent运行程序退出与MgC控制台之间的连接断开1分钟后,置为“离线”状态。
源端云厂商 源端资源类型 华为云资源类型 AWS EC2 ECS EBS EVS 阿里云 ECS ECS EBS EVS 部分EBS产品规格,由于计算方式差别较大,源端和华为云都忽略了IOPS以及突发性吞吐相关计费项,只比较容量以及使用时长相关计费项。 父主题: 上云调研
致? MgC主机工作流的迁移进度和SMS任务的迁移进度不一致是因为两者的步骤划分和计算进度的方式不同。SMS任务的迁移总进度是根据具体的任务阶段来划分的,而MgC主机工作流则是通过一个更简单的计算方法来估算进度。 SMS迁移任务总进度划分 SMS任务迁移总进度分为以下几个阶段:
使用spark-sql 客户端,进行sql操作,出现用同一个命令存在返回值不同的情况。 这是因为在进行大数据对数的求和计算时,由于分布式计算顺序的不确定性,可能会导致计算结果的不一致性。特别是处理接近或等于double类型最大值(1.7976931348623157E+308)的数据时,加上一个较小的数值(如2
建议:升级带宽或选择低峰时段进行迁移。 迁移集群规格:如果迁移集群的规格小于推荐规格(8U16G)可能会因处理能力不足,成为迁移速度的制约因素。 建议:提升集群规格配置或增加计算资源(如ECS实例)。 系统性能管理:在迁移期间,系统的性能资源(如CPU、内存)可能会被被其他任务占用,从而影响迁移速度。 建议:在迁移
选择迁移工具窗口。在下拉列表中,选择在完成准备工作时与迁移中心连接成功的Edge。 在进行大数据数据迁移时,请确保迁移工具Edge一直处于在线并启用状态。 启用迁移工具Edge后,单击页面右上角的“创建源端连接”按钮,右侧弹出创建连接窗口。 连接类型选择“MaxCompute”,单击“下一步”。
Agent。单击“选择并启用迁移中心Agent”按钮,在弹窗的下拉列表中,选择与迁移中心连接成功的MgC Agent。 在进行大数据校验时,请确保MgC Agent一直处于在线并启用状态。 在功能入口区域,单击“迁移准备”,进入迁移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图3 创建连接
按钮,在弹窗的下拉列表中,选择完成准备工作时与迁移中心连接成功的MgC Agent。 在进行大数据校验时,请确保MgC Agent一直处于在线并启用状态。 在功能入口区域,单击“迁移准备”,进入迁移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图1 创建连接
CAPEX与OPEX比例 数据中心投资成本与运营成本的比例。 默认值34%,1<取值范围<1000。 成本计算方式 根据需求选择不同的成本计算方式,以有效实现有效成本管理和控制。 选择按比例计算,需要设置以下参数: 性能预留比例:默认值30%,1≤取值范围≤100。 容灾预留比例:默认值30%,1≤取值范围≤100。
Agent。单击“选择并启用迁移中心Agent”按钮,在弹窗的下拉列表中,选择与迁移中心连接成功的MgC Agent。 在进行大数据校验时,请确保MgC Agent一直处于在线并启用状态。 在功能入口区域,单击“迁移准备”,进入迁移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图3 创建连接
Agent。单击“选择并启用迁移中心Agent”按钮,在弹窗的下拉列表中,选择与迁移中心连接成功的MgC Agent。 在进行大数据校验时,请确保MgC Agent一直处于在线并启用状态。 在功能入口区域,单击“迁移准备”,进入迁移准备页面。 选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图3 创建连接
关联资源 本节介绍为应用关联资源的方法。通过应用将资源进行分组管理,为后续规格评估、创建迁移工作流作准备。 前提条件 已通过资源采集中的在线调研/内网发现/手工导入/手动添加等方式完成主机资源的发现。 操作步骤 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。