检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
MgC)是华为云一站式迁移和现代化平台,承载华为云迁移方法论和最佳实践,可以帮助您轻松完成上云,该平台既提供快速平迁能力,也提供应用现代化建议和改造能力。 公测 什么是迁移中心
安全组的出方向规则中,需要包含8883端口。 关闭该主机上的杀毒、防护类软件,该类软件会拦截MgC Agent的执行,导致迁移工作流执行失败。 不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括: 资源消耗:MgC Agent在采集和迁移运行过程中会消耗CPU和内存资源。在
collectors\app-discovery-process-netstat\config\rules.properties 须知: 建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 interval 否 采集间隔时间,单位为
单击“确认”,公网发现任务创建完成,系统开始自动发现步骤4任务配置所选区域内的主机资源。 您可以在资源采集页面的“资源列表”,单击主机资源的资源数量,进入资源列表页面的主机页签。 在资源采集页面,单击任务总数后的“查看”,进入任务列表页面,查看任务状态。如果任务状态为“失败”,单击操作
步骤二:创建增量迁移工作流 在全量迁移完成后,再创建增量迁移工作流,进行多次增量数据迁移,以减少数据差异。 步骤三:灰度切流(可选) 在条件允许的情况下,建议进行灰度切流,即部分业务切换到目的端,以验证业务的连续性和数据一致性。 步骤四:业务割接 在多次增量迁移后,确定一个可接受的最后一次增量迁移时间窗,用于最终的业务割接。
将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName) 目标组件类型(TargetComponentType) 上游数据库(SourceDataset) 上游表(SourceTable)
将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName) 目标组件类型(TargetComponentType) 上游数据库(SourceDataset) 上游表(SourceTable)
n\start.bat,其中rda-collector-server可替换其他采集器的目录,目前包含采集器: 数据库采集器 :rda-collector-database。 容器采集器 :rda-collector-kubernetes。 平台采集器 :rda-collector-platform。
资源类型和安全组配置说明 本文介绍创建迁移集群所包含的资源类型以及所有节点的安全组配置。 迁移集群包含的资源类型和介绍 资源类型 创建时可配置 是否必须 规格数量 名称 描述 ECS 是 是 Master节点:1台 迁移节点:根据创建集群时的参数配置创建 列举节点:根据创建集群时的参数配置创建 “oms_cluster_ecs_”
资源类型和安全组配置说明 本文介绍创建迁移集群所包含的资源类型以及所有节点的安全组配置。 迁移集群包含的资源类型和介绍 资源类型 创建时可配置 是否必须 规格数量 名称 描述 ECS 是 是 Master节点:1台 迁移节点:根据创建集群时的参数配置创建 列举节点:根据创建集群时的参数配置创建 “oms_cluster_ecs_”
勾选高级配置后的“现在配置”,打开高级配置项。 单击“是否调整分区”配置项后面的“调整磁盘分区”按钮,弹出磁盘分区调整窗口。 根据工作流配置的目的端规格,调整目的端磁盘大小、数量以及分区大小,确保调整后与工作流配置的目的端规格一致。 图1 Linux磁盘分区调整 Linux支持LVM调整,可以选择物理卷和逻辑卷是否迁移以及调整大小。
非必填参数,一般为空。如有需要可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按数据库进行筛选,在数据库参数框中输入需要增量待迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.
源端存在和仅目的端存在的元数据,都不会被同步或处理。 按库筛选 即按数据库进行筛选,在数据库参数框中输入需要增量待迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.
利用创建的Delta Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖元数据同步任务。 Delta Lake(无元数据)只能通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。 前提条件 已创建Delta
discovery-collectors\app-discovery-nacos\config\rules.properties 须知: 建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 password 是 填写登录用户名对应的密码。
非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。 数据范围 按库筛选 即按数据库进行筛选,在数据库参数框中输入待迁移的数据库名称。单击“添加数据库”,可以新增数据库,最多支持同时添加10个数据库。 如果数据库中有不需要迁移的表,可以下载CSV格式的“排除表”模板,参考b.~e.在模
大小等性能规格。 本文介绍在应用详情内,对应用中的主机资源进行性能采集的操作方法。 使用须知 开始采集后,默认每5分钟进行一次数据采集。 建议采集时长≥1小时,若采集时长不足,将无法获取7天和30天最大值以及平均值数据。 采集周期默认为7天,7天后会自动停止采集;采集周期内可以进
最近1天:每5分钟留存一条数据。 最近1周:每30分钟留存一条数据。 最近1月:每2小时留存一条数据。 开始采集后,默认每5分钟进行一次数据采集。 建议采集时长≥1小时,若采集时长不足,将无法获取7天和30天最大值以及平均值数据。 采集周期默认为7天,7天后会自动停止采集;采集周期内可以进
lectors\app-discovery-application-config\config\rules.properties 须知: 建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 path 是 填写应用配置文件(yaml文件)的存储路径。