检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
转换CSV文件编码为UTF-8 导入阿里云主机资源清单仅支持上传UTF-8编码且为中文表头的CSV文件，本节介绍将CSV文件的编码格式修改UTF-8编码的方法。 方法一（适用于Windows操作系统） 选择csv文件，鼠标右键，打开方式选择“记事本”。 在记事本窗口左上角选择“文件
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验，校验任务执行成功，查看校验结果，发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中，
14:50执行任务，则表示迁移从 2024/06/05 14:50 到 2024/06/06 14:50（现在）的增量数据。 如果勾选“指定日期”，将只迁移指定日期内的增量数据。 分区筛选方式 根据数据的分区属性来选择和检索数据。默认为更新时间。 更新时间：筛选出最近或在特定时间段内有更新的数据。
存储迁移的约束与限制有哪些？ 使用迁移中心进行存储迁移的约束与限制参见表1和表2。 表1 存储迁移通用约束与限制 类别 约束与限制 多版本对象迁移 默认只迁移源端多版本对象中的最新版本，不支持迁移历史版本的对象存储数据。 目的端桶存储类别 目的端桶的存储类别只能为标准存储或者低频
进行校验。在24小时内自动进行多次校验，可以持续关注数据一致性变化情况。第二日0点自动停止任务。 指定日期校验：仅适用于分区为年月日格式的分区表，支持周期性指定一个或多个连续日期分区进行校验。分区格式不为年月日的表不会进行校验。 指定时间校验：用户可以选择一个时间段，校验该时间段
查看并导出校验结果 当源端与目的端的统计任务都执行完成后，在校验结果页面可以查看并导出任务的执行结果。校验结果将按照任务开始执行的日期进行分批，如果单日多次执行校验任务，系统只会保留最后一次的校验结果，之前的执行结果会被后续的执行所覆盖。 前提条件 已创建统计任务并执行校验。 使用须知
s3://bucket01/index.html 将“ s3://及其之前的所有参数”替换为“http://<DOMAIN>:<PORT>/”，即“日期...s3://”替换为“http://100.93.xxx.xxx:7480”，生成的URL列表为： http://100.93.xxx
约束与限制 本文介绍迁移中心（MgC）在使用过程中的约束与限制，包括MgC服务的使用限制，进行主机迁移、跨可用区（AZ）迁移和存储迁移时存在的约束与限制。 MgC区域限制 MgC部署在“华南-广州”区域。虽然MgC为Region级服务，但提供了全局服务的能力。即在一个Region
Lake数据，请添加如下参数： 参数名：mgc.delta.spark.version 参数值：2 表4 指定日期校验参数配置说明 区域 参数 配置说明 基础信息 任务名 默认创建名称为“组件类型指定日期校验-4位随机数（字母和数字）”，也可以自定义名称。 任务配置 表组 选择需要校验的表所在表组。
“编程访问”，单击“确认”按钮。 安装Edge的主机时间设置与当地标准时间不一致 在安装Edge的Windows主机上，打开“日期和时间”设置。 在“日期和时间”设置界面，开启“自动设置时间”，然后单击“同步”按钮，触发一次时间同步。 确保时区和时间设置正确，与当地标准时间一致后
允许的资源类型 选择至少包含：容器和对象。 允许的权限 选择至少包含：读取和列表，如果要迁移归档类对象权限则需要再勾选：写入。 开始和到期日期/时间 需要确保在迁移任务过程中，连接字符串不会失效。 单击“生成SAS和连接字符串”，即可显示连接字符串和SAS令牌、Blob服务SAS
创建元数据连接 创建元数据来源类型的连接，获取源端大数据库表清单。 目前支持的连接类型，参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake（有元数据） Delta Lake（无元数据）
如：桶名为“mgc01”，填写的文件夹为“/test”，则日志文件存放路径为：obs://mgc01/test/bigdata/task/日期/任务实例ID/日志文件；内容校验结果存放路径为：obs://mgc01/test/bigdata/task/任务实例ID/数据库名/表名/内容校验结果文件
MRS ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍MRS ClickHouse版本间数据迁移后，使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户，方法请参见安装Linux版本的Edge工具。
创建目的端组件连接 对大数据组件数据进行一致性校验时，需要与大数据组件建立连接，用于数据查询。 目前支持创建连接的大数据组件包括： Doris HBase ClickHouse Hive Metastore 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”
导入阿里云资源清单 从阿里云导出资源清单（CSV格式），再将其导入MgC，系统会自动解析这些文件，识别出相应的资源，并在资源列表展示资源的详细信息。此外，利用解析后的信息，您还可以使用迁移中心的规格评估功能，为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括：
导入阿里云资源清单 从阿里云导出资源清单（CSV格式），再将其导入MgC，系统会自动解析这些文件，识别出相应的资源，并在资源列表展示资源的详细信息。此外，利用解析后的信息，您还可以使用迁移中心的规格评估功能，为您推荐与阿里云资源相匹配的华为云资源规格。 支持导入的阿里云资源类型包括：
估策略推荐的华为云对应规格配置，成本预估是华为云推荐规格所需费用。 查看主机性能数据 在资源配置明细的主机列表中，可以查看每台主机最后采集日期7天/30天内的CPU负载和内存负载平均值。单击“性能分析”，可以查看所有主机的性能分布统计。 更改目的端规格 在资源配置明细区域，单击主
创建源端组件连接 对大数据组件数据进行一致性校验时，需要与大数据组件建立连接，用于数据查询。 目前支持创建源端连接的大数据组件包括： Doris HBase ClickHouse Hive Metastore Delta Lake（有元数据） Delta Lake（无元数据） Hudi（有元数据）
估策略推荐的华为云对应规格配置，成本预估是华为云推荐规格所需费用。 查看主机性能数据 在资源配置明细的主机列表中，可以查看每台主机最后采集日期7天/30天内的CPU负载和内存负载平均值。单击“性能分析”，可以查看所有主机的性能分布统计。 更改目的端规格 在资源配置明细区域，单击主
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
