检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
uble字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql 客户端，进行sql操作，出现用同一个命令存在返回值不同的情况。 这是因为在进行大数据对数的
failed 问题描述 进行大数据数据迁移时，部分表迁移失败，报错：CRC Check failed 解决方法 通过修改DLI作业中迁移sql，将源端timestamp字段类型转成String类型，进行数据迁移。 父主题： 大数据数据迁移
支持规格评估的数据库类型 目前支持规格评估的数据库类型包括：MySQL、PostgreSQL、MongoDB、Oracle和SQL Server。 父主题： 规格评估
将编辑并保存好的CSV文件上传至MgC。 目的端配置 目的端连接 选择创建的目的端DLI 通用队列连接。 注意： 切勿选择DLI SQL队列。 自定义参数 根据实际需求进行配置，支持的自定义参数详情请参考conf参数说明和自定义参数说明。 如果是公网迁移，需要填写以下4个参数： spark.dli.metaAccess
录迁移中心凭证相同”，则需要手动填写项目ID。项目ID的获取方法请参考获取项目的名称和ID。 队列名称 输入完成准备工作时，创建的SQL队列名称/通用队列名称。 当配置SQL队列连接时，填写SQL队列名称。 当配置通用队列连接时，填写通用队列名称。 创建目的端连接完成后，在连接管
CA证书所在路径。 Linux系统MySQL证书默认存放位置取决于MySQL的安装方式和版本。通常MySQL证书存放在以下位置： MySQL 5.6及以下版本：/etc/mysql/ MySQL 5.7及以上版本：/var/lib/mysql/ 如果是云数据库，请参考各云厂商数据库的说明文档：
MySQL-generallog采集器（app-discovery-mysql-generallog） 通过MySQL的general-log日志，采集客户端host和port信息。参数配置说明参见表1。 表1 MySQL-generallog采集器参数配置说明 参数 必选 配置说明
Lake（无元数据） Hudi（有元数据） Hudi（无元数据） 需要确保源端和目的端执行机都安装了大数据组件的命令行客户端。 源端和目的端执行机均需要创建连接。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“实施>大数据校验”，进入大数据校验页面。在页面左上角的当前项目下拉列表中选择迁移项目。
群资源，提高任务的并行度和效率。 Local：适用于小规模数据集或开发测试环境，可以快速进行调试和验证。 参数 根据所选的运行模式和实际需求，添加命令行参数。 命令参数（Delta Lake和Hudi配置参数） spark-sql命令 Spark SQL是Spark中用于结构化数
将编辑并保存好的CSV文件上传至MgC。 目的端配置 目的端连接 选择创建的目的端DLI 通用队列连接。 注意： 切勿选择DLI SQL队列。 自定义参数 根据实际需求进行配置，支持的自定义参数详情请参考conf参数说明和自定义参数说明。 如果是公网迁移，需要填写以下4个参数： spark.dli.metaAccess
statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite
"obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog.tableWriteProvider 填写tunnel 专线迁移场景为必填 spark.sql.catalog.mc_catalog.tableReadProvider
要的数据。对于不同的数据库系统，应使用以下账号： MySQL：使用root账号。 PostgreSQL：使用postgres账号。 MongoDB： 使用admin权限账号。 Oracle：使用system权限账号。 SQL Server：使用sa账号。 采集原理：连接数据库，基于数据库的查询语句进行采集。
QcloudMongoDBReadOnlyAccess SQLServer sqlserver:DescribeDBInstances sqlserver:DescribeReadOnlyGroupList QcloudSQLServerReadOnlyAccess 存储 COS cos:GetService
环境变量地址 填写环境变量文件（配置文件）的绝对路径，例如：/opt/bigdata/client/bigdata_env。 SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知： 迁移完成后，您需要手动清理该路径下生成的文件夹，以释放存储空间。
Metastore连接前，需要先获取连接Hive Metastore的IP地址和端口号。 在创建MaxCompute连接前，需要先获取MaxCompute服务所在地域的Endpoint信息。 在创建Doris连接前，需要先获取Doris集群部署的服务器IP地址和端口。 在创建HBase连接前，需要先获取HBa
ECS实例和云盘 对象存储 OSS桶 云数据库 RDS MySQL实例 云数据库 Redis实例 导出阿里云ECS实例和云盘 登录阿里云ECS控制台。 在概览页面，单击“导出数据>实例”，导出所有实例资源清单。 单击“导出数据>云盘”，导出所有云盘资源清单。 打开实例资源清单和云盘资
ECS实例和云盘 对象存储 OSS桶 云数据库 RDS MySQL实例 云数据库 Redis实例 导出阿里云ECS实例和云盘 登录阿里云ECS控制台。 在概览页面，单击“导出数据>实例”，导出所有实例资源清单。 单击“导出数据>云盘”，导出所有云盘资源清单。 打开实例资源清单和云盘资
MongoDB采集器（app-discovery-mongodb） MySQL-generallog采集器（app-discovery-mysql-generallog） MySQL-jdbc采集器（app-discovery-mysql-jdbc） Nginx配置文件采集器（app-discovery-nginx）
中间件、数据库、存储等资源可直接进行迁移方案设计。支持对AWS RDS（包括MySQL、MariaDB、Aurora、PGSQL、SQLServer、Oracle）和AWS DocumentDB数据库进行深度采集，以获取数据库更详细的信息。 对象存储资源可以进行深度采集和迁移方案配置。 主机源端迁移准备度检查 请按
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
