检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部分表迁移失败，报错：CRC Check failed 问题描述 进行大数据数据迁移时，部分表迁移失败，报错：CRC Check failed 解决方法 通过修改DLI作业中迁移sql，将源端timestamp字段类型转成String类型，进行数据迁移。 父主题： 大数据数据迁移
MySQL-generallog采集器（app-discovery-mysql-generallog） 通过MySQL的general-log日志，采集客户端host和port信息。参数配置说明参见表1。 表1 MySQL-generallog采集器参数配置说明 参数 必选 配置说明
所在路径。 Linux系统MySQL证书默认存放位置取决于MySQL的安装方式和版本。通常MySQL证书存放在以下位置： MySQL 5.6及以下版本：/etc/mysql/ MySQL 5.7及以上版本：/var/lib/mysql/ 如果是云数据库，请参考各云厂商数据库的说明文档：
果，发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中，如果遇到极大值或极小值，Hive可能无法以标准数值格式表示这些极端数值，而是将它们显示为 “Infinity”（表示无限大）或
由于元数据中的mtime（修改时间）属性引起的校验失败。当启用元数据保留迁移，且目的端存储为PFS桶时，如果源端对象的元数据包含mtime（修改时间），由于PFS桶中mtime代表最后修改时间，那么当源端对象迁移到目的端后实际修改时间晚于mtime，在这种情况下，系统会报告元数据对
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验，Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
支持规格评估的数据库类型 目前支持规格评估的数据库类型包括：MySQL、PostgreSQL、MongoDB、Oracle和SQL Server。 父主题： 规格评估
数据库的库、表、字段信息同步至迁移中心。 支持创建元数据同步任务的连接类型如下： Hive Metastore连接 Doris连接 HBase连接 ClickHouse连接 Hudi（有元数据）连接 Hudi（无元数据）连接 MaxCompute连接 阿里云云数据库ClickHouse连接
填写一个表的迁移信息，格式为“{MC项目名},{表名}”，其中MC项目名代表MaxCompute项目名称，表名代表具体的表名称。 须知： 每行的“MC项目名”和“表名”之间使用英文逗号隔开，不要使用空格或其他分隔符。 每添加完一个表的信息后，使用回车键换行。 完成所有表信息的添加后，保存CSV文件的更改。
利用创建的Delta Lake元数据连接，将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake（有元数据）支持创建数据湖元数据同步任务。 Delta Lake（无元数据）只能通过手动添加、导入模板等方式添加元数据库表信息，方法请参见查看元数据。 前提条件 已创建Delta
单击列表右上角的图标，弹出导出Bucket列表窗口。 勾选需要导出的信息，单击“确定”，导出所有Bucket资源清单。 导出阿里云RDS MySQL实例 登录阿里云RDS控制台。 在左侧导航栏选择“实例列表”，进入实例列表页面。在页面上方选择地域。 通过数据库类型列过滤出所有MySQL类型的实例，单击列表右上角的图标。
单击列表右上角的图标，弹出导出Bucket列表窗口。 勾选需要导出的信息，单击“确定”，导出所有Bucket资源清单。 导出阿里云RDS MySQL实例 登录阿里云RDS控制台。 在左侧导航栏选择“实例列表”，进入实例列表页面。在页面上方选择地域。 通过数据库类型列过滤出所有MySQL类型的实例，单击列表右上角的图标。
port,password username：该字段表示登录源端主机时所使用的用户名。为了确保脚本具有足够的权限执行修改操作，通常应使用具有管理员权限的用户名，如root。 ip：该字段表示源端主机的内网IP地址。 port：该字段表示SSH服务监听的端口号。默认情况下，Linux
onal=true字段的表）。 由于阿里云最近更新了timestamp_ntz字段类型，目前该字段类型尚未被阿里云SDK所兼容支持，这一兼容性问题导致SDK无法识别并读取该字段，从而使该字段所在的表元数据迁移失败。 注意事项 CSV模板文件编辑 当使用MgC提供的CSV模板文件进
MgC主机工作流资源与SMS迁移服务器列表之间的映射关系 MgC主机资源列表与SMS迁移服务器列表之间的映射关系，如下图所示。 列表字段映射关系参见下表： MgC主机资源列表 SMS迁移服务器列表 字段类型 主机名 服务器名称 源端主机的hostname IP地址 源端IP 源端主机的IP
password username：该字段表示登录源端主机时所使用的用户名。为了确保脚本具有足够的权限执行修改操作，通常应使用具有管理员权限的用户名，如Administrator。 ip：该字段表示源端主机的内网IP地址。 port：该字段表示WinRM服务监听的端口号（默认是5985）。
MongoDB采集器（app-discovery-mongodb） MySQL-generallog采集器（app-discovery-mysql-generallog） MySQL-jdbc采集器（app-discovery-mysql-jdbc） Nginx配置文件采集器（app-discovery-nginx）
权限要求：需要使用具有最高权限的账号进行数据库采集，以确保能够访问所有必要的数据。对于不同的数据库系统，应使用以下账号： MySQL：使用root账号。 PostgreSQL：使用postgres账号。 MongoDB： 使用admin权限账号。 Oracle：使用system权限账号。
oss:DescribeMetricData List 数据库 RDS rds:DescribeDBInstances Read rds:DescribeDBInstanceAttribute Read MongoDB rds:DescribeDBInstances Read rds:DescribeDBInstanceAttribute
在源端内网环境中安装Edge工具并完成注册。 在资源采集页面的资源列表，单击主机或主机的资源数量，进入资源列表页面的主机页签。 勾选待迁移的主机，单击列表上方的关联到应用按钮，弹出关联到应用窗口。 已提前创建应用，在下拉列表中选择要关联的应用，单击“确定”。 未提前创建应用，单击“新建
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
