检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
利用创建的Delta Lake元数据连接,将源端数据库的库、表、字段信息同步至迁移中心。仅Delta Lake(有元数据)支持创建数据湖元数据同步任务。 Delta Lake(无元数据)只能通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。 前提条件 已创建Delta
容器资源需要完成深度采集后,才可以进行迁移方案设计。 中间件、数据库、存储等资源可直接进行迁移方案设计。支持对AWS RDS(包括MySQL、MariaDB、Aurora、PGSQL、SQLServer、Oracle)和AWS DocumentDB数据库进行深度采集,以获取数据库更详细的信息。 对象存储资源可以进行深度采集和迁移方案配置。
容器资源需要先完成深度采集,再进行迁移方案设计。 中间件、数据库、存储等资源可直接进行迁移方案设计。支持对AWS RDS(包括MySQL、MariaDB、Aurora、PGSQL、SQLServer、Oracle)和AWS DocumentDB数据库进行深度采集,以获取数据库更详细的信息。 对象存储资源可以进行深度采集和存储迁移方案配置。
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
oss:DescribeMetricData List 数据库 RDS rds:DescribeDBInstances Read rds:DescribeDBInstanceAttribute Read MongoDB rds:DescribeDBInstances Read rds:DescribeDBInstanceAttribute
表2 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 ClickHouse凭证 选择在Edge添加的源端阿里云云数据库ClickH
将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName) 目标组件类型(TargetComponentType) 上游数据库(SourceDataset) 上游表(SourceTable)
将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName) 目标组件类型(TargetComponentType) 上游数据库(SourceDataset) 上游表(SourceTable)
OracleDatabases字段信息说明表 采集字段 字段描述 databaseName 数据库名 databaseSize 数据库存储数据大小 表4 OracleInstances字段信息说明表 采集字段 字段中文 instanceName 数据库实例名 archive 是否开启归档
信息。 各地域Endpoint信息请参考Endpoint对照表。 表2 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 迁移中心Agent
添加阶段/步骤 您可以在工作流标准模板的迁移阶段/步骤,添加卡点,对迁移阶段/步骤进行控制。 只有迁移阶段/步骤状态为等待中/暂停,才可以选择该阶段/步骤进行添加。迁移阶段/步骤处于运行中/完成状态时,无法添加。 如果上一阶段/步骤处于运行中/暂停/完成状态,该阶段/步骤只能选择添加后置阶段/步骤。
添加阶段/步骤 您可以在工作流标准模板的迁移阶段/步骤,添加卡点,对迁移阶段/步骤进行控制。 只有迁移阶段/步骤状态为等待中/暂停,才可以选择该阶段/步骤进行添加。迁移阶段/步骤处于运行中/完成状态时,无法添加。 如果上一阶段/步骤处于运行中/暂停/完成状态,该阶段/步骤只能选择添加后置阶段/步骤。
数据更新时间存在偏差,按更新时间过滤分区时可能遗漏分区,慎重选择该选项! 高级选项 单SQL字段上限:每条SQL查询的表的字段上限。单SQL查询的字段数越多,执行时间越长, 如果设置的字段数上限过少,则可能形成更多SQL,影响获取校验结果的效率。默认是0,即无上限,取值范围100~500。
数据更新时间存在偏差,按更新时间过滤分区时可能遗漏分区,慎重选择该选项! 高级选项 单SQL字段上限:每条SQL查询的表的字段上限。单SQL查询的字段数越多,执行时间越长, 如果设置的字段数上限过少,则可能形成更多SQL,影响获取校验结果的效率。默认是0,即无上限,取值范围100~500。
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验,校验任务执行成功,查看校验结果,发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中,如
Agent,使用网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合MgC Agent ID的方式来标识内网中的主机资源。这意味着,一旦完成一次
权限要求:需要使用具有最高权限的账号进行数据库采集,以确保能够访问所有必要的数据。对于不同的数据库系统,应使用以下账号: MySQL:使用root账号。 PostgreSQL:使用postgres账号。 MongoDB: 使用admin权限账号。 Oracle:使用system权限账号。
Agent,使用网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合MgC Agent ID的方式来标识内网中的主机资源。这意味着,一旦完成一次
在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机资源。这意味着,一旦完成一次资源
在源端内网环境中部署Edge工具,通过网段扫描或VMware扫描的方式,发现和采集源端主机资源。 使用须知 目前支持采集的VMware版本包括:VMware 5.0~7.0 VMware扫描和网段扫描两种方法都采用私有IP结合Edge ID的方式来标识内网中的主机资源。这意味着,一旦完成一次资源