检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL队列连接,数据迁移需要使用DLI 通用队列连接。配置错误的队列连接类型会导致迁移任务失败,因此在配置任务时,必须仔细检查并确保任务类型与队列类型相匹配。 元数据迁移与库的数量 在进行元数据迁移时,MgC会根据识别到的源端数据库的数量,在DLI中自动创建相应的库。如果是整库迁移,通常只会创
校验概述。 注意事项 创建的源端统计任务和目的端统计任务的统计方式必须保持一致。 HBase安全集群任务与非安全集群任务不能同时执行。HBase安全集群需要加载认证信息,非安全集群连接时需要清除安全集群的认证信息,因此不能同时执行。 校验任务不支持跨天执行,执行过程中如果跨0点将
选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格 根据源端规格推荐最合适的华为云对应资源规格。详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。 匹配业务场景 以源端业务场景为基础,结合华为云最佳实践进行资源规格推荐。详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。
选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格 根据源端规格推荐最合适的华为云对应资源规格,适合云上源端规格推荐。 匹配业务场景 以源端业务场景为基础,结合华为云最佳实践进行资源规格推荐。 跨可用区迁移 仅适用于华为云
各地域Endpoint信息请参考Endpoint对照表。 表11 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 迁移工具
maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true:
表2 阿里云云数据库ClickHouse连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“阿里云云数据库ClickHouse-4位随机数(字母和数字)”,也可以自定义名称。 ClickHouse凭证 选择在Edge添加的源端阿里云云数据库ClickH
选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格 根据源端规格推荐最合适的华为云对应资源规格,适合云上源端规格推荐。 匹配业务场景 以源端业务场景为基础,结合华为云最佳实践进行资源规格推荐。 跨可用区迁移 仅适用于华为云
全部 权限管理 创建用户并授权使用MgC 上云成本分析 通过输入源端云平台凭证,可以自动完成源端云厂商消费账单分析,根据源端产品规格及用量自动匹配华为云上的产品及用量,并对比源端云厂商使用费用和华为云使用费用,为您云间迁移提供参考。 支持区域: 全部 创建分析任务 资源发现与采集 支
"dli:database:explain", "dli:table:insertIntoTable", "dli:database:createDatabase",
源端私有IP网段的VPC;在保持IP不变-子网的下拉列表中,选择包含源端私有IP的子网。选择后,系统会对所选的子网与源端私有IP进行匹配,只有匹配成功,才能继续完成工作流的创建。 工作流配置完成后,单击“下一步:确认并创建”按钮,进入确认并创建页面。 确认配置信息无误后,单击“确
选择在华为云购买资源的区域。推荐您选择靠近目标用户的区域,可以减少网络时延,提高访问速度。 推荐策略 匹配源端规格 根据源端规格推荐最合适的华为云对应资源规格。 详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。 匹配业务场景 以源端业务场景为基础,结合华为云最佳实践进行资源规格推荐。 详细的推荐逻辑说明参见主机评估策略推荐逻辑说明。
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
了解更多常见问题、案例和解决方案 热门案例 TCO对比支持哪些云厂商? TCO对比价格计算说明 安装Edge的主机有哪些要求? 如何查看评估失败原因? 主机评估失败,没有匹配合适的规格,如何处理? 评估镜像失败,该规格不支持Windows镜像,如何处理? 为什么不能手动选择主机规格和磁盘类型? 更多 远程登录 应用容器化改造介绍
部分表迁移失败,报错:CRC Check failed 问题描述 进行大数据数据迁移时,部分表迁移失败,报错:CRC Check failed 解决方法 通过修改DLI作业中迁移sql,将源端timestamp字段类型转成String类型,进行数据迁移。 父主题: 大数据数据迁移
全部配置”,搜索“https_port”参数获取。 创建阿里云云数据库 ClickHouse统计任务并执行,方法请参考创建统计任务并执行校验。需要注意任务配置中的表组,选择步骤16.创建的表组。 任务类型请选择大数据组件中的“阿里云云数据库 ClickHouse”。 统计方式仅支持“全量校验”。
创建目的端连接 创建目的端连接是为了将源端数据写入到华为云DLI。 使用须知 元数据迁移:只需要配置一条连接到DLI SQL队列的连接。 数据迁移:需要配置两条连接,分别为连接到DLI SQL队列的连接和连接到DLI通用队列的连接。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。
xxx 无论是全量迁移还是列表迁移,源端文件存储服务地址+路径的组合或源端文件存储服务地址+列表路径的组合都必须是唯一的不能重复,都遵循前缀匹配规则。 例如,已有组合是地址192.168.0.1:/a和路径/abc/a,那么添加或修改另一个地址为192.168.0.1:/a和路径/
Doris连接 HBase连接 ClickHouse连接 Hudi(有元数据)连接 Hudi(无元数据)连接 MaxCompute连接 阿里云云数据库ClickHouse连接 您还可以通过手动添加、导入模板等方式添加元数据库表信息,方法请参见查看元数据。 前提条件 已创建元数据连接。 操作步骤
GetInstanceList调试,并根据返回的错误码定位问题原因,或联系阿里云技术支持人员。 调用阿里云RDS SDK失败。 请检查所用凭证和所选区域是否正确,或检查凭证所属账号是否开通阿里云RDS服务。 调用阿里云RDS schema SDK失败。 请参考阿里云资源管理产品文档进行API Descri