检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
schema”。 原因分析 从metastore中删了表,但是文件没有清空,表的目录文件存在导致的,可能建的是外表。 解决方案 将表目录清空,再重新执行作业。 父主题: 故障处理类
封装为一个列。 解决方案 使用MongoDB Reader插件读出数据时,combine()支持合并MongoDB document中的多个字段为一个JSON串(多个字段合并成一个json串,当做一个字段到目的端)。 目的端数据库把同步过去数据,通过SQL分解处理。如下图。 这里
Resources: 队列中最大可供使用的AM资源 通过对比基本就能确定是哪个资源不足导致yarn任务执行异常。 解决方案 扩充队列资源,或者停止其他yarn任务释放资源。 父主题: 故障处理类
如何解决HANA集群只有部分节点和CDM集群网络互通? 问题描述 HANA集群只有部分节点和CDM集群网络互通,怎么办? 解决方案 如果HANA集群只有部分节点和CDM网络互通,为确保CDM正常连接HANA集群,则需要进行如下配置: 关闭HANA集群的Statement Rout
分区字段。 由于客户作业中设置的并发数是8,程序选择IsDef作为分区字段,但是IsDef的类型是bit,不支持min运算所以会报错。 解决方案 通过修改作业json的方式将作业并发数设置为1即可,参数:"throttlingConfig.numExtractors"。 在作业配置界面,源端参数配置的高级属性中,给
怎么解决? 问题描述 新建MRS Hive连接时,提示:CORE_0031:Connect time out. (Cdm.0523) 。 解决方案 新建MRS Hive连接时,提示无法下载配置文件,实际是用户权限不足。建议您新建一个业务用户,给对应的权限后重试即可。 如果要创建MR
检查连接器配置,发现没有打开开关,参数含义是“是否支持OBS存储,如果Hive表数据存储在OBS,需要打开此开关”。 解决方案 修改连接配置,打开Hive连接中的OBS开关,重新输入密码。 父主题: 故障处理类
RDS-Mysql,在date范围小于1000-01-0的情况下,可能导致date数据转换异常。 解决方案 不使用该date数值的写入。 手动补充该date数值。 父主题: 故障处理类
最终映射时候报错,因为这种场景需要使用DLI的SQL队列。 解决方案 联系用户核实,确实选择队列不是SQL队列。并且查询资源得知,账户名下队列没有SQL队列,让用户购买DLI-SQL队列进行迁移同步。 父主题: 故障处理类
failed(RDD中缓存超过了executor的内存out of memory) 。 Hudi不支持并发写,会产生commit冲突。 解决方案 在DataArts Studio或者Hue或者spark-beeline上执行drop table将表从metastore中删除,然后作业配置
通过对比迁移失败的数据记录和成功的距离,怀疑是类型为boolean的字段导致的。 解决方案 将目标端boolean类型字段修改成string 后作业跑成功,因为客户源端boolean类型的字段有空值,从而导致迁移失败。 2.8.6版本CDM集群校验更严格,在处理boolean类型数据的逻辑是:目标端的数据类型是
当同时存在多个不同版本的集群,先在低版本CDM集群创建数据连接或保存作业时后,再进入高版本CDM集群时,会偶现此类故障。 解决方案 需手动清理浏览器缓存,即可避免此类问题。 父主题: 故障处理类
如何调用API 构造请求 认证鉴权 返回结果
规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度。关于如何调整抽取并发数,详情请参考如何调整抽取并发数。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关,并发数上限建议配置为vCPU核数*2,如表1所示。
本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token接口来说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
DM迁移作业。关于离线集成作业的更多介绍,请您参考离线集成作业概述。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 CDM服务基于分布式计算框架,利用并行化处理技术,支持用户稳定高效地对海量数据进行移动,实现不停服数据迁移,快速构建所需的数据架构。
如何查看套餐包的剩余时长? 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题: 通用类
OBS数据迁移到云搜索服务 操作场景 CDM支持在云上各服务之间相互迁移数据,本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中,流程如下: 创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。 已经开通
OBS数据迁移到云搜索服务 操作场景 CDM支持在云上各服务之间相互迁移数据,本章节介绍如何通过CDM将数据从OBS迁移到云搜索服务中,流程如下: 创建CDM集群 创建云搜索服务连接 创建OBS连接 创建迁移作业 前提条件 已获取OBS的访问域名、端口,以及AK、SK。 已经开通