检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI外表及OBS桶存储,及文件到表迁移,可以考虑源端作业配置加上包围符号即可,包围符双引号“,单个双引号。 解决方案 在OBS作业源端参数配置中,配置开启使用包围符号,单个双引号“,开启使用包围符,选择“是”即可。 父主题: 故障处理类
本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token接口来说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
查作业配置,发现目的端配置为导入开始前“不清除”,不清除可能存在多次操作,部分数据重复。 解决方案 目的端配置为导入开始前“清空全部数据”,验证后,源/目的端条数一致。 父主题: 故障处理类
点。 解决方案 用户在迁移时有选择主键,也就是用它来替代 _id。计算出来的shard属同一个。 1. 建议用户不选主键,让es自动生成_id, 这样获的hash值比较分散。 2. 如果用户的应用必须用自有主键替代_id,则只能建议用性能更好的ES集群。 父主题: 故障处理类
Content-Type: application/json X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333 。 AK/SK认证 AK/SK签名
MySQL默认开启配置tinyInt1isBit=true,会将TINYINT(1)当作BIT也就是Types.BOOLEAN来处理,将1或0读取为true或false。 解决方案 在MySQL数据连接高级属性中,连接属性新增如下参数之一即可,这样就可以在目的端正常建表。 “tinyInt1i
如何备份CDM作业? 问题描述 如何备份CDM作业? 解决方案 用户可以先通过CDM的批量导出功能,把所有作业脚本保存到本地,在需要的时候再重新创建集群、重新导入作业,实现作业备份。 父主题: 功能类
如何查看审计日志 概述 云审计服务(Cloud Trace Service,CTS)可以记录CDM相关的操作事件,用于支撑安全分析、合规审计、资源管理和问题定位等常见应用场景。 在您开启了云审计服务后,系统开始记录CDM的相关操作,云审计服务的管理控制台保存最近7天的操作记录。 前提条件
Resources: 队列中最大可供使用的AM资源 通过对比基本就能确定是哪个资源不足导致yarn任务执行异常。 解决方案 扩充队列资源,或者停止其他yarn任务释放资源。 父主题: 故障处理类
concurrentSubJobs", "value":"10" }, 解决方案 将导出的作业json文件中 "name":"throttlingConfig.concurrentSubJobs" 配置项删除后重新导入作业json即可。 父主题: 故障处理类
考虑是数据格式问题,后端进一步分析日志确认。 解决方案 后台排查sqoop日志,考虑源端数据类型格式问题导致异常。 分析源端数据类型,发现数据类型中有脏数据,源端数据类型有问题。 客户CDM界面配置脏数据功能,作业重跑成功,OBS桶排查脏数据类型存在问题,格式不匹配。 父主题: 故障处理类
封装为一个列。 解决方案 使用MongoDB Reader插件读出数据时,combine()支持合并MongoDB document中的多个字段为一个JSON串(多个字段合并成一个json串,当做一个字段到目的端)。 目的端数据库把同步过去数据,通过SQL分解处理。如下图。 这里
ECS搭建FTP已经尝试root 、FTPadmin用户在本地都可以正常登录,安全组21、20端口正常放通,但是在创建FTP的数据连接报服务器内部错误。 解决方案 查询后台日志,报错为连接超时,截图如下,可能是安全组限制导致。安全组全部放通进行验证,连通性测试成功。 针对FTP服务器的防火墙来说,
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
00:00:00")表达式期望将空字符串转换为时间格式,但是没有生效。 解决方案 客户侧的null是null字符串,而非null空值,所以null字符串无法转化,null空值的查询条件是 is null。 父主题: 故障处理类
分区字段。 由于客户作业中设置的并发数是8,程序选择IsDef作为分区字段,但是IsDef的类型是bit,不支持min运算所以会报错。 解决方案 通过修改作业json的方式将作业并发数设置为1即可,参数:"throttlingConfig.numExtractors"。 在作业配置界面,源端参数配置的高级属性中,给
查看日志报PG数据库表字段找不到所致,分析是字段命名使用小驼峰,而PG数据库区分大小写所以无法找到。 解决方案 让客户在连接配置高级属性添加包围符配置,问题解决。 父主题: 故障处理类
回滚时使用的表空间)较小,造成迁移任务没有完成,源库已更新,回滚超时。 建议与总结 调小每次查询的数据量。 通过修改数据库配置调大Oracle的RBS。 父主题: 故障处理类
failed(RDD中缓存超过了executor的内存out of memory) 。 Hudi不支持并发写,会产生commit冲突。 解决方案 在DataArts Studio或者Hue或者spark-beeline上执行drop table将表从metastore中删除,然后作业配置
CDM连接RDS-Mysql ,除root用户外,其他用户都报错,怎么办? 问题描述 CDM连接RDS-Mysql ,除root用户外,其他用户都报错。 解决方案 登录服务器,运行命令进入数据库:mysql -u root –p,然后输入密码。 mysql>use mysql; 授权: 例如想ro