检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Length Required 服务器无法处理客户端发送的不带Content-Length的请求信息。 412 Precondition Failed 未满足前提条件,服务器未满足请求者在请求中设置的其中一个前提条件。 413 Request Entity Too Large 由于
DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 分区 用于抽取分区的信息。 ['year=2020'] ['year=2020,location=sun'] ['year=2020,location=sun'
"obs:object:DeleteAccessLabel", "obs:bucket:PutBucketCustomDomainConfiguration", "obs:bucket:GetLifecycleConfiguration"
可能出现这个问题,详细分析可以参考帖子:https://blog.csdn.net/SongYang_Oracle/article/details/6432182。 解决方案 三种解决办法: 调小每次查询的数据量。 调大Oracle数据的RBS,需要修改数据库配置。 减少频繁的c
table操作步骤中,默认5分钟超时。 解决方案 查看Yarn任务,搜索Spark JDBC Server的Yarn任务,找到自己队列下Running Container大于1的任务,查看ApplicationMaster,单击SQL页签,可以看到正在执行的SQL,单击Stages页签,可以看到每条SQL的执行进度。
DES盒子在客户的虚拟机挂载的地址。 //虚拟机IP/huawei 存储管理系统 DES盒子的存储管理系统,与管理IP相关。 https://管理IP:8088/deviceManager/devicemanager/login/login.html 用户名 登录存储管理系统的用户名。 admin 密码 登录密码。
B集群,成功写入部分后报错: org.postgresql.util.PSQLException: Database connection failed when ending copy…….caused by: java.net.SocketTimeoutExcepetion:Read
制格式存储的,CDM会无法解析。 从HBase/CloudTable导出数据时,由于HBase/CloudTable是无Schema的存储系统,CDM要求源端数值型字段是以字符串格式存储,而不能是二进制格式,例如数值100需存储格式是字符串“100”,不能是二进制“01100100”。
Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 2019-07-30 00:00:00 创建快照 如果选择“是”,CDM读取HDFS系统上的文件时,会先对待迁移的源目录创建快照(不
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 TBL_E 读取方式 包括HDFS和
连接H公司本地的Apache Hadoop HDFS文件系统时,连接类型选择“Apache HDFS”,然后单击“下一步”。 图2 创建HDFS连接 名称:用户自定义连接名称,例如“hdfs_link”。 URI:配置为H公司HDFS文件系统的Namenode URI地址。 认证类型:安全
对象存储的类型。 linkConfig.obsBucketType 否 String OBS桶类型。 对象桶:OB。 并行文件系统:PFS。 说明: 桶类型分为对象桶和并行文件系统,对象桶过滤文件会比较慢,建议客户使用并行文件桶。 linkConfig.server 是 String OBS服务器的终端节点(Endpoint)。
详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 TBL_E 高级属性 Where子句
表达式:StringUtils.contains(value,"a") 如果字符串中包含指定字符串的任一字符,则返回布尔值true,否则返回false。例如“zzabyycdxx”中包含“z”或“a”任意一个,则返回true。 表达式:StringUtils.containsAny(value,"za")
本章节为您介绍对用户授权的方法,操作流程如图1所示。 前提条件 给用户组授权之前,请您了解用户组可以添加的CDM权限,并结合实际需求进行选择。CDM支持的系统权限,请参见CDM系统权限。若您需要对除CDM之外的其它服务授权,请参见权限策略,了解IAM支持服务的所有权限。 示例流程 图1 IAM用户授权流程 创建用户组并授权
HDFS连接报错get filesystem怎么解决? Mysql导入数据到DLI,快执行完时失败了提示Invoke DLI service api failed错误怎么解决? 作业配置添加字段,MongoDB字段映射存在问题 DLI外表(OBS文件)迁移DWS某字段转义,带有“\” 执行Po
BINARY_FILE:二进制格式,不解析文件内容直接传输,CDM会原样写入文件,不改变原始文件格式。 当选择“BINARY_FILE”时,源端也必须为文件系统。 toJobConfig.lineSeparator 否 String 行分割符号,当“toJobConfig.outputFormat
验CDM抽取的文件,是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制(“文件格式”为“二进制格式”时生效),配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件,例如build.sh和build.sh.md5在同一目录下
验CDM抽取的文件,是否与源文件一致。 该功能由源端作业参数“MD5文件名后缀”控制(“文件格式”为“二进制格式”时生效),配置为源端文件系统中的MD5文件名后缀。 当源端数据文件同一目录下有对应后缀的保存md5值的文件,例如build.sh和build.sh.md5在同一目录下
table create table drop table into outfile 如果SQL语句过长,会导致请求过长下发失败,继续创建作业系统会报错“错误请求”,此时您需要简化或清空SQL语句,再次尝试继续创建作业。 select id,name from sqoop.user;