检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"obs:bucket:DeleteDirectColdAccessConfiguration", "obs:object:AbortMultipartUpload", "obs:bucket:PutBucketLogging",
旧CDM集群是2.6.0版本,新集群是2.8.6.1版本,导入作业报错如下图所示。 原因分析 初步怀疑是新老集群部分参数修改不兼容导致的,通过查看老集群导出的作业json文件,包含throttlingConfig.concurrentSubJobs参数(并发子作业数,新集群已取消这个配置项)。
式”时,该参数值无效。 UTF-8 压缩格式 选择对应压缩格式的源文件: 无:表示传输所有格式的文件。 GZIP:表示只传输GZIP格式的文件。 ZIP:表示只传输ZIP格式的文件。 TAR.GZ:表示只传输TAR.GZ格式的文件。 无 压缩文件后缀 压缩格式非无时,显示该参数。
es页签,可以看到每条SQL的执行进度。 CDM在作业BOOTING阶段无法查看日志,如果找不到Yarn任务,请联系CDM运维查看后台日志,获取Application ID。日志形如: 联系CDM运维查看后台日志。 父主题: 故障处理类
取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mongodb_link 服务节点 一个或者多个节点的地址,以“;”分隔。建议同时配置多个节点。 192.168.0.1;192.168.0.2 端口 连接的Cassandra节点的端口号。 9042
单击“保存并运行”,回到作业管理的表/文件迁移界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。 前往目的端数据源查看数据迁移的入库时间。 父主题: 进阶实践
单击“保存并运行”,回到作业管理的表/文件迁移界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。 前往目的端数据源查看数据迁移的入库时间。 父主题: 关键操作指导
压缩格式,当文件格式为“CSV_FILE”或“JSON”时此参数有效。选择对应压缩格式的源文件: NONE:表示传输所有格式的文件。 GZIP:表示只传输GZIP格式的文件。 ZIP:表示只传输ZIP格式的文件。 fromJobConfig.jsonReferenceNode 否 String 记录节点,当文
域和规格,如果非相同区域和规格,则无法使用套餐包。CDM集群规格和区域可以通过进入CDM主界面,进入“集群管理”,单击集群列表中的集群名称查看。 如果套餐包和实际的CDM集群具有相同区域和规格,则以下情况也会产生按需费用: 如果您先购买按需计费增量包,再购买套餐包,则在购买套餐包
对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。例如:表名配置为user_[0-9]{1,2},会匹配 user_0 到
压缩格式,当文件格式为“CSV_FILE”或“JSON”时此参数有效。选择对应压缩格式的源文件: NONE:表示传输所有格式的文件。 GZIP:表示只传输GZIP格式的文件。 ZIP:表示只传输ZIP格式的文件。 fromJobConfig.splitType 否 枚举 指定任务分片方式,选择按文件或文件大小进行分割。
参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 cloudtable_link ZK链接地址 可通过CloudTable服务的集群管理界面获取该参数值。 cloudtable-cdm-zk1.cloudtable.com:2181
集群管理 查询集群详情 删除集群 查询所有可用区 查询支持的版本 查询版本规格 查询规格详情 查询所有集群的企业项目ID 查询集群的企业项目ID 查询集群实例信息 修改集群 重启集群 启动集群 停止集群(待下线) 创建集群 查询集群列表 父主题: API
anonymous.user ip=189.xxx.xxx.75 op=show obj=version objId=x 正则表达式为: ^(\d.*\d) (\w*) \[(.*)\] user=(\w.*) ip=(\w.*) op=(\w
anonymous.user ip=189.xxx.xxx.75 op=show obj=version objId=x 正则表达式为: ^(\d.*\d) (\w*) \[(.*)\] user=(\w.*) ip=(\w.*) op=(\w
20次/min 查询支持的版本 查询并显示支持的集群版本。 20次/min 查询版本规格 查询并显示集群版本规格。 20次/min 查询规格详情 查询并显示集群规格详情。 20次/min 查询所有集群的企业项目ID 查询并显示所有集群的企业项目ID。 20次/min 查询集群的企业项目ID
linkConfig.zookeeperQuorum 是 String 连接“CloudTable”时必选,表示CloudTable的ZooKeeper链接地址。 linkConfig.iamAuth 是 Boolean 当选择IAM统一身份认证时,需要输入用户名、AK和SK。 linkConfig
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。
IAM项目(Project)/企业项目(Enterprise Project):自定义策略的授权范围,包括IAM项目与企业项目。授权范围如果同时支持IAM项目和企业项目,表示此授权项对应的自定义策略,可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目,不支持企业项目,表示仅能
OBS上存储脏数据的目录,只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录,查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据,针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。