检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
二进制格式:适用于文件迁移场景,不解析数据内容原样传输。 CSV格式:以CSV格式解析源数据。 JSON格式:以JSON格式解析源数据。 二进制格式 字段分隔符 数据格式为“CSV格式”时呈现此参数。默认为逗号,使用Tab键作为分隔符请输入“\t”。 , 记录分隔符 数据格式为“CSV格式”
库。 TBL_E 高级属性 Where子句 填写该参数表示指定抽取的WHERE子句,不指定则抽取整表。如果要迁移的表中没有WHERE子句的字段,则会迁移失败。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts
因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 404 NotFound 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。 405 MethodNotAllowed 请求中带有该资源不支持的方法。 建议直接修改该请求,不要重试该请求。 406 Not
error-details String 错误详情,当“status”为“FAILED”时才有此字段。 error-summary String 错误总结,当“status”为“FAILED”时才有此字段。 表5 counters 参数 参数类型 描述 org.apache.sqoop.submission
连接管理 创建连接 查询连接 删除连接 修改连接 父主题: API
error-details String 错误详情,当“status”为“FAILED”时才有此字段。 error-summary String 错误总结,当“status”为“FAILED”时才有此字段。 表6 counters 参数 参数类型 描述 org.apache.sqoop.submission
https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens 请求消息头 附加请求头字段,如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”,请求鉴权信息等。 需要添加到请求中的公共消息头如表3所示。 表3
键点,客户连接器参数配置,“一次请求行数”配置“3000”,可能会导致某批次查询数据超过1G,故而报错。 解决方案 用户修改连接器参数配置,“一次请求行数”修改为“1000”。 用户使用where条件语句,根据时间定期迁移部分数据。 父主题: 故障处理类
作业管理 查询作业 删除作业 修改作业 随机集群创建作业并执行 停止作业 指定集群创建作业 启动作业 查询作业状态 查询作业执行历史 父主题: API
创建并管理CDM集群 创建CDM集群 解绑/绑定CDM集群的EIP 重启CDM集群 删除CDM集群 下载CDM集群日志 查看并修改CDM集群配置 管理集群标签 管理并查看CDM监控指标
删除集群 查询所有可用区 查询支持的版本 查询版本规格 查询规格详情 查询所有集群的企业项目ID 查询集群的企业项目ID 查询集群实例信息 修改集群 重启集群 启动集群 停止集群(待下线) 创建集群 查询集群列表 父主题: API
使用云数据迁移服务的首要操作就是购买集群,您可以根据需求购买不同规格集群,满足您快速创建集群、绑定集群EIP、重启集群、修改集群消息通知及用户隔离等需求。 创建集群 解绑/绑定集群的EIP 下载集群日志 查看集群基本信息 修改集群配置 查看监控指标 已发布区域:全部 创建连接 CDM有两种迁移方式,支持的数据源有所不同:
HBase/CloudTable作为目的端时的作业参数 参数名 说明 取值样例 表名 写入数据的HBase表名。如果是创建新HBase表,支持从源端复制字段名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合
unbindEip 创建连接 link createLink 修改连接 link modifyLink 测试连接 link verifyLink 删除连接 link deleteLink 创建任务 job createJob 修改任务 job modifyJob 删除任务 job deleteJob
结束时间(<) “偏移量参数”选择为“时间范围”时配置。拉取数据的结束时间,不包含设置时间点的数据。 2020-12-20 20:00:00 字段分隔符 “数据格式”选择为“CSV格式”时配置。默认为空格,使用Tab键作为分隔符请输入“\t”。 , 记录分隔符 “数据格式”选择为“C
√ √ 重启集群 √ √ × × 修改集群配置 √ √ × × 删除集群 √ √ × × 创建连接 √ √ √ × 查询连接 √ √ √ √ 修改连接 √ √ √ × 删除连接 √ √ √ × 创建作业 √ √ √ × 查询作业 √ √ √ √ 修改作业 √ √ √ × 启动作业 √
移时间过长。 数据模型 数据迁移时,对于不同的数据结构,迁移速度也会受到一定影响。例如: 对于表迁移,宽表的迁移速度较慢,字符串类型越多(字段大小)迁移速度越慢。 对于文件而言,总大小相同时,大文件迁移较快,多个小文件迁移较慢。 对于消息而言,消息内容越多,所占带宽越高,每秒事务(TPS)越低。
net/SongYang_Oracle/article/details/6432182。 解决方案 三种解决办法: 调小每次查询的数据量。 调大Oracle数据的RBS,需要修改数据库配置。 减少频繁的commit操作,这个需要调整生产业务逻辑,基本不可能。 父主题: 故障处理类
集群节点类型,只支持“cdm”。 instance 否 String 预留字段,“restartLevel” 为“SERVICE”时,“instance”必填,填空字串。 group 否 String 预留字段,“restartLevel” 为“SERVICE”时,“group”必填,填空字串。
/v1.1/{project_id}/clusters/{cluster_id}/action cdm:cluster:operate √ × 修改集群配置 POST /v1.1/{project_id}/cluster/modify/{cluster_id} cdm:cluster:modify