检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
源端为关系数据库 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
目的端为关系数据库 JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
目的端为OBS JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
目的端为Hive JSON样例 "to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig
源端为Elasticsearch/云搜索服务 JSON样例 "from-config-values": { "configs": [ { "inputs": [
目的端为Elasticsearch/云搜索服务 JSON样例 "to-config-values": { "configs": [ { "inputs": [
源端为DIS JSON样例 "from-config-values": { "configs": [ { "inputs": [ {
源端为HTTP/HTTPS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name":
集群管理 查询集群详情 删除集群 查询所有可用区 查询支持的版本 查询版本规格 查询规格详情 查询所有集群的企业项目ID 查询集群的企业项目ID 查询集群实例信息 修改集群 重启集群 启动集群 停止集群(待下线) 创建集群 查询集群列表 父主题: API
连接管理 创建连接 查询连接 删除连接 修改连接 父主题: API
配置CDM作业目的端参数 配置OBS目的端参数 配置HDFS目的端参数 配置HBase/CloudTable目的端参数 配置Hive目的端参数 配置MySQL/SQL Server/PostgreSQL目的端参数 配置Oracle目的端参数 配置DWS目的端参数 配置DDS目的端参数
关键操作指导 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
功能类 是否支持增量迁移? 是否支持字段转换? Hadoop类型的数据源进行数据迁移时,建议使用的组件版本有哪些? 数据源为Hive时支持哪些数据格式? 是否支持同步作业到其他集群? 是否支持批量创建作业? 是否支持批量调度作业? 如何备份CDM作业? 如何解决HANA集群只有部分节点和CDM集群网络互通?
参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同
从网络读取一个IP与物理地址映射文件,并存放到Map集合,这里的URL是IP与地址映射文件存放地址,例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式:HttpsUtils.downloadMap("url") 将IP与地址映射对象缓存起
效且作业会运行失败。 表1 ClickHouse连接参数 参数名 说明 取值样例 名称 连接名称。 cklink 数据库服务器 配置为要连接的数据库的IP地址或域名。 说明: 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,ae
表1 Hudi连接参数 参数名 说明 取值样例 名称 连接名称。 Hudilink Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 说明: 当前DataArts Studio不支持对
作业中的导出作业功能进行备份。 对于购买DataArts Studio服务时系统赠送的CDM集群,非常不建议您进行删除操作。该集群删除后无法再次赠送,只能另外购买。 删除集群后,CDM集群不再按需计费或扣除套餐时长。如果您为删除的CDM集群购买了CDM折扣套餐或包年包月形式的DataArts
实例类型:用户按实际业务数据量选择实例规格。 cdm.large:大规格,8核CPU、16G内存的虚拟机,最大带宽/基准带宽为3/0.8 Gbps,集群作业并发数上限为16。 cdm.xlarge:超大规格,16核CPU、32G内存的虚拟机,最大带宽/基准带宽为10/4 Gbps,集群作业并发数上限为32,适