检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。 前提条件 已创建集群。 已参见表1下载对应的驱动。 已参见FTP/SFTP连接参数说明创建SFTP连接并将对应的驱动上传至线下文件服务器(可选)。 如何获取驱动 不同类型的关系数据库,需要适配不同类型的驱动
x版本的集群。 如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过
x版本的集群。 如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件: DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过
HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在
MRS Kafka 仅支持导出数据到云搜索服务。 参见配置Kafka/DMS Kafka源端参数。 云搜索服务 Elasticsearch 支持从云搜索服务或Elasticsearch导出数据。 参见配置Elasticsearch/云搜索服务源端参数。 MRS Hudi 支持从MRS
计算作业依赖CDM的迁移作业时,需要一个RestAPI节点去周期判断迁移是否成功,如果CDM迁移成功,再去做计算操作。查询CDM迁移是否成功的API,具体请参见《云数据迁移API参考》中“查询作业状态”章节。 运行CDM作业的REST节点配置完成后,添加等待CDM作业完成节点,节点属性为:
否 String 需要抽取的字段列表,字段名之间使用“&”分割,例如:“id&gid&name”。 toJobConfig.encryption 否 枚举 选择是否对上传的数据进行加密,以及加密方式: NONE:不加密,直接写入数据。 KMS:使用数据加密服务中的KMS进行加密。
不同类型的关系数据库,需要适配不同的驱动。 - 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批
储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability
} ] } 参数说明 Redis源端作业参数说明 参数 是否必选 类型 说明 fromJobConfig.isBatchMigration 否 Boolean 是否为整库迁移。 fromJobConfig.keyPrefix 是 String key前缀,对应关系表的表名。
时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 table 是否压缩 导入数据到DWS且选择自动创表时,用户可以指定是否压缩存储。 否 存储模式 导入数据到DWS且选择自动创表时,用户可以指定存储模式: 行模式:表的数据将以行式存
创建CDM集群。 5次/min 查询集群列表 查询并显示集群列表。 120次/min 查询集群详情 查询集群详情。 120次/min 重启集群 重启CDM集群。 20次/min 删除集群 删除指定CDM集群。 20次/min 停止集群 将指定CDM集群关机。 20次/min 查询所有可用区
访问CloudTable服务的用户名。 linkConfig.ak 否 String 访问CloudTable服务的AK。 linkConfig.sk 否 String 访问CloudTable服务的SK。 linkConfig.projectId 否 String CloudTable服务的项目ID。
HD和Apache Hadoop数据源在用户本地数据中心部署时,由于读写Hadoop文件需要访问集群的所有节点,需要为每个节点都放通网络访问。 推荐使用云专线服务,解决网络访问的同时,还可以提升迁移速度。 数据仓库服务(DWS)数据源约束 DWS主键或表只有一个字段时,要求字段类型必须是如下常
取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。例如:
"hbase-connector" } ] } 连接参数 参数 是否必选 类型 说明 linkConfig.hbaseType 是 枚举 HBase类型: CloudTable:表示连接CloudTable服务。 MRS:表示连接MRS。 FusionInsight HD:表示连接FusionInsight
单击“保存”,CDM会自动测试连接是否可用。 如果可用则提示保存成功,系统自动跳转到连接管理界面。 如果测试不可用,需要重新检查连接参数是否配置正确,或者H公司防火墙是否允许CDM集群的EIP访问数据源。 单击“新建连接”来创建OBS连接,连接类型选择“对象存储服务(OBS)”后单击“下一步”,配置OBS连接参数,如图3所示。
必须指定MongoDB服务列表。 未指定MongoDB服务列表。 未指定MongoDB服务列表,请指定后,再重试。 Cdm.1306 400 必须指定MongoDB服务的数据库名称。 未指定MongoDB服务的数据库名称。 未指定MongoDB服务的数据库名称,请指定数据库后,再重试。 Cdm
结构一致,数据内容不同。目的端为MRS Hive服务。 操作前提 已创建CDM集群。 已经开通了MRS Hive服务。 已经在MRS Hive服务中创建了数据库和表。 创建连接 登录DataArts Studio控制台,找到所需要的DataArts Studio实例,单击实例卡片上的“进入控制台”,进入概览页面。
单击“下载客户端”。“客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”或“远端主机”,自定义文件保存路径后,单击“确定”开始生成客户端配置文件。 将生成的配置文件,保存到本地路径。 具体可参见MapReduce服务文档。 针对MRS 3.x版本集群: 登录FusionInsight