检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
待删除集群中所需的连接和作业数据已通过批量管理CDM作业中的导出作业功能进行备份。 对于购买DataArts Studio服务时系统赠送的CDM集群,非常不建议您进行删除操作。该集群删除后无法再次赠送,只能另外购买。 删除集群后,CDM集群不再按需计费或扣除套餐时长。如果您为删除的CDM集
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
CDM集群对应的ECS主机(通过集群IP查找对应的ECS主机)中的“/etc/hosts”文件,为其添加Broker连接地址的自映射,以便客户端能够快速解析实例的Broker。例如Kafka Broker地址配置为10.154.48.120时,hosts文件中的自映射配置为: 10
不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 不自动创表 导入前清空数据 选择目的端表中数据的处理方式: 是:任务启动前会清除目标表中数据。 否:导入前不清空目标表中的数据,如果选“否
单击“保存并运行”,回到作业管理的表/文件迁移界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。 在历史记录界面单击“日志”,可查看作业的日志信息。 前往目的端数据源查看数据迁移的入库时间。 父主题:
DLI连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dli_link 访问标识(AK) 访问DLI数据库时鉴权所需的AK和SK。 您需要先创建当前账号的访问密钥,并获得对应的AK和SK。 登录控制台,在用户名下拉列表中选择“我的凭证”。
标识文件名 选择开启作业标识文件的功能时,需要指定启动作业的标识文件名。指定文件后,只有在源端路径下存在该文件的情况下才会运行任务。该文件本身不会被迁移。 ok.txt 等待时间 选择开启作业标识文件的功能时,如果源路径下不存在启动作业的标识文件,作业挂机等待的时长,当超时后任务会失败。
使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token
该参数设置为“true”时,上传到OBS的对象使用的对象名,为去掉query参数后的字符。 该参数设置为“false”时,上传到OBS的对象使用的对象名,包含query参数。 fromJobConfig.md5FileSuffix 否 String 校验CDM抽取的文件,是否与源文件一致。 父主题:
large规格,8核CPU、16G内存的虚拟机。适合单张表规模≥1000万条的场景。 6ddb1072-c5d7-40e0-a874-8a032e81a698:表示cdm.xlarge规格,16核CPU、32G内存的虚拟机。需要10GE高速带宽进行TB以上的数据量迁移时使用。 type 是
0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。 如果CDM集群为2.9.0之前的版本,或MRS集群为3.1.0之前的版本,则所创建的用户需要具备Manager_adm
据自身的业务需求使用CDM提供的一系列常用实践。 表1 常用最佳实践 实践 描述 使用教程 创建MRS Hive连接器 MRS Hive连接适用于MapReduce服务,本最佳实践为您介绍如何创建MRS Hive连接器。 MySQL数据迁移到OBS CDM支持表到OBS的迁移,本
包,可以跳过这部分内容。 如果您需要再创建新的CDM集群,请参考购买批量数据迁移增量包章节,完成购买数据集成增量包的操作。 集群规格选择“cdm.xlarge”。 集群所属的VPC与MRS所属的VPC一致,同时也要与云专线连通的VPC的一致。 其它参数可以自定义,或者保持默认。 创建CDH
查看CDM监控指标 操作场景 您通过云监控服务可以对CDM集群的运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间,因此,监控显示的是当前时间5~10分钟前的状态。如果您的CDM集群刚创建完成,请等待5~10分钟后查看监控数据。
标签键(key)的最大长度为36个字符,标签值(value)的最大长度为43个字符。 (可选)在标签列表中,单击标签操作列“删除”,删除CDM集群标签。 通过以下两种方式筛选出所配置标签的资源。 在标签管理服务中,选择资源搜索条件,单击“搜索”即可筛选出所配置标签的资源。 在集群列
制其对云资源的访问范围。例如您的员工拥有CDM的使用权限,但是不希望其拥有删除CDM集群等高危操作的权限,那么您可以使用IAM为员工创建IAM用户,通过授予仅能使用CDM服务,但是不允许删除CDM集群的权限策略,实现控制其对CDM的使用范围。 如果云账号已经能满足您的要求,不需要
Kit)是对CDM服务提供的REST API进行的封装,以简化开发者的开发工作。通过调用此SDK包提供的代码样例,即可通过API接口对CDM进行相关操作。 本文介绍了如何在API Explorer通过CDM API在线生成SDK代码,以及如何获取CDM服务的SDK包地址和参考文档。
触发时间(天):选择每月的几号执行作业,该参数值取值范围是“1~31”,可配置多个值但不可重复,中间使用“,”分隔。 有效期:分为开始时间和结束时间。 开始时间:表示定时配置生效的时间。其中的时、分、秒也是每次自动执行的时间。 结束时间:该参数为可选参数,表示停止自动执行定时任务的时间。如果没有配置,则表示一直自动执行。
通过弹性IP地址,登录MRS集群后台。 用户名:admin 密码:创建集群时的密码 执行ip a | grep wsom命令查询MRS集群的浮动ip(wsom标志),如下图所示。 返回创建MRS连接界面,输入查询到的IP,创建连接成功。 创建MRS数据源连接时,认证类型要与MRS集群是否开启KERBEROS保持一致。
String 集群绑定的公网地址。 trafficIp String 集群的内网地址。 trafficIpv6 String 集群的内网IPv6地址。 cluster_id String 集群ID。 表5 flavor 参数 参数类型 描述 id String 节点虚拟机的规格ID。 links