检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。Endpoint您可以从终端节点及区域说明获取。 iam_endpoint CDM的Endpoint 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。
MySQL数据迁移到DWS MySQL整库迁移到RDS服务 Oracle数据迁移到云搜索服务 Oracle数据迁移到DWS OBS数据迁移到云搜索服务 OBS数据迁移到DLI服务 MRS HDFS数据迁移到OBS Elasticsearch整库迁移到云搜索服务
sls_link 日志服务endPoint 访问一个项目(Project)及其内部日志数据的URL。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint可从终端节点Endpoint获取。 - 项目 目标日志服务的项目名称,是日志服务中的资源管理单元,用于隔离和控制资源。
REBOOT_FAILURE:重启失败。 type String 节点类型,只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结:0:否。1:是。 components String 组件。 config_status
创建CDM集群,用于执行MySQL数据同步到DWS的任务。 当CDM集群与其他云服务所在的区域、VPC、子网、安全组一致时,可保证CDM集群与其他云服务内网互通,无需专门打通网络。 当CDM集群与其他云服务所在的区域和VPC一致、但子网或安全组不一致时,需配置路由规则及安全组规则以打
储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability
访问CloudTable服务的用户名。 linkConfig.ak 否 String 访问CloudTable服务的AK。 linkConfig.sk 否 String 访问CloudTable服务的SK。 linkConfig.projectId 否 String CloudTable服务的项目ID。
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
于不再需要的属性,可单击属性后的“删除”按钮进行删除。 Apache Kafka Apache Kafka连接适用于用户在本地数据中心或ECS上自建的第三方Kafka,其中本地数据中心的Kafka需通过专线连接。 连接Apache Hadoop上的Kafka数据源时,相关参数如表2所示。
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 500 表3 响应Body参数 参数 参数类型
执行Postgresql-to-Hive迁移作业报错“Error occurs during loader run” 问题描述 用户使用CDM服务,从源端pg迁移数据到目的端hive界面报错提示“Error occurs during loader run”。 故障分析 排查客户CDM昨天日志报错发现报错:
HDFS连接参数说明 目前CDM支持连接的HDFS数据源有以下几种: MRS HDFS FusionInsight HDFS Apache HDFS 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS HDFS 连
HBase连接参数说明 目前CDM支持连接的HBase数据源有以下几种: MRS HBase FusionInsight HBase Apache HBase 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 MRS HBase
Studio服务进入数据集成界面可以看到。 选择集群操作列中的“更多 > 重启”,进入重启集群确认界面。 图2 重启集群 您可以选择重启CDM服务进程或重启集群VM,选择完成并单击确认后即可完成集群重启操作。 重启CDM服务进程:只重启CDM服务的进程,不会重启集群虚拟机。 重启集
跨越多个交换机设备。 CDM通过DES(数据快递服务)迁移1个月前的历史数据,迁移路径如下: CDH → DES → CDM(华为云) → OBS → CDM(华为云) → MRS DES适用场景:数据量大,用户私有云与华为云无专线打通,用户私有云网络到公网带宽有限。 优点:传
CloudTable连接 介绍 通过CloudTable连接,可以对CloudTable服务抽取、加载数据。 连接样例 本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 {
配置DDS目的端参数 作业中目的连接为DDS连接时,即导入数据到文档数据库服务(DDS)时,目的端作业参数如表1所示。 表1 DDS作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 选择待导入数据的数据库。 ddsdb 集合名称 选择待导入数据的集合,相当于关系数据库的
描述 200 OK。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误,具体返回错误码请参考错误码。 503 服务不可用。 错误码 请参见错误码。 父主题: 集群管理
uris配置项。例如:thrift://host-192-168-1-212:9083 linkConfig.obsSupport 是 Boolean 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 linkConfig.runMode 是 枚举 “HIVE_3_X”版本支持该参数。支持以下模式:
Studio服务时系统赠送的CDM集群,非常不建议您进行删除操作。该集群删除后无法再次赠送,只能另外购买。 删除集群后,CDM集群不再按需计费或扣除套餐时长。如果您为删除的CDM集群购买了CDM折扣套餐或包年包月形式的DataArts Studio数据集成增量包,则请参考云服务退订章节进行套餐包退订。