-
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? - 数据治理中心 DataArts Studio
如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? CDM服务暂不支持该操作,建议通过手动导出MySQL的数据文件,然后在服务器上开启SFTP服务,然后新建CDM作业,源端是SFTP协议,目的端是OBS,将文件传过去。 父主题: 数据集成
-
创建DWS数据连接时报错提示:The account has been locaked? - 数据治理中心 DataArts Studio
创建DWS数据连接时报错提示:The account has been locaked? 连接DWS集群输入密码错误的次数达到集群参数failed_login_attempts所设置的值(默认10)时,账户将会被自动锁定。解锁方式参考账号被锁住了,如何解锁? 父主题: 数据开发
-
配置HBase/CloudTable目的端参数 - 数据治理中心 DataArts Studio
不自动创建:不自动建表。 不存在时创建:当目的端的数据库没有“表名”参数中指定的表时,CDM会自动创建该表。如果“表名”参数配置的表已存在,则不创建,数据写入到已存在的表中。 说明: Hbase自动建表包含列族与协处理器Coprocessor信息。其他属性按默认值设置,不跟随源端。 不自动创建 Row key拼接分隔符
-
迁移作业原理 - 数据治理中心 DataArts Studio
取决于源端数据源的性能。 如需优化,请参见源端数据源的相关说明文档。 网络带宽 CDM集群与数据源之间可以通过内网、公网VPN、NAT或专线等方式互通。 通过内网互通时,网络带宽是根据不同的CDM实例规格的带宽限制的。 cdm.large实例规格CDM集群网卡的基准/最大带宽为0
-
场景介绍 - 数据治理中心 DataArts Studio
投入,但其在面对客户不断变化的业务诉求时,因为人员投入不足,大数据集群能力不匹配,而无法聚焦业务创新,使得存量100T的数据只有4%的利用率。 在将本地的贸易统计数据迁移到华为云之后,基于华为公有云的大数据分析能力,可帮助H公司屏蔽大数据基础设施复杂的构建、维护过程,使其客户人员
-
连接管理API(待下线) - 数据治理中心 DataArts Studio
连接管理API(待下线) 创建连接(待下线) 查询连接列表(待下线) 查询连接详情(待下线) 修改连接(待下线) 删除连接(待下线) 导出连接(待下线) 导入连接(待下线) 父主题: 数据开发API(V1)
-
数据集成API错误码 - 数据治理中心 DataArts Studio
未指定MongoDB服务的数据库名称,请指定数据库后,再重试。 Cdm.1307 400 必须指定MongoDB服务的字段列表。 未指定MongoDB服务的字段列表。 未指定MongoDB服务的字段列表,请指定字段列表后,再重试。 Cdm.1501 400 不能连接到Elasticsearch服务器,原因:%s。
-
MySQL迁移时报错“JDBC连接超时”怎么办? - 数据治理中心 DataArts Studio
JDBC连接超时。 图1 非索引列 解决方案 优先联系DBA修改表结构,将需要过滤的列配置为索引列,然后重试。 如果由于数据不离散,导致还是失败请参考2~4,通过增大JDBC超时时间解决。 根据作业找到对应的MySQL连接名称,查找连接信息。 图2 连接信息 单击“连接管理”,在“操作”列中,单击“连接”进行编辑。
-
如果HANA集群只有部分节点和CDM集群网络互通,应该如何配置连接? - 数据治理中心 DataArts Studio
该如何配置连接? 如果HANA集群只有部分节点和CDM网络互通,为确保CDM正常连接HANA集群,则需要进行如下配置: 关闭HANA集群的Statement Routing开关。但须注意,关闭Statement Routing,会增加配置节点的压力。 新建HANA连接时,在高级属
-
批量更新数据开发连接细粒度认证状态 - 数据治理中心 DataArts Studio
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 OK 400 Bad Request 父主题: 权限应用接口
-
测试数据开发连接细粒度连通性 - 数据治理中心 DataArts Studio
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 204 No content 400 Bad Request
-
支持的监控指标 - 数据治理中心 DataArts Studio
支持的监控指标 功能说明 云监控服务(Cloud Eye)可以监控和查看云服务的运行状态、各个指标的使用情况,并对监控项创建告警规则。 当您创建了CDM集群后,云监控服务会自动关联CDM的监控指标,帮助您实时掌握CDM集群的各项性能指标,精确掌握CDM集群的运行情况。 本章节描述
-
Hive SQL和Spark SQL脚本执行失败,界面只显示执行失败,没有显示具体的错误原因? - 数据治理中心 DataArts Studio
没有显示具体的错误原因? 请确认当前Hive SQL和Spark SQL脚本使用的数据连接为“MRS API连接”还是“通过代理连接”。 “MRS API连接”模式下DataArts Studio通过API把脚本提交给MRS,然后查询是否执行完成;而MRS不会将具体的错误原因反馈到DataArts
-
Rest Client - 数据治理中心 DataArts Studio
挂起当前作业执行计划:当前作业实例的状态为运行异常,该节点的后续节点以及依赖于当前作业的后续作业实例都会处于等待运行状态。 是否空跑 否 如果勾选了空跑,该节点不会实际执行,将直接返回成功。 任务组 否 选择任务组。任务组配置好后,可以更细粒度的进行当前任务组中的作业节点的并发数控制,比如作业中包含多个节点、补数据、重跑等场景。
-
解绑/绑定集群的EIP - 数据治理中心 DataArts Studio
登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 对相应需要操作的集群可以进行绑定EIP或解绑EIP的操作。 绑定EIP:单击集群操作列中的“绑定弹性IP”,进入EIP选择界面。
-
查询数据开发细粒度连接列表 - 数据治理中心 DataArts Studio
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 OK 400 Bad Request 父主题: 权限应用接口
-
MRS HDFS数据迁移到OBS - 数据治理中心 DataArts Studio
Manager的IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 用户名:选择KERBEROS鉴权时,需要配置MRS Manager的用户名和密码。 从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 密码:访问MRS
-
数据服务操作列表 - 数据治理中心 DataArts Studio
数据服务操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建API DLMApi createApi
-
常见错误码参考 - 数据治理中心 DataArts Studio
0025 写入数据的长度超出表字段定义的长度,请参考数据库返回的错误消息: %s 请根据错误提示修改写入数据的长度,再重试。 Cdm.0026 主键重复,请参考数据库返回的错误消息: %s 请根据错误提示检查数据,解决主键冲突。 Cdm.0027 写入字符串的编码可能与表定义的编码不一致,请参考数据库返回的错误消息:
-
配置分库源端参数 - 数据治理中心 DataArts Studio
DAY)}' 选择源连接名称为分库连接对应的后端连接时,此作业即为普通的MySQL作业。 新建源端为分库连接的作业时,在字段映射阶段,可以在源字段新增样值为“${custom(host)}”样式的自定义字段,用于在多个数据库中的多张表迁移到同一张表后,查看表的数据来源。支持的样值包括: ${custom(host)}