检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
主题设计 主题设计是通过分层架构表达对数据的分类和定义,帮助厘清数据资产,明确业务领域和业务对象的关联关系。 您可以通过以下两种方式进行主题设计: 新建主题并发布 手动新建并发布主题。 导入主题设计信息 如果主题信息比较复杂,建议采用导入方式批量导入主题信息。 您可以下载系统提供的主题设计模板
社区求助 华为云社区是华为云用户的聚集地。这里有来自容器服务的技术牛人,为您解决技术难题。
对象存储迁移服务 OMS 对象存储迁移 他云对象存储数据迁移到华为云 华为云各Region间的数据迁移 与CDM的区别: OMS用于他云到华为云的数据迁移;CDM主要用于OBS数据迁移到数据湖或其他大数据系统,以便对数据进行开发、清洗、治理等。
目的端作业参数说明 目的端为关系数据库 目的端为OBS 目的端为HDFS 目的端为Hive 目的端为HBase/CloudTable 目的端为DDS 目的端为Elasticsearch/云搜索服务 目的端为DLI 目的端为DIS 父主题: 附:公共数据结构
CDM通过DES(数据快递服务)迁移1个月前的历史数据,迁移路径如下: CDH → DES → CDM(华为云) → OBS → CDM(华为云) → MRS DES适用场景:数据量大,用户私有云与华为云无专线打通,用户私有云网络到公网带宽有限。
数据治理组织架构 数据治理组织架构框架 数据治理组织职责
初级版:基于DWS的电影评分数据集成与开发流程 示例场景说明 步骤1:数据准备 步骤2:数据集成 步骤3:数据开发处理 步骤4:服务退订
错误码 数据集成API错误码 数据开发错误码 父主题: 附录
数据开发API(V2)概览 表1 数据开发API(V2)类型 类型 说明 作业开发 作业开发类型接口。 作业开发 表2 作业开发 API 说明 API流量限制(次/s) 用户流量限制(次/s) 创建补数据实例 创建一个补数据实例。 100 10 查询补数据实例 查询补数据实例列表,
数据连接管理 查询数据连接列表 创建数据连接 测试创建数据连接 查询单个数据连接信息 更新数据连接信息 删除数据连接 父主题: 管理中心API
- - 导入连接(待下线) 将存放在OBS桶的连接文件导入到数据开发模块中,一次可以导入一个或多个连接。 - - 脚本开发 表3 脚本开发 API 说明 API流量限制(次/s) 用户流量限制(次/s) 创建脚本 创建一个新脚本。
3600 40 查询权限集中配置的url信息 查询权限集中配置的url信息,例如obs、hdfs等组件中的url路径。 3600 40 查询数据操作信息 查询数据操作信息。
API概览 数据集成API概览 数据开发API(V1)概览 数据开发API(V2)概览 管理中心API概览 数据架构API概览 数据质量API概览 数据目录API概览 数据服务API概览 数据安全API概览
资源管理API 创建资源 修改资源 查询资源详情 删除资源 查询资源列表 父主题: 数据开发API(V1)
数据质量API 目录接口 规则模板接口 质量作业接口 对账作业接口 运维管理接口 质量报告接口 导入导出接口
源端为关系数据库 JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.useSql
源端为Kafka JSON样例 "from-config-values": { "configs": [ { "inputs": [ {
概览 总览统计信息 模型统计信息 关系建模统计信息 标准覆盖率统计信息 父主题: 数据架构API
API管理接口 创建API 查询API列表 更新API 查询API信息 批量删除API 发布API API操作(下线/停用/恢复) 批量授权API(专享版) 调试API API授权操作(授权/取消授权/申请/续约) 查看API发布信息(专享版) 查看API不同操作对应的实例信息(专享版
目录接口 获取作业目录 父主题: 数据质量API