检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入导出 数据架构支持流程、主题、码表、数据标准、关系建模表(物理表)、逻辑实体、维度建模维度/事实表、业务指标、技术指标、数据集市汇总表的导入导出,暂不支持时间限定、审核中心和配置中心数据的导入导出。 本例中以导入和导出关系建模表为例说明如何进行导入导出,其他数据操作类似。如果
CDM集群已经创建成功后,您可以查看集群基本信息,并修改集群的配置。 查看集群基本信息: 集群信息:集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置:集群规格、CPU和内存配置等信息。 网络信息:网络配置。 支持修改集群的以下配置: 消息通知:CDM的迁移作业(目前仅支持表/文件迁移
支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。 支持配置多种方式报警,作业和任务发生错误时可及时通知相关人,保证业务正常运行。 数据开发中的对象 数据连接:定义访问数据实体存储(计算)空间所需信息的集合,包括连接类型、名称和登录信息等。 解决
N N 数据架构 权限点 管理员 开发者 运维者 访客 新建原子指标 Y Y N N 删除原子指标 Y Y N N 查询原子指标 Y Y Y Y 编辑原子指标 Y Y N N 操作备份管理 Y Y Y N 新建逻辑实体/物理表 Y Y N N 删除逻辑实体/物理表 Y Y N N
DataArts Studio数据架构支持的建模方法有以下三种: 关系建模 关系建模是用实体关系(Entity Relationship,ER)模型描述企业业务,它在范式理论上符合3NF,出发点是整合数据,将各个系统中的数据以整个企业角度按主题进行相似性组合和合并,并进行一致性处理
通过条件筛选,查询CDM作业的调度执行信息。 通过筛选“CDM作业”可以查询CDM作业的调度执行信息。 通过筛选“节点类型 > CDMJob”可以查询CDMJob节点算子的调度执行信息。 图1 批作业监控 父主题: 数据开发
管理资源 用户可以通过资源管理功能,上传自定义代码或文本文件作为资源,在节点运行时调用。可调用资源的节点包含DLI Spark、MRS Spark、MRS MapReduce和DLI Flink Job。 创建资源后,配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更,
CDM作业改名后,在数据开发中如何同步? 问题描述 CDM作业改名后,在数据开发中不能同步。 解决方案 CDM作业改名后,需要在数据开发作业的CDM节点属性中,重新选择改名后的CDM作业名称。 父主题: 数据开发
华为数据治理实践 华为数据治理的规范流程建设,完成了从数据产生、数据整合、数据分析与数据消费全价值流的规则制定。华为数据治理组织实践,建立实体化的数据管理组织,向公司数据管理部汇报,同时组建了跨领域数据联合作战团队。华为已建立统一的数据分类管理框架,指导各领域进行分类管理。华为信
么办? 问题现象 查看数据开发的节点日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限”,如下图所示: 图1 提示信息 原因分析 数据开发的日志存储在OBS桶中,您所在的用户组没有OBS的操作权限,导致在查看节点日志时系统提示报错,或者OBS日志文件不存在时系统提示报错。
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_id 否 String 业务ID,ID字符串。 biz_info 否 String 业务对象信息。 status 否 String 实体的发布状态,只读,创建和更新时无需填写。
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_id 否 String 业务ID,ID字符串。 biz_info 否 String 业务对象信息。 status 否 String 实体的发布状态,只读,创建和更新时无需填写。
枚举值: HASH: 对指定的列进行Hash,通过映射,把数据分布到指定DN REPLICATION: 表的每一行存在所有数据节点(DN)中,即每个数据节点都有完整的表数据 distribute_column 否 String DISTRIBUTE BY HASH column. compression
数据管理流程 数据管理功能可以协助用户快速建立数据模型,为后续的脚本和作业开发提供数据实体。通过数据管理,您可以: 支持管理DWS、MRS Hive、DLI等多种数据湖。 支持可视化和DDL方式管理数据库表。 注意,在MRS API连接方式下,不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。
删除审批人。 10800 120 删除实体下展 当已发布的实体被编辑时,其会生成下展,该接口用于删除实体的下展信息。 10800 120 获取下展信息与已发布实体的差异 当已发布的实体被编辑时,其会生成下展,该接口用于获取下展信息与已发布实体的差异。 21600 240 主题管理接口
执行。如果多个作业节点上配置了任务组,任务组里面最大并发数配置为2,作业节点总共有5个,根据作业调度时间,只有两个节点在运行中,其它节点在等待运行。 说明: 对于Pipeline作业,每个节点都可以配置一个任务组,也可以在作业里面统一配置任务组,如果配置了节点级任务组,则优先级高于作业级的任务组。
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_id 否 String 业务ID,ID字符串。 biz_info 否 String 业务对象信息。 status 否 String 实体的发布状态,只读,创建和更新时无需填写。
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_id 否 String 业务ID,ID字符串。 biz_info 否 String 业务对象信息。 status 否 String 实体的发布状态,只读,创建和更新时无需填写。
0:00:00Z。 updateBy 否 String 更新人。 parent 否 parent object 父节点。 parentId 否 String 父节点ID。 l1 否 Boolean 是否为L1层。主题域分组。 l2 否 Boolean 是否为L2层。主题域。 l3
访问DataArts Studio服务的数据开发模块。 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”,新建作业。 拖动多个CDM Job节点至画布,然后再编排作业。 父主题: 数据集成(CDM作业)