检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指标设计:新建业务指标和技术指标,技术指标又分为原子指标、衍生指标和复合指标。 业务指标:指标一般由指标名称和指标数值两部分组成,指标名称及其涵义体现了指标质的规定性和量的规定性两个方面的特点,指标数值反映了指标在具体时间、地点、条件下的数量表现。 业务指标用于指导技术指标,而技术指标是对业务指标的具体实现。
批量修改主题/目录/流程 批量修改主题 当前仅支持信息架构、关系建模、逻辑模型、维度、事实表、汇总表、技术指标模块进行批量修改主题操作,操作流程相同。 此处以批量修改信息架构为例,展示如下: 在DataArts Studio数据架构控制台,单击左侧导航栏中的“信息架构”。 进入后
否 String 数据连接id,如果是获取技术报告规则评分,请务必填写data_connection_id,database_name,table_name参数值。 database_name 否 String 数据库名称,如果是获取技术报告规则评分,请务必填写data_conn
理作业或者启动实时作业时就会提示作业节点调度次数/天超过配额。 包年包月 技术资产数量增量包 技术资产数量增量包用于扩充技术资产数量配额。 不同版本的DataArts Studio实例,默认提供了不同的技术资产数量规格限制。该规格是以数据目录中表和OBS文件的数量之和计算的。您可以在新版本模式的DataArts
数据资产guid 每个业务资产、技术资产或指标资产都具备guid,guid是资产的唯一标识符。在调用数据目录或数据地图接口时,部分URI中需要填入guid。 资产guid可通过相应查询接口获取,也可以通过控制台获取,推荐您通过相应查询接口获取。 控制台获取操作相对复杂,如下所示,
点,指标数值反映了指标在具体时间、地点、条件下的数量表现。业务指标用于指导技术指标,而技术指标是对业务指标的具体实现。 业务指标 技术指标 支持新建原子指标、新建时间限定、新建衍生指标、新建复合指标。 技术指标 审核中心 开发环境生成的规范建模、数据处理类任务提交后,都会存储在审
CDM集群资源的统一支配,作业运行可靠性更高、使用体验更佳。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 图1 离线处理集成作业迁移原理 操作视频 因不同版本操作界面可能存在差异,本视频仅供参考,具体以实际环境为准。 父主题: 数据集成(离线作业)
物理表。 同步技术资产:关系建模或维度建模中的表发布后,同步表到数据目录模块作为技术资产,同时同步标签到对应技术资产。 若开启“同步技术资产”功能,您必须预先在DataArts Studio数据目录模块中对表所属的数据库创建数据目录采集任务并采集成功,否则同步技术资产将会执行失败。
新建指标 管理所有业务指标,包括指标的来源、定义等,使用目录维护业务指标。 注意,数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的,不支持交互。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控
群列表中找到所需要的集群,然后单击集群名称,进入集群“基本信息”页面查看集群版本号。 如果非所需版本,请创建最新版本CDM集群或联系客服或技术支持人员。 Ranger组件配置 MRS权限管理时必选 MRS非安全集群Ranger组件开启同步ldap用户功能。 MRS非安全集群,由于
实时作业概述 DataArts Studio的Migration服务提供了实时数据同步功能,可将数据通过同步技术从一个数据源复制到其他数据源,并保持一致,实现关键业务数据的实时流动。 常用场景:实时分析,报表系统,数仓环境等。 同步特点:实时同步功能聚焦于表和数据,并满足多种灵活
BY条件。 事实表:归属于某个业务过程的事实逻辑表,可以丰富具体业务过程所对应事务的详细信息。 指标设计:新建并发布技术指标:新建业务指标(本例不涉及)和技术指标,技术指标又分为原子指标、衍生指标和复合指标。 指标:指标一般由指标名称和指标数值两部分组成,指标名称及其涵义体现了指标
敏感数据定义 敏感数据主要指未经个人或集团授权被他人使用,有可能给个人或集团带来严重损害的数据。 以《GBT 35273-2020 信息安全技术个人信息安全规范》为例,个人敏感数据有: 个人财产信息 (存款、信贷、消费流水) 个人健康生理信息(体检信息、医疗记录) 个人生物识别信息(指纹、面部特征)
积极拥抱数据资产入表新时代 在当前数字化的浪潮下,数据已经成为劳动力、土地、知识、技术以后的第五大生产要素,“数据即资产”已成为共识。 2024年1月1日起,财政部于2023年8月印发的《企业数据资源相关会计处理暂行规定》将正式实施。数据资产入表已进入倒计时,备受关注的数据要素市场有望被真正激活。
文件敏感数据当前在北京四、上海一内测(其他region后续会逐步放开,敬请期待!),但需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 前提条件 已将待检测的CSV文件上传至OBS桶中。 已配置数据入湖检测规则,详见配置数据入湖检测规则(高级特性)。 约束与限制
Studio控制台首页,选择对应工作空间的“数据目录”模块,进入数据目录页面。 在“总览”页面的“资产总览”页签,单击技术资产下数据库的统计数量,即可查看每个库对应的表数量及大小。 图7 查看技术资产 图8 查看数据量
数仓规划:新建SDI层和DWI层两个模型 维度建模 维度建模:在DWR层新建并发布维度 维度建模:在DWR层新建并发布事实表 指标设计 指标设计:新建并发布技术指标 数据集市建设 数据集市:在DM层新建并发布汇总表 步骤6:数据开发处理 可管理多种大数据服务,提供一站式的大数据开发环境。 使用DataArts
数据架构组件:主题设计,逻辑模型,标准设计,物理模型,维度建模和指标。 数据开发组件:作业,作业目录,脚本,脚本目录和资源。 数据质量组件:质量作业和对账作业。 数据目录组件:技术资产中的表(Table)和文件(File)类型资产,以及元数据采集任务。 数据服务组件:数据服务集群,API和APP。 数据安全组件:敏感
resource_id 是 String 资源导出导入任务ID,通过导出资源或者导入资源返回内容获得。 obs_type 否 String 导出类型,技术报告:technology,业务报告:business,当导出质量报告时,该字段是必填项。 请求参数 表3 请求Header参数 参数 是否必选
据质量管控。 数据资产 数据资产包括业务资产、技术资产、指标资产等。数据资产管理是数据治理的重要支撑手段,核心是构建企业级的元数据管理中心、建立数据资产目录、建立数据搜索引擎、实现数据血缘和数据全景可视。其中元数据包括业务元数据、技术元数据和操作元数据,要求将企业所有概念数据模型