检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
21600 240 查看逆向事实表任务 查看逆向事实表任务。
数仓规划:对数仓分层以及数仓建模进行统一管理。支持用户自定义数仓分层。 标准设计:新建码表&数据标准。 新建码表:通常只包括一系列允许的值和附加文本描述,与数据标准关联用于生成值域校验质量监控。 新建数据标准:用于描述公司层面需共同遵守的属性层数据含义和业务规则。
SDK代码 node_demo.js Nodejs示例代码 demo.html 浏览器示例代码 demo_require.html 浏览器示例代码(使用require加载) test.js 测试用例 js\hmac-sha256.js 依赖库 js\moment.min.js js
进行逆向数据库配置时,如果逆向后表中文名称/字段中文名称的来源选择“来自描述”,则中文名来在进行描述时,表的字段注释不能重复。
数据安全简介 在已上线数据安全组件的区域,数据安全功能已由数据安全组件提供,不再作为数据目录组件能力。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。 应用背景 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力
图2 配置资产报告任务 系统调度运行资产报告任务后,重新进入“资产报告”页面,可查看逻辑实体、数据表、资产关联、资产容量、标签、密级、以及TOP100的表容量、表行数、桶容量等资产内容。 图3 资产报告 父主题: 查看工作空间数据地图
查看历史节点并发数 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“节点并发数”。 在历史节点并发数界面,选择历史时间段。 单击“确定”。 查看历史节点并发数的时间区间最大为24小时。 父主题: 配置
CDM作业配置管理 CDM作业管理界面的“配置管理”页签,主要操作如下: 最大抽取并发数 定时备份/恢复 作业参数的环境变量 最大抽取并发数 最大抽取并发数即集群最大抽取并发数。 此处的“最大抽取并发数”参数与集群配置处的“最大抽取并发数”参数同步,在任意一处修改即可生效。
由于不同类型的数仓支持的更新表的能力不同,在数据架构中所做的表更新操作,如果数仓不支持,则无法确保数据库中的表和数据架构中的表是一致的。例如,DLI类型的表更新操作不支持删除表字段,如果在数据架构的表中删除了表字段,则无法在数据库中相应的删除表字段。
数据标准 关系建模 支持逻辑模型设计、物理模型设计、逆向数据库、关联质量规则、导入导出模型、查看表。 关系建模 维度建模 维度是用于观察和分析业务数据的视角,支撑对数据汇聚、钻取、切片分析,用于SQL中的GROUP BY条件。
这种情况下需要调低并发任务数,即可避免此类问题。 父主题: 数据集成(CDM作业)
如何查看表行数和库大小 在数据治理流程中,我们常常需要统计数据表行数或数据库的大小。
正向规则评分=满足规则的数据行数/数据总行数*满分(5,10,100)。 反向规则评分=(1-满足规则的数据行数/数据总行数)*满分(5,10,100)。
如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关,并发数上限建议配置为vCPU核数*2,如表1所示。
如果补数据按照天粒度补数据,并行周期数就是在同一天内单个作业的实例并行数。 如果补数据不按照天粒度补数据,并行周期数就是按照调度周期内单个作业的实例并行数。 说明: 请根据实际情况配置并行周期数,例如CDM作业实例,不可同时执行补数据操作,并行周期数只可设置为1。
管理节点CU数量 是 设置管理单元的CU数,支持设置1~4个CU数,默认值为1个CU。 并发数 是 并发数是指同时运行Flink SQL作业的任务数。 说明: 并发数不能大于计算单元(CUs-1)的4倍。
dw_type 是 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。
查看历史节点并发数 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 选择“节点并发数”。 在历史节点并发数界面,选择历史时间段。 单击“确定”。 查看历史节点并发数的时间区间最大为24小时。 父主题: 数据开发
方法论产品落地 数据治理方法论已经在华为云服务数据治理中心DataArts Studio上落地实现,包括流程落地和功能落地。流程落地是指有一套详细的流程规范(需求、设计、实施、验证、发布等阶段)指导用户使用DataArts Studio开展数据治理工作;功能落地是指DataArts
抽取并发数:设置同时执行的抽取任务数,适当的抽取并发数可以提升迁移效率,配置原则请参见性能调优。这里保持默认值“1”。