检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通用操作 逆向数据库(关系建模) 逆向数据库(维度建模) 导入导出 关联质量规则 查看表 批量修改主题/目录/流程 管理配置中心 审核中心 父主题: 数据架构
format(yyyy-MM-dd HH:mm:ss, -1, DAY)}_${version}。 注意文件名格式要符合obs文件路径命名规范。 父主题: 目的端作业参数说明
元数据按用途的不同,可以分为两类:技术元数据(Technical Metadata)和业务元数据(Business Metadata)。 技术元数据是存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库使用的数据。在DataArts Studio中,技术元数据即为技术资产,显示数据库、数据表、数据量的数量及其详情。
通过需求分析,可以提炼出数据治理流程的实现框架,支撑具体数据治理实施流程的设计。 在本示例场景下,当前面临的数据问题如下: 未建立标准化模型 数据字段命名不标准、不规范 数据内容不标准,数据质量不可控 统计口径不一致,困扰业务决策 通过DataArts Studio实施数据治理,期望能够达到以下目标: 数据标准化、模型标准化
指标资产查询接口。 统计资产接口 表4 统计资产接口 API 说明 获取技术资产统计信息 获取技术资产统计信息。 获取业务资产统计信息 获取业务资产统计信息。 资产管理接口 表5 资产管理接口 API 说明 查询技术资产 查询技术资产。 根据guid获取资产详情 根据表guid可以获取表的详
自定义文件名前缀,支持时间宏。例如:test_${dateformat(yyyyMMdd, -1, DAY)} 注意文件名格式要符合hdfs文件路径命名规范。 父主题: 目的端作业参数说明
嵌入数据水印 本章主要介绍如何进行数据水印嵌入。数据水印一般有如下场景: 规范数据外发流程 实现对企业内部人员数据外发进行有效流程化管理,非授权用户在数据外发前需审批,审批通过后采取数据水印技术生成可外发数据文件。 数据版权保护 通过在关系数据库中嵌入代表所有权的水印信息,可以将
敏感数据定义 敏感数据主要指未经个人或集团授权被他人使用,有可能给个人或集团带来严重损害的数据。 以《GBT 35273-2020 信息安全技术个人信息安全规范》为例,个人敏感数据有: 个人财产信息 (存款、信贷、消费流水) 个人健康生理信息(体检信息、医疗记录) 个人生物识别信息(指纹、面部特征)
新建离线处理集成作业 约束限制 离线处理集成作业不支持在企业模式下运行。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 操作步骤 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
指标设计 业务指标 技术指标 父主题: 数据架构
统计资产接口 获取技术资产统计信息 获取业务资产统计信息 父主题: 数据目录API
资产管理接口 查询技术资产 根据guid获取资产详情 添加或修改资产 删除资产 父主题: 数据目录API
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
fromJobConfig.filters 否 String 创建用于匹配文档的筛选条件,CDM只迁移符合条件的数据。例如: 按表达式对象筛选:例如{'last_name': 'Smith'},表示查找所有“last_name”属性值为“Smith”的文档。 按参数选项筛选:例如{ x : "john" }
Studio增量包 如何选择增量包 购买批量数据迁移增量包 购买数据集成资源组增量包 购买数据服务专享集群增量包 购买作业节点调度次数/天增量包 购买技术资产数量增量包 购买数据模型数量增量包 父主题: 购买并配置DataArts Studio
数据治理框架 数据治理框架 数据治理模块域 数据治理各模块域之间的关系
管理工作空间 创建并管理工作空间 设置工作空间配额 (可选)修改作业日志存储路径
授权用户使用DataArts Studio 创建IAM用户并授予DataArts Studio权限 (可选)自定义工作空间角色 添加工作空间成员和角色
购买DataArts Studio实例 购买DataArts Studio基础包 (可选)购买DataArts Studio功能增量包 (可选)购买规格增量包
数据服务SDK参考 数据服务SDK概述 SDK使用前准备 SDK调用常见错误码/错误信息 使用APP认证调用API