检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“数据目录”模块,进入数据目录页面。 选择“数据安全 > 数据密级”,用户可以在该页面新建、管理和删除分级,也可以调整分级的优先级。 创建分级:单击“数据密级”页签左上角的“新建”,输入名称和描述。 删除:在“数据密级”页签,勾选不需要的分级,单击左上角的“删除”。 调整优先级:
数据安全诊断接口 执行数据安全诊断 查询不合理的权限配置 查询数据权限控制模块诊断结果 查询敏感数据保护模块诊断结果 查询未进行静态脱敏任务的表信息 查询数据源防护模块诊断结果 父主题: 数据安全API
动态数据脱敏接口 查询动态数据脱敏策略列表 创建数据脱敏策略 查询某个脱敏策略的详细信息 更新动态数据脱敏策略 批量删除动态脱敏策略 父主题: 数据安全API
数据架构配置数据搬迁 当前管理中心支持直接搬迁数据架构组件中的主题、流程、码表、数据标准、关系建模模型、维度、业务指标、原子指标、衍生指标、复合指标和汇总表数据,但不包含事实表数据。 您可以通过管理中心配置数据搬迁进行搬迁,也可以参考本章节通过数据架构的导入导出功能进行搬迁。 数
如果“是否按天粒度补数据”选择“是”,需要配置此参数。 是:按天粒度补数据如果失败后,后面的补数据任务立即停止。 否:按天粒度补数据如果失败后,后面的补数据任务继续执行。 说明: 按天粒度补数据,前面一天任务执行失败后,第二天补数据任务不再执行。系统仅支持按天维度的补数据状态进行判断,不支持同一天内小时任务的多批次场景。
敏感数据分布接口 查询敏感数据发现概览结果(以分类和密级为单位) 父主题: 数据安全API
新建数据连接 通过新建数据连接,您可以在数据开发模块中对相应服务进行更多数据操作,例如:管理数据库、管理命名空间、管理数据库模式、管理数据表。 在同一个数据连接下,可支持多个作业运行和多个脚本开发,当数据连接保存的信息发生变化时,您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接
中是非主键字段时且该字段在MySQL中出现null值,那么写入到DWS中将会报错。 解决方案 在DWS写入数据前,对DWS的主键字段进行过滤,如果是null,则打印warning日志提示同时不写入该行数据。 父主题: 数据集成(实时作业)
数据库部署在华为云 同Region同租户直接连通网络 同Region不同租户通过对等连接连通网络 同Region不同租户通过企业路由器连通网络 跨Region通过云连接连通网络 父主题: 网络打通
和API? API传参是否支持传递操作符? 工作空间内的API配额已满,无法新建API怎么解决? 数据服务专享版的API如何通过公网访问? 数据服务专享版的API怎样通过域名访问? 如何处理API对应的数据表数据量较大时,获取数据总条数比较耗时的问题?
通过数据质量对比数据迁移前后结果 数据对账对数据迁移流程中的数据一致性至关重要,数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。 本章以DWS数据迁移到MRS Hive分区表为例,介绍如何通过DataArts Studio中的数据质量模块实现数据迁移前后的一致性校验。
配置数据血缘 DataArts Studio数据血缘解析方案包含自动分析血缘和手动配置血缘两种方式。一般推荐使用自动血缘解析的方式,无需手动配置即可生成血缘关系,在不支持自动血缘解析的场景下,再手动配置血缘关系。 自动血缘解析,是由系统解析数据开发作业中的数据处理和数据迁移类型节
心中适用组件已勾选“数据集成”的数据连接,实时集成作业支持的数据源详情请参见实时集成作业支持的数据源。 表1 DataArts Studio支持的数据源 数据源类型 管理中心 数据架构 数据开发 数据目录[2] 数据质量[3] 数据服务 数据安全 数据仓库服务(DWS) √ √ √
资产总览可展示业务资产、技术资产和指标资产的情况。 业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表,资产总览展示业务对象、逻辑实体、业务属性的数量及其详情。 技术资产来自于数据连接和元数据采集任务,资产总览展示数据库、数据表、数据量的数量及其详情。 指标资产来自于数据架构组件中定义并发布过的业务指标,资产总览展示业务指标及其详情。
查看工作空间内的数据资产 数据地图围绕数据搜索,服务于数据分析、数据开发、数据挖掘、数据运营等数据表的使用者和拥有者,提供方便快捷的数据搜索服务,拥有功能强大的血缘信息及影响分析。 搜索:在进行数据分析前,使用数据地图进行关键词搜索,帮助快速缩小范围,找到对应的数据。 详情:使用数据地图根
0,100)。 数据表 表评分计算公式:∑(表关联的所有规则评分*规则权重)/∑规则权重 数据库 数据库下所有数据表评分的加权求平均值,即:∑数据库下所有数据表评分/表的数量。 数据连接 数据连接下所有数据库评分的加权平均值,即:∑数据连接下所有数据库的评分/数据库的数量。 在DataArts
网络打通 在配置实时同步任务前,您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通,您可以根据数据库所在网络环境,选择合适的网络解决方案来实现网络连通。 数据库部署在本地IDC 数据库部署在其他云 数据库部署在华为云 父主题: 数据集成(实时作业)
数据库部署在本地IDC 通过云专线连通网络 通过VPN连通网络 通过公网连通网络 父主题: 网络打通
PostgreSQL同步到DWS作业配置 Oracle同步到DWS作业配置 Oracle同步到MRS Hudi作业配置 MongoDB同步到DWS作业配置 父主题: 数据集成(实时作业)
相关文档 网络打通 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤?