检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataArts Studio支持的数据源 数据源类型 管理中心 数据架构 数据开发 数据目录[2] 数据质量[3] 数据服务 数据安全 数据仓库服务(DWS) √ √ √ √ √ √ √ 数据湖探索(DLI) √ √ √ √ √ √ √ MapReduce服务(MRS HBase)
针对Hive、HBase、MySQL、DWS(数据仓库服务)数据源,使用高效的数据导入接口导入数据。 多种数据源支持 数据源类型繁杂,针对不同数据源开发不同的任务,脚本数量成千上万。 支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源。 多种网络环境支持 随
否 Boolean 分层治理。 level 否 String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、
任务中的识别规则进行“确认”,使规则状态变更为“有效”。 前提条件 已完成敏感数据规则组定义,请参考定义识别规则分组。 已在管理中心创建数据仓库服务(DWS)、数据湖探索(DLI)、MapReduce服务(MRS Hive)类型的数据连接,请参考创建DataArts Studio数据连接。
否 Boolean 分层治理。 level 否 String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、
咨询与计费 区域和可用区如何选择? 数据库、数据仓库、数据湖与华为智能数据湖方案是什么,有哪些区别和联系? DataArts Studio和沃土是什么关系? DataArts Studio和ROMA有什么差异? DataArts Studio是否支持私有化部署到本地或私有云? 如何在IAM中创建细粒度权限策略?
数据安全治理组织架构一般由决策层、管理层、执行层与监督层构成,各层之间通过定期会议沟通等工作机制实现紧密合作、相互协同。决策层指导管理层工作的开展,并听取管理层关于工作情况和重大事项等的汇报。管理层对执行层的数据安全提出管理要求,并听取执行层关于数据安全执行情况和重大事项的汇
DataArts Studio和ROMA有什么差异? 从数据运营方案(数据中台)的数据集成、数据治理以及数据开放三层结构来看,DataArts Studio和ROMA主要差别在于数据治理方面: ROMA作为连接各个系统的管道,对接入数据没有治理和规划的功能。 DataArts S
top Boolean 分层治理。 level String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、PO
时间类型 几何类型 网络地址类型 位串类型 文本搜索类型 UUID类型 JSON类型 对象标识符类型 类型 是 选择数据类型,具体说明请参见《数据仓库服务开发指南》的数据类型。 列描述 否 填写列的描述信息。 是否建ES索引 否 单击复选框时,表示需要建立ES索引。建立ES索引时,请同
算资源和存储资源方面经过优化,以确保高效的数据处理和分析。这些任务通常是定时(例如每天、每周)执行,主要处理大量历史数据,用于批量分析和数据仓库。 实时处理:对源源不断产生的新数据进行实时处理和分析,以满足业务对数据的即时性需求。这种处理方式要求数据在产生后能够立即被处理,并给出相应的结果或触发相应的操作。
通过DWS管理控制台获取集群名称: 登录管理控制台。 单击“数据仓库服务”,左侧列表选择集群管理。 在集群管理列表中可以获取到集群名称。 默认值为空。 ip 否 String DWS集群的访问地址。 通过DWS管理控制台获取访问地址: 登录管理控制台。 单击“数据仓库服务”,左侧列表选择集群管理。 单击集群名称,进入集群基本信息页面。
"table_id" : "NativeTable-9b18c0ad6ef5404caef4e6cbaccdae6f-postgres-dm_autotest-kuaallfuhe01", "table_name" : "kuaallfuhe01", "table_name_cn"
Spark通用队列 - 数据仓库服务(DWS) 使用DLI Spark通用队列 DLI引擎的静态脱敏任务,当源端或目的端为DWS时,请参考配置DLI队列与内网数据源的网络联通或配置DLI队列与公网网络联通打通DLI Spark通用队列与DWS的网络连接,否则会导致静态脱敏任务失败。 数据仓库服务(DWS)
上级流程 选择所属的上级流程。 描述 流程的描述信息。 依次新建更多的流程或子流程。一般需要设计L1~L3三层流程。第一层标识为L1层,第二层标识为L2层,第三层标识为L3。 示例如下: 图3 流程设计示例 导出流程 您可以将数据架构中已创建的流程导出到文件中。 在数据架构控
安全管理员的权限当且仅当在数据安全组件生效,对于周边组件和其他服务,此身份无效。 图1 配置安全管理员 查看数据概况 在总览页,用户可以根据日期,根据不同数据源类型。例如查看数据仓库服务(DWS)、数据湖探索(DLI)或MapReduce服务(MRS Hive)类型的下所包含的数据库中的敏感数据,包括敏感表总数、敏感
top Boolean 分层治理。 level String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、PO
top Boolean 分层治理。 level String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、PO
top Boolean 分层治理。 level String 数据治理分层。 枚举值: SDI: 贴源数据层 DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、PO
DM会将字段值直接写入目的端。 如果字段映射关系不正确,您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务(DWS),则还需在目的字段中选择分布列,建议按如下顺序选取分布列: 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景,建议设置所有主键作为分布列。