检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息(如身份证号、手机号、银行卡号等),通过应用脱敏函数进行原始数据的变形改写,实现敏感隐私数据的可靠保护,从而增强产品在数据安全和隐私保护方面的能力。 了解更多请参见数据脱敏。
数据库、数据仓库、数据湖、湖仓一体分别是什么? 如今随着互联网以及物联网等技术的不断发展,越来越多的数据被生产出来,数据管理工具也得到了飞速的发展,大数据相关概念如雨后春笋一般应运而生,如数据库、数据仓库、数据湖、湖仓一体等。这些概念分别指的是什么,又有着怎样的联系,同时,对应的产品与方案又是什么呢?本文将一一进行对比介绍。
导入数据最佳实践 从OBS并行导入数据 将导入数据拆分为多个文件 导入大数据量的数据时,通常需要较长的时间及耗费较多的计算资源。 从OBS上导入数据时,如下方法可以提升导入性能:将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量为DN的整数倍更适合。 在导入前后验证数据文件
Incrementals。用来管理Hadoop大数据体系下存储在DFS上大型分析数据集。 Hudi不是单纯的数据格式,而是一套数据访问方法(类似GaussDB(DWS)存储的access层),在Apache Hudi 0.9版本,大数据的Spark,Flink等组件都单独实现各自客户端。Hudi的逻辑存储如下图所示:
PG_LARGEOBJECT_METADATA PG_LARGEOBJECT_METADATA系统表存储与大数据相关的元数据。实际的大对象数据存储在PG_LARGEOBJECT里。 表1 PG_LARGEOBJECT_METADATA字段 名字 类型 引用 描述 oid oid -
PG_LARGEOBJECT_METADATA PG_LARGEOBJECT_METADATA系统表存储与大数据相关的元数据。实际的大对象数据存储在PG_LARGEOBJECT里。 表1 PG_LARGEOBJECT_METADATA字段 名字 类型 引用 描述 oid oid -
PG_LARGEOBJECT_METADATA PG_LARGEOBJECT_METADATA系统表存储与大数据相关的元数据。实际的大对象数据存储在PG_LARGEOBJECT里。 表1 PG_LARGEOBJECT_METADATA字段 名字 类型 引用 描述 oid oid -
份,提升数据可靠性。 大数据融合分析 随着信息技术的发展和进步,数据资源已经成为企业的核心资源。整合数据资源,构建大数据平台,发现数据价值,成为企业经营的新趋势和迫切诉求。而如何从海量数据中快速挖掘“价值”,成为助力用户实现预测性分析的关键要素。 图2 大数据融合分析 优势 统一分析入口
云容器引擎-成长地图 | 华为云 数据仓库服务 GaussDB(DWS) 数据仓库服务(Data Warehouse Service,简称DWS)是完全托管的企业级云上数据仓库服务,具备免运维、在线扩展、高效的多源数据加载能力,兼容PostgreSQL生态。助力企业经济高效地对海量数据进行在线分析,实现数据快速变现。
数据在GaussDB(DWS)中是否安全? 安全。在大数据时代,数据是用户的核心资产。公有云将继续秉承多年来向社会做出的“上不碰应用,下不碰数据”的承诺,保证用户核心资产的安全。这是对用户和社会的承诺,也是公有云及其伙伴商业成功的保障和基石。 数据仓库服务工程师对整个数据仓库系统
查看GaussDB(DWS)数据库审计日志 数据库审计日志在集群的“安全设置”页面中进行设置,仅“可用”和“非均衡”状态的集群支持修改安全配置,同时集群的任务信息不能处于“节点扩容”、“配置中”、“升级中”、“重分布中”和“重启中”等状态。 前提条件 审计功能总开关audit_e
数据库加密简介 GaussDB(DWS)数据库加密 在GaussDB(DWS)中,您可以为集群启用数据库加密,以保护静态数据。当您为集群启用加密时,该集群及其快照的数据都会得到加密处理。您可以在创建集群时启用加密。加密是集群的一项可选且不可变的设置。要从未加密的集群更改为加密集群
安全 责任共担 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 认证证书 安全公告
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB
MRS数据源使用概述 MRS集群简介 MapReduce服务(MapReduce Service,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。有关MRS服务的详细信息,请参考《MapReduce服务用户指南》。
从MRS导入数据概述 MapReduce服务(MapReduce Service,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。 用户可以将海
GaussDB(DWS)集群数据安全与加密 开启GaussDB(DWS)数据库用户三权分立 使用KMS对GaussDB(DWS)集群进行加密 开启GaussDB(DWS)控制台敏感操作保护
off表示关闭数据库自动清理进程。 默认值:on autovacuum_max_workers 参数说明:设置能同时运行的自动清理线程的最大数量,该参数的取值上限与max_connections和job_queue_processes大小有关。 参数类型:SIGHUP 取值范围:整型
off表示关闭数据库自动清理进程。 默认值:on autovacuum_max_workers 参数说明:设置能同时运行的自动清理线程的最大数量,该参数的取值上限与max_connections和job_queue_processes大小有关。 参数类型:SIGHUP 取值范围:整型
使用外表功能实现GaussDB(DWS)集群间数据迁移 大数据融合分析场景下,支持同一区域内的多套GaussDB(DWS)集群之间的数据互通互访,本实践将演示通过Foreign Table方式从远端DWS导入数据到本地端DWS。 本实践演示过程为:以gsql作为数据库客户端,gs