检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
版本和平台兼容性 历史版本兼容性 平台和客户端兼容性 父主题： GaussDB(DWS)数据库GUC参数
第二类工具，关注如何对湖中的数据进行分析、挖掘、利用。数据湖需要具备完善的数据管理能力、多样化的数据分析能力、全面的数据生命周期管理能力、安全的数据获取和数据发布能力。如果没有这些数据治理工具，元数据缺失，湖里的数据质量就没法保障，最终会由数据湖变质为数据沼泽。 随着大数据和AI的发展，数据湖中数据
数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息（如身份证号、手机号、银行卡号等），通过应用脱敏函数进行原始数据的变形改写，实现敏感隐私数据的可靠保护，从而增强产品在数据安全和隐私保护方面的能力。 了解更多请参见数据脱敏。
从MRS导入数据概述 MapReduce服务（MapReduce Service，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。 用户可以将海
MRS集群上的数据准备 从MRS导入数据到GaussDB(DWS)集群之前，假设您已经完成了以下准备工作： 已创建MRS集群。 在MRS集群上创建了Hive/Spark ORC表，且表数据已经存储到该表对应的HDFS路径上。 如果您已经完成上述准备，则可以跳过本章节。 为方便起见，以在MRS集群上创建Hive
管理MRS数据源 MRS数据源使用概述 创建MRS数据源连接 更新MRS数据源配置 父主题： 管理数据源
同一个网络下可以有多个MRS数据源， 但是GaussDB(DWS)集群每次只能和一个MRS集群建立连接。 在GaussDB(DWS) 集群创建一个MRS数据源连接，具体操作步骤请参见创建MRS数据源连接。 使用MRS数据源导入数据到集群，具体操作请参见使用MRS数据源。 （可选）当MRS集群的H
使用Python第三方库PyGreSQL连接集群 集群运维 创建存算一体集群 创建存算分离集群 修改集群参数 备份与恢复 变配与扩容 审计日志 监控集群 Region内集群容灾 智能运维 数据库用户管理 运维账户 集群日志管理 启停集群 资源负载管理 资源管理 逻辑集群管理 实时/历史TopSQL查询 数据源管理 管理MRS数据源
从MRS导入数据到集群 从MRS导入数据概述 MRS集群上的数据准备 手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题： 导入数据
数据库监控 进入数据库监控页面 登录GaussDB(DWS) 管理控制台。 在“专属集群 > 集群列表”页面，找到需要查看监控的集群。 在指定集群所在行的“操作”列，单击“监控面板”。系统将显示数据库监控页面。 在左侧导航栏选择“监控 > 数据库监控”，进入数据库监控页面。 在数
DWS热数据存储和冷数据存储的区别？ 热数据存储和冷数据存储最大的区别在于存储介质不同： 热数据存储是直接将频繁被查询或更新，对访问的响应时间要求很高的热数据存储在DN数据盘中。 冷数据存储将不更新，偶尔被查询，对访问的响应时间要求不高的冷数据存储在OBS中。 因为其存储介质的不
平台和客户端兼容性 很多平台都使用数据库系统，数据库系统的对外兼容性给平台提供了很大的方便。 transform_null_equals 参数说明：控制表达式expr = NULL（或NULL = expr）当做expr IS NULL处理。如果expr得出NULL值则返回真，否则返回假。
创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后，记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通，GaussDB(DWS)数据仓库需要与ECS在同一个区域，同一个虚拟私有云和子网下。 表1 DWS规格
出现字段超长，数据同步失败 执行创建OBS外表的SQL语句时，提示Access Denied GDS导入失败后，磁盘占用空间增大 GDS导入数据时，脚本执行报错：out of memory 使用GDS传输数据的过程中，报错：connection failure error 使用DataArts
方式二：通过依赖于云日志服务LTS的“集群日志管理”功能查看采集的审计数据库日志或进行日志下载，详细内容请参考查看集群日志。 方式三：数据库的审计日志默认存储于数据库中，连接集群后使用pg_query_audit函数进行查看。详细内容请参考使用pg_query_audit函数查看数据库审计日志。 使用
更新MRS数据源配置 操作场景 MRS的HDFS集群参数配置变更时，可能造成GaussDB(DWS)集群无法从HDFS集群导入数据。使用HDFS集群导入数据前，需要执行MRS数据源配置的更新操作。 前提条件 GaussDB(DWS)集群已创建MRS数据源连接。 对系统的影响 更新
版本和平台兼容性 历史版本兼容性 平台和客户端兼容性 父主题： GaussDB(DWS)数据库GUC参数
在GaussDB(DWS)管理控制台，选择“专属集群 > 集群列表”。 在集群列表中单击指定集群的名称，进入“集群详情”页面。 在左侧导航栏，选择“数据源>MRS数据源”页签。 单击“创建MRS数据源连接”，填写配置参数。 图1 创建MRS数据源连接 表1 MRS连接公共参数说明 参数名 说明 数据源名称 对应G
平台和客户端兼容性 很多平台都使用数据库系统，数据库系统的对外兼容性给平台提供了很大的方便。 transform_null_equals 参数说明：控制表达式expr = NULL（或NULL = expr）当做expr IS NULL处理。如果expr得出NULL值则返回真，否则返回假。
数据迁移 DWS的OBS外表与GDS外表支持的数据格式有什么区别？ 数据如何存储到DWS？ DWS可以存储多少业务数据？ 如何使用DWS的\copy导入导出？ 如何实现DWS不同编码库之间数据容错导入 DWS导入性能都和哪些因素有关联？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
