检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
非关系型数据库包括：文档数据库服务DDS、云数据库GeminiDB等。 数据仓库：云数据仓库GaussDB(DWS)。 数据湖\湖仓一体：MapReduce服务MRS，数据湖探索DLI等。 数据治理中心：数据治理中心DataArts Studio。 父主题： 产品咨询
MRS数据源使用概述 MRS集群简介 MapReduce服务（MapReduce Service，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。
GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。 规则4.2 避免同时对多个协同分析外表进行跨集群并发访问 原理说明：在A集群通过协同分析访问B集群数据时，A集群所有DN会与B集群CN建立连接和活跃会话。
从MRS导入数据概述 MapReduce服务（MapReduce Service，简称MRS）是一个基于开源Hadoop生态环境而运行的大数据集群，对外提供大容量数据的存储和分析能力，可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。
了解更多请参见数据脱敏。 父主题： 数据保护技术
云容器引擎-成长地图 | 华为云 数据仓库服务 GaussDB(DWS) 数据仓库服务（Data Warehouse Service，简称DWS）是完全托管的企业级云上数据仓库服务，具备免运维、在线扩展、高效的多源数据加载能力，兼容PostgreSQL生态。
管理MRS数据源 MRS数据源使用概述 创建MRS数据源连接 更新MRS数据源配置 父主题： 管理数据源
通过使用GaussDB(DWS)管理控制台，您不需要安装数据仓库软件，也不需要部署数据仓库服务器，就可以在几分钟之内获得高性能、高可靠的企业级数据仓库集群。 您只需单击几下鼠标，就可以轻松完成应用程序与数据仓库的连接、数据备份、数据恢复、数据仓库资源和性能监控等运维管理工作。
从MRS导入数据到集群 从MRS导入数据概述 MRS集群上的数据准备 手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题： 导入数据
方式二：通过依赖于云日志服务LTS的“集群日志管理”功能查看采集的审计数据库日志或进行日志下载，详细内容请参考查看集群日志。 方式三：数据库的审计日志默认存储于数据库中，连接集群后使用pg_query_audit函数进行查看。
MRS集群的操作，请参见《MapReduce服务用户指南》中的管理数据文件章节。
准备环境 已创建DWS集群，需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内，确保集群网络互通。 创建MRS分析集群 登录华为云控制台，选择“大数据 > MapReduce服务”，单击“购买集群”，选择“自定义购买”，填写软件配置参数，单击“下一步”。
数据同步失败 执行创建OBS外表的SQL语句时，提示Access Denied GDS导入失败后，磁盘占用空间增大 GDS导入数据时，脚本执行报错：out of memory 使用GDS传输数据的过程中，报错：connection failure error 使用DataArts
更新MRS数据源配置 操作场景 MRS的HDFS集群参数配置变更时，可能造成GaussDB(DWS)集群无法从HDFS集群导入数据。使用HDFS集群导入数据前，需要执行MRS数据源配置的更新操作。 前提条件 GaussDB(DWS)集群已创建MRS数据源连接。
创建集群时，请按要求配置以下参数，其他配置无特别要求，具体操作请参见《MapReduce服务用户指南》中的“自定义创建集群”章节： MRS集群的虚拟私有云需要和GaussDB(DWS)集群相同。
GaussDB(DWS)数据库对象设计规则 GaussDB(DWS) Database和Schema设计规则 GaussDB(DWS)表设计规则 GaussDB(DWS)字段设计规则 GaussDB(DWS)约束设计规则 GaussDB(DWS)视图和关联表设计规则 父主题： GaussDB
基于ECS弹性云服务器底层基础能力，升降目标集群虚拟机节点的CPU、内存这两种资源配置，如下图所示： 弹性变更规格整个流程需要停止集群，所以需要用户合理安排变更时间窗口，防止集群停止影响业务。
重分布 集群重分布是集群扩容后的一项重要且耗时的任务，集群扩容前业务数据都集中分布在老节点上，扩容之后会新增空的可用节点，此时将老节点的数据均匀分布到新扩容节点的过程称为数据“重分布”，数据“重分布”后将大大提升业务响应速率。
创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后，记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通，GaussDB(DWS)数据仓库需要与ECS在同一个区域，同一个虚拟私有云和子网下。
应用场景 数据仓库迁移 数据仓库是企业的重要数据分析系统，随着业务量的增长，自建数仓性能逐渐不能满足实际要求，同时扩展性差、成本高，也使扩容极为困难。GaussDB(DWS)作为云上企业级数据仓库，具备高性能、低成本、易扩展等特性，满足大数据时代企业数据仓库业务诉求。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
