检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
第二类工具，关注如何对湖中的数据进行分析、挖掘、利用。数据湖需要具备完善的数据管理能力、多样化的数据分析能力、全面的数据生命周期管理能力、安全的数据获取和数据发布能力。如果没有这些数据治理工具，元数据缺失，湖里的数据质量就没法保障，最终会由数据湖变质为数据沼泽。 随着大数据和AI的发展，数据湖中数据
使用Python第三方库PyGreSQL连接集群 集群运维 创建存算一体集群 创建存算分离集群 修改集群参数 备份与恢复 变配与扩容 审计日志 监控集群 Region内集群容灾 智能运维 数据库用户管理 运维账户 集群日志管理 启停集群 资源负载管理 资源管理 逻辑集群管理 实时/历史TopSQL查询 数据源管理 管理MRS数据源
场景四：MRS属于云下场景，需要通过“云专线(DC)”或“虚拟专用网络(VPN)”打通网络，请参见对应服务的用户指南。 从MRS导入数据到集群的流程 MRS集群上的数据准备 （可选）手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题： 从MRS导入数据到集群
同一个网络下可以有多个MRS数据源， 但是GaussDB(DWS)集群每次只能和一个MRS集群建立连接。 在GaussDB(DWS) 集群创建一个MRS数据源连接，具体操作步骤请参见创建MRS数据源连接。 使用MRS数据源导入数据到集群，具体操作请参见使用MRS数据源。 （可选）当MRS集群的H
在GaussDB(DWS)管理控制台，选择“集群 > 专属集群”。 在集群列表中单击指定集群的名称，进入“集群详情”页面。 在左侧导航栏，选择“数据源>MRS数据源”页签。 单击“创建MRS数据源连接”，填写配置参数。 图1 创建MRS数据源连接 表1 MRS连接公共参数说明 参数名 说明 数据源名称 对应G
出现字段超长，数据同步失败 执行创建OBS外表的SQL语句时，提示Access Denied GDS导入失败后，磁盘占用空间增大 GDS导入数据时，脚本执行报错：out of memory 使用GDS传输数据的过程中，报错：connection failure error 使用DataArts
从MRS导入数据到集群 从MRS导入数据概述 MRS集群上的数据准备 手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题： 导入数据
管理MRS数据源 MRS数据源使用概述 创建MRS数据源连接 更新MRS数据源配置 父主题： 管理数据源
Table方式实现跨DWS集群的数据访问和导入。 适用于多套GaussDB(DWS)集群之间的数据同步。 基于GDS的跨集群互联互通 - 通过GDS进行数据中转，实现多个集群之间的数据同步。 适用于多套GaussDB(DWS)集群之间的数据同步。 使用开源Kettle导入数据 MySQL、O
从GaussDB(DWS)集群导出ORC数据到MRS集群 GaussDB(DWS)数据库支持通过HDFS外表导出ORC格式数据至MRS，通过外表设置的导出模式、导出数据格式等信息来指定导出的数据文件，利用多DN并行的方式，将数据从GaussDB(DWS)数据库导出到外部，存放在HDFS文件系统上，从而提高整体导出性能。
数据脱敏 GaussDB(DWS)提供列级别的数据脱敏(Dynamic Data Masking)功能。针对某些敏感信息（如身份证号、手机号、银行卡号等），通过应用脱敏函数进行原始数据的变形改写，实现敏感隐私数据的可靠保护，从而增强产品在数据安全和隐私保护方面的能力。 了解更多请参见数据脱敏。
满足欧盟对数据安全和隐私的要求。 业务数据安全 数据仓库服务构建在公有云的基础软件设施之上，包括云主机弹性云服务器和对象存储服务OBS。弹性云服务器和OBS服务2017年双双通过了中国数据中心联盟的可信云认证 。 GaussDB(DWS)用户的业务数据是直接存放在集群的云主机当中
MRS集群上的数据准备 从MRS导入数据到GaussDB(DWS)集群之前，假设您已经完成了以下准备工作： 已创建MRS集群。 在MRS集群上创建了Hive/Spark ORC表，且表数据已经存储到该表对应的HDFS路径上。 如果您已经完成上述准备，则可以跳过本章节。 为方便起见，以在MRS集群上创建Hive
创建数据仓库GaussDB(DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后，记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通，GaussDB(DWS)数据仓库需要与ECS在同一个区域，同一个虚拟私有云和子网下。 表1 DWS规格
更新MRS数据源配置 操作场景 MRS的HDFS集群参数配置变更时，可能造成GaussDB(DWS)集群无法从HDFS集群导入数据。使用HDFS集群导入数据前，需要执行MRS数据源配置的更新操作。 前提条件 GaussDB(DWS)集群已创建MRS数据源连接。 对系统的影响 更新
方式二：通过依赖于云日志服务LTS的“集群日志管理”功能查看采集的审计数据库日志或进行日志下载，详细内容请参考查看集群日志。 方式三：数据库的审计日志默认存储于数据库中，连接集群后使用pg_query_audit函数进行查看。详细内容请参考使用pg_query_audit函数查看数据库审计日志。 使用
GaussDB(DWS)支持数据加密，同时可与数据库安全服务对接，保证云上数据安全。同时GaussDB(DWS)支持数据自动全量、增量备份，提升数据可靠性。 大数据融合分析 随着信息技术的发展和进步，数据资源已经成为企业的核心资源。整合数据资源，构建大数据平台，发现数据价值，成为企业经营的
部署数据仓库服务器，就可以在几分钟之内获得高性能、高可靠的企业级数据仓库集群。 您只需单击几下鼠标，就可以轻松完成应用程序与数据仓库的连接、数据备份、数据恢复、数据仓库资源和性能监控等运维管理工作。 与大数据无缝集成 您可以使用标准SQL查询HDFS、对象存储服务（Object Storage
执行数据导入 直接查询外表查看MRS数据源的数据 如果数据量较少，可直接使用SELECT查询外表，即可查看到MRS数据源的数据。 执行以下命令，则可以从外表查询数据： 1 SELECT * FROM foreign_product_info; 查询结果显示如数据文件中所示的数据，
重分布 集群重分布是集群扩容后的一项重要且耗时的任务，集群扩容前业务数据都集中分布在老节点上，扩容之后会新增空的可用节点，此时将老节点的数据均匀分布到新扩容节点的过程称为数据“重分布”，数据“重分布”后将大大提升业务响应速率。 默认情况下，在扩容之后将自动调起重分布任务，为了增强
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
