检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例管理 实例管理概述 数据迁移功能采用独立集群的方式为用户提供安全可靠的数据迁移服务,各集群之间相互隔离,不可互相访问。其中实例管理通过购买GDS-Kafka实例帮助用户创建、管理集群。GDS-Kafka的工作方式是从Kafka中消耗数据并缓存,当达到设置好的时间或数据量之后,通过
配置DWS数据源连接 参见创建CDM集群先完成CDM集群创建并绑定弹性IP。 确保CDM集群与DWS集群在同一个区域、虚拟私有云下,以保证网络互通。 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“连接管理 > 新建连接”。 连接器类型选择“数据仓库服务(
概述 GaussDB(DWS)为用户提供了一站式数据开发、接入、处理等功能的数据开发工具,即GaussDB(DWS)线上SQL编辑器,以便用户能更好的使用GaussDB(DWS)。 数据开发工具目前支持用户直接在GaussDB(DWS)管理控制台上连接集群数据库,提供数据库的各种元数据列表详情展示功能
从MRS Hive导入表数据到GaussDB(DWS)集群 本教程通过建立HDFS外表实现GaussDB(DWS)远端访问或读取MRS数据源。 视频介绍 准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 基本流程 本实践预计时长
费用账单 您可以在“费用中心 > 账单管理”查看资源的费用账单,以了解该资源在某个时间段的使用量和计费信息。 账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报一条账单到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同
从GaussDB(DWS)集群导出ORC数据到MRS集群 GaussDB(DWS)数据库支持通过HDFS外表导出ORC格式数据至MRS,通过外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在HDFS
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token来说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com
使用EXTERNAL SCHEMA跨集群访问HiveMetaStore元数据 GaussDB(DWS) 存算分离版本DWS 3.0数仓支持通过建立EXTERNAL SCHEMA实现远端访问MRS的Hive数据源(包括Hive对接HDFS和Hive对接OBS两种场景),本实践详细地介绍了跨集群访问
关于OBS并行导入 对象存储服务OBS(Object Storage Service)是云上提供的一个基于对象的海量存储服务,为客户提供安全、高可靠、低成本的数据存储能力。OBS为用户提供了超大存储容量的能力,适合存放任意类型的文件。 数据仓库服务GaussDB(DWS)使用OBS
使用GaussDB(DWS)冷热数据切换功能降低业务成本 场景介绍 海量大数据场景下,随着业务和数据量的不断增长,数据存储与消耗的资源也日益增长。根据业务系统中用户对不同时期数据的不同使用需求,对膨胀的数据进行“冷热”分级管理,不仅可以提高数据分析性能还能降低业务成本。针对数据使用的一些场景
配置JDBC连接(使用IAM认证方式) 概述 GaussDB(DWS)提供了使用IAM认证方式访问数据库的功能。当使用JDBC应用程序连接集群时,您可以在JDBC连接中配置IAM用户名及其用户凭证等信息,在连接数据库时系统就会自动生成临时数据库凭证,从而成功连接到数据库。 当前仅支持
使用GaussDB(DWS)分区自动管理功能降低电商和物联网行业数据分区维护成本 场景介绍 对于分区列为时间的分区表,分区自动管理功能可以自动创建新分区和删除过期分区,降低分区表的维护成本,改善查询性能。为了便于查询和维护数据,用户通常使用分区列为时间的分区表来存储时间相关的数据,
无法连接GaussDB(DWS)集群时怎么处理? 检查原因 基本原因可能有以下几种: 集群状态是否正常。 连接命令是否正确,用户名、密码、IP地址或端口无误。 安装客户端的操作系统类型、版本是否正确。 安装客户端的操作是否正确。 如果是在公有云环境无法连接,还需要检查以下可能导致异常的原因
创建VPC 背景信息 在创建集群之前,您需要创建VPC,为GaussDB(DWS) 服务提供一个安全、隔离的网络环境。 如果用户已有VPC,可重复使用,不需多次创建。 关于创建VPC的详细信息可以参考《虚拟私有云用户指南》中的创建虚拟私有云和子网章节。 操作步骤 登录管理控制台。
GS_OBSSCANINFO GS_OBSSCANINFO系统表定义了在云上加速场景中,使用加速集群时扫描OBS数据的运行信息,每条记录对应一个query中单个OBS外表的运行时信息。 表1 GS_OBSSCANINFO字段 名字 类型 描述 query_id bigint 查询标识
PG_OBSSCANINFO PG_OBSSCANINFO系统表定义了在云上加速场景中,使用加速集群时扫描OBS数据的运行时信息,每条记录对应一个query中单个OBS外表的运行时信息。 表1 PG_OBSSCANINFO字段 名字 类型 引用 描述 query_id bigint
使用场景 背景 目前在互联网、教育、游戏等行业都有实时精准营销的需求。通过系统生成用户画像,在营销时通过条件组合筛选用户,快速提取目标群体。例如: 在电商行业中,商家在进行营销活动前,需要根据活动的目的,圈选一批满足特定特征的目标用户群体进行广告推送。 在教育行业中,需要根据学生不同的特征
GS_OBSSCANINFO GS_OBSSCANINFO系统表定义了在云上加速场景中,使用加速集群时扫描OBS数据的运行时信息,每条记录对应一个query中单个OBS外表的运行时信息。 表1 GS_OBSSCANINFO字段 名字 类型 引用 描述 query_id bigint
关于OBS并行导出 概述 GaussDB(DWS)数据库支持通过OBS外表并行导出数据:通过OBS外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在OBS对象存储服务器上,从而提高整体导出性能。
PG_OBSSCANINFO PG_OBSSCANINFO系统表定义了在云上加速场景中,使用加速集群时扫描OBS数据的运行时信息,每条记录对应一个query中单个OBS外表的运行时信息。 表1 PG_OBSSCANINFO字段 名字 类型 引用 描述 query_id bigint