检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
并行导入流程 表1 流程说明 流程 说明 子任务 上传数据至OBS 在OBS服务器上规划存储路径,并上传数据文件。 详细请参见上传数据到OBS。 - 创建OBS外表 创建外表用于识别OBS服务器上的数据源文件。在OBS外表中保存了数据源在OBS服务器上的桶名、对象名、文件格式、存放位置、编码格式、数据间的分隔符等信息。
创建和管理GaussDB(DWS)数据库对象 创建和管理GaussDB(DWS)数据库 创建和管理GaussDB(DWS) Schema 创建和管理GaussDB(DWS)表 选择GaussDB(DWS)表存储模型 创建和管理GaussDB(DWS)分区表 创建和管理GaussDB(DWS)索引
法请参考如何调用API。 准备工作 已注册华为云账号并开通华为云,完成实名认证,请参见注册华为账号并开通华为云。 已获取服务对应区域终端节点地址,具体请参考地区和终端节点。 已获取华为云账号对应的用户名、用户密码、账号名及项目ID。在华为云控制台右上角“我的凭证->API凭证->
意在变更时间窗内尽量避免业务语句写入。 Region内容灾在生产集群与容灾集群,原生产集群所在的EIP和内网域名,连接IP地址不会自动切换,业务系统中如果有使用EIP、域名或者IP方式连接,需要切换到新集群。 父主题: GaussDB(DWS)集群容灾管理
LB服务。 准备工作 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,且在使用GaussDB(DWS) 前检查账号状态,账号不能处于欠费或冻结状态。 已创建虚拟私有云和子网,参见创建虚拟私有云和子网。 步骤一:创建Kafka实例 登录华为云控制台,服务列表选择“应用中间件
导出全局对象 GaussDB(DWS)支持使用gs_dumpall工具导出所有数据库公共的全局对象,包含数据库用户和组,表空间及属性(例如:适用于数据库整体的访问权限)信息。 操作步骤 准备ECS作为gsql客户端主机。 请参见下载客户端下载gsql客户端,并使用SSH文件传输工
一个区域、可用区、同一VPC子网内,确保集群网络互通。 基本流程 本实践预计时长:1小时,基本流程如下: 创建MRS分析集群(选择Hive、Spark、Tez组件)。 通过将本地txt数据文件上传至OBS桶,再通过OBS桶导入Hive,并由txt存储表导入ORC存储表。 创建MRS数据源连接。
一个用户最多可创建100个桶,但每个桶中存放的总数据容量和对象/文件数量没有限制。 对象:是存储在OBS中的基本数据单位。用户上传的数据以对象的形式存储在OBS的桶中。对象的属性包括名称Key,Metadata,Data。 通常,将对象等同于文件来进行管理,但是由于OBS是一种对象存储服务,并没有文件系统中的
EATE SCHEMA。 端到端数据分析流程 数据仓库服务与华为云平台其他一系列服务已无缝集成,以便用户能够快速部署端到端的数据分析和解决方案。 端到端数据分析流程如下图所示,该流程展示了每个过程可以使用的云服务。 图2 端到端数据分析流程
TEXTFILE; 将product_info.txt数据文件导入Hive。 Hive对接OBS场景:回到OBS管理控制台,单击并行文件系统名称,选择“对象 > 上传对象”,将product_info.txt上传至OBS并行文件系统中product_info表路径下。 Hive对接HDFS场景:将product_info
存算分离已使用的OBS热数据容量。 说明: 该参数显示OBS已使用容量每4小时同步一次。 冷分区数据已用容量 冷数据已使用的OBS容量。 说明: 该参数显示OBS已使用容量每4小时同步一次。 OBS外表已用容量 使用集群默认OBS Server:default_obs_foreig
两个区域建立云连接(CC)后,再通过内网IP进行通信。 云下和云上 业务应用在云下数据中心,需要与DWS进行通信 使用DWS的公网IP/公网域名进行通信。 使用云专线(DC)进行通信。 业务应用与DWS在同一个区域内同一个VPC下 为保证业务低时延,建议将业务应用和DWS都部署在同
SQL调优 SQL查询执行流程 SQL执行计划 执行计划算子 SQL调优流程 更新统计信息 审视和修改表定义 SQL调优进阶 使用Plan Hint进行调优 例行维护表 例行重建索引 SQL语句出错自动重试 query_band负载识别 父主题: GaussDB(DWS)性能调优
SQL调优 SQL查询执行流程 SQL执行计划 执行计划算子 SQL调优流程 更新统计信息 审视和修改表定义 SQL调优进阶 优化器参数调整 使用Plan Hint进行调优 例行维护表 例行重建索引 SQL语句出错自动重试 query_band负载识别 父主题: GaussDB(DWS)性能调优
远端DWS的数据。 视频介绍 操作流程 本实践预计时长40分钟,基本流程如下: 准备工作 创建ECS 创建集群并下载工具包 使用GDS导入数据源 通过外表导入远端DWS数据 准备工作 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,账号不能处于欠费或冻结状态。 创建ECS
使用CDM迁移Oracle数据至GaussDB(DWS)集群 迁移流程 准备工具 迁移表定义 迁移表全量数据 迁移业务SQL 父主题: 数据迁移
ling(type int)和环境变量MALLOC_CONF,控制malloc等内存分配调用栈记录模块开启关闭、以及内存调用栈输出等,使用流程如下图所示: MALLOC_CONF 环境变量MALLOC_CONF用于控制监控模块是否开启,位于${BIGDATA_HOME}/mppdb/
使用DSC 概述 下载并安装DSC 配置DSC 迁移流程 数据库模式迁移 Version命令迁移 Help命令迁移 日志参考 父主题: DSC
基于JDBC开发 JDBC开发流程 JDBC包与驱动类 加载驱动 连接数据库 执行SQL语句 处理结果集 常用JDBC开发示例 应用端加工RoaringBitmap结果集并入库GaussDB(DWS)开发示例 JDBC接口参考 父主题: 使用JDBC或ODBC进行GaussDB(DWS)二次开发
测试方法 总体流程 创建弹性云服务器ECS和数据仓库GaussDB(DWS) 构建TPC-H&TPC-DS使用数据 建表与数据导入 执行查询与结果收集