-
数据如何存储到数据仓库服务? - 数据仓库服务 GaussDB(DWS)
数据如何存储到数据仓库服务? GaussDB(DWS)支持多数据源高效入库,典型的入库方式如下所示。详细指导请参见导入数据。 从OBS导入数据。 数据上传到OBS对象存储服务中,再从OBS中导入,支持CSV,TEXT格式数据。 通过INSERT语句直接插入数据。 用户可以通过Ga
-
创建弹性云服务器 ECS - 数据仓库服务 GaussDB(DWS)
创建弹性云服务器 ECS 参考《弹性云服务器用户指南》创建弹性云服务器,创建的规格可参见下表。 由于TPC-DS、TPC-H数据集占用空间较大,以TPC-DS 1000X和TPC-H 1000X为例,分别占用930GB和1100GB。请创建弹性云服务器时,根据需求添加数据盘,举例如下:
-
上传数据到OBS - 数据仓库服务 GaussDB(DWS)
登录OBS管理控制台。 单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。 创建桶。 如何创建OBS桶,具体请参见《对象存储服务控制台指南》中的创建桶章节。 例如,创建以下两个桶:“mybucket”和“mybucket02”。 新建文件夹。 具体请参见《对象存储服务控制台指南》中的新建文件夹章节。
-
准备源数据 - 数据仓库服务 GaussDB(DWS)
待入库数据的服务器为数据服务器。此时,只需检测以确认数据服务器和GaussDB(DWS)集群能够正常通信,并查看和记录数据在数据服务器上的存放目录备用。 如果待入库数据还没有就绪,则请先参考如下步骤,将数据上传到数据服务器上。 操作步骤 以root用户登录数据服务器。 创建数据文件存放目录“/input_data”。
-
创建弹性云服务器 ECS和数据仓库 GaussDB(DWS) - 数据仓库服务 GaussDB(DWS)
创建弹性云服务器 ECS和数据仓库 GaussDB(DWS) 创建弹性云服务器 ECS 创建数据仓库 GaussDB(DWS) 父主题: 测试方法
-
交通卡口通行车辆分析 - 数据仓库服务 GaussDB(DWS)
前检查账号状态,账号不能处于欠费或冻结状态。 获取此账号的“AK/SK”。 步骤一:创建集群 登录管理控制台。 在“服务列表”中,选择“大数据 > 数据仓库服务 GaussDB(DWS)”。 左侧导航栏单击“集群管理”,进入页面后,单击右上角的“创建数据仓库集群”按钮。 参见表2进行基础配置。
-
创建数据仓库 GaussDB(DWS) - 数据仓库服务 GaussDB(DWS)
参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后,记录集群的内网IP。 为确保ECS与GaussDB(DWS)网络互通,GaussDB(DWS)数据仓库需要与ECS在同一个区域,同一个虚拟私有云和子网下。 表1 DWS规格 参数项 参数取值 区域 华北-北京4 可用区
-
使用DataArts Studio服务创建GaussDB(DWS)外表时不支持中文,如何处理 - 数据仓库服务 GaussDB(DWS)
使用DataArts Studio服务创建GaussDB(DWS)外表时不支持中文,如何处理 问题现象 使用DataArts Studio服务创建GaussDB(DWS)的OBS外表,并且在创建外表语句中指定OBS文件编码格式是UTF-8,但是导入数据时报错,如何处理? 原因分析 存储在OBS中的源文件含有非UTF-8的数据。
-
交通卡口通行车辆分析 - 数据仓库服务 GaussDB(DWS)
前检查账号状态,账号不能处于欠费或冻结状态。 获取此账号的“AK/SK”。 步骤一:创建集群 登录管理控制台。 在“服务列表”中,选择“大数据 > 数据仓库服务 GaussDB(DWS)”。 左侧导航栏单击“集群管理”,进入页面后,单击右上角的“创建数据仓库集群”按钮。 参见表2进行基础配置。
-
某公司供应链需求分析 - 数据仓库服务 GaussDB(DWS)
WS) 在数据分析场景中的多表分析与主题分析。 GaussDB(DWS) 已经预先生成了1GB的TPC-H-1x的标准数据集,已将数据集上传到了OBS桶的tpch文件夹中,并且已赋予所有华为云用户该OBS桶的只读访问权限,用户可以方便的进行导入。 操作流程 本实践预计时长60分钟,基本流程如下:
-
某公司供应链需求分析 - 数据仓库服务 GaussDB(DWS)
WS) 在数据分析场景中的多表分析与主题分析。 GaussDB(DWS) 已经预先生成了1GB的TPC-H-1x的标准数据集,已将数据集上传到了OBS桶的tpch文件夹中,并且已赋予所有华为云用户该OBS桶的只读访问权限,用户可以方便的进行导入。 操作流程 本实践预计时长60分钟,基本流程如下:
-
构造请求 - 数据仓库服务 GaussDB(DWS)
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token来说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
-
如何与DWS进行通信? - 数据仓库服务 GaussDB(DWS)
DWS跟ECS保持在同一个VPC1下,ECS的内网IP为192.168.120.1,DWS的内网IP为192.168.120.2,即可确保通过内网IP进行通信。 检查通信的基本要点是ECS出方向规则和DWS入方向规则,检查步骤如下: 检查ECS出方向规则: 应确保ECS的安全组的
-
如何查看外部表信息? - 数据仓库服务 GaussDB(DWS)
如何查看外部表信息? 如果需要查询OBS、GDS等外表信息(如OBS路径),可以执行以下语句查询。 1 SELECT * FROM pg_get_tabledef('外表名称') 例如,表名为traffic_data.GCJL_OBS,查询如下: 1 SELECT * FROM
-
零售业百货公司经营状况分析 - 数据仓库服务 GaussDB(DWS)
'utf8' template template0; 执行以下步骤切换为连接新建的数据库。 在Data Studio客户端的“对象浏览器”窗口,右键单击数据库连接名称,在弹出菜单中单击“刷新”,刷新后就可以看到新建的数据库。 右键单击“retail”数据库名称,在弹出菜单中单击“打开连接”。
-
零售业百货公司经营状况分析 - 数据仓库服务 GaussDB(DWS)
'utf8' template template0; 执行以下步骤切换为连接新建的数据库。 在Data Studio客户端的“对象浏览器”窗口,右键单击数据库连接名称,在弹出菜单中单击“刷新”,刷新后就可以看到新建的数据库。 右键单击“retail”数据库名称,在弹出菜单中单击“打开连接”。
-
如何调用API - 数据仓库服务 GaussDB(DWS)
如何调用API 构造请求 认证鉴权 返回结果
-
如何续费? - 数据仓库服务 GaussDB(DWS)
在左侧导航树单击“总览”,在总览页面单击“充值”对账户进行充值。 包年/包月计费模式: 请参见以下指导完成自助续费,以确保服务正常使用。 登录管理控制台。 单击左侧服务列表,进入“数据仓库服务”。 在专属集群页面找到对应集群,单击“续费”按钮。 在对应页面根据提示完成续费。 父主题: 计费问题
-
添加云监控服务的告警规则,会话数阈值如何设置? - 数据仓库服务 GaussDB(DWS)
添加云监控服务的告警规则,会话数阈值如何设置? 连接数据库后,执行以下SQL语句可以查看当前全局最大并发会话数。 1 show max_active_statements; 进入到云监控界面,根据查出的全局最大并发会话数,取70%-80%为阈值即可。例如,查询到max_acti
-
执行导入数据 - 数据仓库服务 GaussDB(DWS)
测试,监控资源利用率,根据结果提高或减少并发量。常用资源监控命令有:内存和CPU监控top命令,IO监控命令iostat,网络监控命令sar等。相关案例请参见多线程导入。 在资源许可的情况下,多台GDS服务器并发导入会很大程度上提高数据导入效率。相关案例请参见多数据服务器并行导入。