检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
资源的官网价。 优惠金额 用户使用云服务享受折扣优惠如商务折扣、伙伴授予折扣以及促销优惠等减免的金额。基于官网价的优惠金额。 抹零金额 华为云产品定价精度为小数点后8位(单位:元),因此在计费过程中会产生小数点后8位的资源使用费用。而在实际扣费时,仅扣除到小数点后2位,小数点后第
Migration,简称CDM),是一种高效、易用的批量数据迁移服务。了解更多请参见云数据迁移CDM。 本实践预计时长90分钟,实践用到的云服务包括虚拟私有云 VPC及子网、弹性公网EIP、云数据迁移 CDM和数据仓库服务 GaussDB(DWS),基本流程如下: 迁移前准备 步骤一:元数据迁移 步骤二:表数据迁移
要负责数据分析。 云数据仓库解决方案 传统的数据仓库售价昂贵,设备系统选型,采购周期长,扩容复杂,整体运行成本十分高昂,因此很难为中小企业所采纳。 云数据仓库服务GaussDB(DWS)与传统的数据仓库相比,主要有以下特点与显著优势: 一款分布式MPP数据仓库云化服务,具备开放,高效,兼容,可扩展,易运维等特点。
已获取GaussDB(DWS)集群的公网访问地址,含IP地址和端口。具体请参见获取GaussDB(DWS)集群连接地址。 已安装psycopg2第三方库。下载地址:https://pypi.org/project/psycopg2/,安装部署操作请参见:https://www.psycopg.org/install/。
L_SHIPDATE_7 VALUES LESS THAN('1999-01-01 00:00:00') ) ; 安装和启动GDS 参见工具下载下载GDS客户端(与gsql客户端在一个包)。 将GDS工具包上传至ECS的/opt目录中,本例以上传Euler Kunpeng版本的工具包为例。
参见设置数据库审计日志。 支持多种数据库工具 GaussDB(DWS)提供了以下几款自研工具,用户可以在GaussDB(DWS)管理控制台下载相关的工具包。有关工具的详细指导请参见《数据仓库服务工具指南》。 gsql工具 它是一款运行在Linux操作系统的命令行SQL客户端工具,
左侧导航树单击“访问密钥”。在访问密钥页面,可以查看已有的访问密钥ID(即AK),如果要同时获取AK和SK,可以单击“新增访问密钥”创建并下载访问密钥。 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。
显示创建集群时所选择的可用分区信息。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 GaussDB(DWS)集群创建成功后,其虚拟私有云将不能更改为其他的虚拟私有云,但是您可以编辑和修改当前的虚拟私有云。单击此处的虚拟私有云名称,进入虚拟私
参数解释 样例值 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 首次创建数据仓库集群时,如果未配置过虚拟私有云,可以单击“查看虚拟私有云”进入虚拟私有云管理控制台,新创建一个满足需求的虚拟私有云。 如何创建虚拟私有云,具体请参见《虚拟私有云用户指南》中的创建虚拟私有云和子网章节。
NA 获取高IO消耗的SQL。 先通过OS命令识别消耗高的线程,然后结合DWS的线程号信息找到消耗高的业务SQL,获取工具和操作方法请下载iowatcher。 场景1:列存小CU膨胀 某业务SQL查询出390871条数据需43248ms,分析计划主要耗时在Cstore Scan。
尽量避免使用存储过程,尤其不要开发结构复杂、嵌套多层的存储过程。 注意 维护效率低、问题定位成本高。 运维管理 29 集群级的数据库参数调整为变更操作,建议联系华为方进行变更风险评估 危险 集群级参数调整可能对客户业务造成影响,需做好评估。 30 单次新增、修改量占表总量10%以上场景,需在业务中增加显式ANALYZE操作。
尽量避免使用存储过程,尤其不要开发结构复杂、嵌套多层的存储过程。 注意 维护效率低、问题定位成本高。 运维管理 29 集群级的数据库参数调整为变更操作,建议联系华为方进行变更风险评估 危险 集群级参数调整可能对客户业务造成影响,需做好评估。 30 单次新增、修改量占表总量10%以上场景,需在业务中增加显式ANALYZE操作。
已获取GaussDB(DWS)集群的公网访问地址,含IP地址和端口。具体请参见获取GaussDB(DWS)集群连接地址。 已安装PyGreSQL第三方库。 下载地址:http://www.pygresql.org/download/index.html。 安装部署操作请参见:http://www.pygresql
ostgreSQL、云数据库 SQL Server等。 非关系型数据库包括:文档数据库服务DDS、云数据库GeminiDB等。 数据仓库:云数据仓库GaussDB(DWS)。 数据湖\湖仓一体:MapReduce服务MRS,数据湖探索DLI等。 数据治理中心:数据治理中心DataArts
已创建GDS-kafka集群。 GDS-kafka集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保GDS-kafka集群已绑定EIP、云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。
如果无脏页率较高的表,并且磁盘使用率已经接近或者超过75%,根据以下数仓类型,对集群进行节点扩容或磁盘扩容,避免触发只读导致业务中断。 云数仓+SSD云盘:参见磁盘扩容进行磁盘扩容。 云数仓+SSD本地盘及旧的标准数仓(不支持磁盘扩容):请联系技术支持进行在线扩容。 场景二:磁盘倾斜,倾斜表清理方式
导出任务创建成功后,选择页面右上角“常用功能 > 导出任务”,在导出数据列表查看导出的任务。 导出任务成功后,可单击所在行“文件地址”列的路径,跳转至OBS界面下载导出成功的csv文件。 图11 导出任务列表 提交SQL任务 登录GaussDB(DWS)管理控制台。 在左侧导航栏中,选择“数据 > SQL编辑器”。
开启审计服务 使用云审计服务前需要开启云审计服务,开启云审计服务后系统会自动创建一个追踪器,系统记录的所有操作将关联在该追踪器中。目前,一个云账户系统仅支持创建一个追踪器。 登录管理控制台,选择“服务列表 > 管理与监管 > 云审计服务”,进入云审计服务信息页面。 单击左侧导航树的“追踪器”,进入追踪器信息页面。
数据仓库的多维度查询分析的能力。 GaussDB(DWS) 已预先将样例数据上传到OBS桶的“retail-data”文件夹中,并给所有华为云用户赋予了该OBS桶的只读访问权限。 操作流程 本实践预计时长60分钟,基本流程如下: 准备工作 步骤一:导入零售业百货公司样例数据 步骤二:经营状况分析
GaussDB(DWS)提供配套的迁移工具,可支持MySQL、Oracle和Teradata的SQL脚本迁移到GaussDB(DWS)。 高性能 云化分布式架构 GaussDB(DWS)采用全并行的MPP架构数据库,业务数据被分散存储在多个节点上,数据分析任务被推送到数据所在位置就近执行