检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例如,执行以下命令创建外部服务器“obs_server”: 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 1 2 3 4 5 6 7 8 CREATE SERVER obs_server FOREIGN DATA
NUMBER(4) ) DISTRIBUTE BY hash(staff_ID); 向目标表staffs中导入部分数据。 根据以下查询所得,集群环境中主DN数为8个,则建议导入的记录数为80000条。 1 2 3 4 5 SELECT count(*) FROM pgxc_node where
取值范围:整型,1GB~256GB,默认单位为GB。安装时最小值不得小于1GB。 默认值:max_process_memory/8 此参数需根据环境内存及部署方式具体配置,过大会造成OOM,过小会降低TCP代理通信库或SCTP通信库性能。 comm_client_bind 参数说明:通
数据库用户管理 数据迁移 数据仓库服务 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于公有云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。DWS是基于华为融合数据仓库GaussDB产品的云原生服务,兼容标准ANSI
CESS_KEY是云账号体系访问密钥。请根据实际替换。 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 TYPE表示创建的Server为OBS Server。请保持OBS取值不变。 创建OBS外表json_f
例如,执行以下命令创建外部服务器“obs_server”: 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 1 2 3 4 5 6 7 8 CREATE SERVER obs_server FOREIGN DATA
SQL语法 SQL语法兼容性高,语法通用,易于使用。 兼容列存语法。 GUC参数 丰富的GUC参数,根据客户业务场景适配最适合客户的数仓环境。 兼容标准数仓GUC参数,同时支持实时数仓调优参数。 技术特点 完整的事务一致性 体现在数据插入或者更新后提交即可见,不存在时延;并发更
light_colupdate控制是否开启。 列存轻量化UPDATE在以下场景不能使用:更新索引列,更新主键列,更新分区列,更新PCK列和在线扩容,会自动转化为普通UPDATE方式。 避免使用UPDATE/DELETE大批量刷新和删除数据,考虑使用TRUNCATE PARTITION/DROP
SQL语法 SQL语法兼容性高,语法通用,易于使用。 兼容列存语法。 GUC参数 丰富的GUC参数,根据客户业务场景适配最适合客户的数仓环境。 兼容标准数仓GUC参数,同时支持实时数仓调优参数。 技术特点 完整的事务一致性 体现在数据插入或者更新后提交即可见,不存在时延;并发更
节点。 执行以下命令切换用户: sudo su - omm 执行以下命令切换到客户端目录: cd /opt/client 执行以下命令配置环境变量: source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建Hive表的权限:
启用:如果用户对连接或文件的操作可能引起数据安全问题,Data Studio将弹出安全警告提示。 禁用:如果需要禁用安全免责声明功能,请阅读界面提示影响后,勾选“我同意”。 环境 会话设置 设置Data Studio编码和文件编码,默认为UTF-8。 设置是否开启SQL助手。SQL助手可以为SQL终端和存储过程/函数终端中输入的信息提供建议或参考。
Hive导入表数据到GaussDB(DWS)集群 本教程通过建立HDFS外表实现GaussDB(DWS)远端访问或读取MRS数据源。 视频介绍 准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 基本流程 本实践预计时长:1小时,基本流程如下:
扩容节点到弹性集群elastic_group中 返回集群管理页面,在指定集群所在行操作列选择“更多 >节点变更> 扩容”。 跳转至扩容页面,可选择扩容3个节点;打开“在线扩容”按钮;选择扩容到逻辑集群,即“elastic_group”。确认无误后,勾选“我已确认”,并单击“下一步:确认”。 单击“提交”,并单击“确定”。
规则,配置熔断参数。 新业务上线 与集群现有业务出现资源争抢,新业务并发、资源消耗不合理时容易造成资源过载导致整体性能劣化。 新业务在测试环境得到充分测试,根据测试结果预估CPU消耗、执行时间、业务并发量等指标,分析新业务执行计划,确保执行计划最优。 当集群性能容量超过风险值时,
自PGHOST环境变量;如果没有设置,将启动某个Unix域套接字建立连接。 该参数只针对集群外,对集群内本机只能用127.0.0.1。 -p, --port=PORT 指定服务器所监听的TCP端口或本地Unix域套接字后缀,以确保连接。默认值设置为PGPORT环境变量。 -U, --username=NAME
_colupdate控制是否开启,默认关闭。 列存轻量化UPDATE在以下场景不能使用:更新索引列,更新主键列,更新分区列,更新PCK列和在线扩容,会自动转化为普通UPDATE方式。 列存轻量化UPDATE与后台列存AUTOVACUUM并发会小概率报错,可以通过ALTER TAB
的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在HDFS文件系统上,从而提高整体导出性能。 准备环境 已创建DWS集群,需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内,确保集群网络互通。 创建MRS分析集群 登录华为云控制台,选择“大数据
取值范围:整型,1GB~256GB,默认单位为GB。安装时最小值不得小于1GB。 默认值:max_process_memory/8 此参数需根据环境内存及部署方式具体配置,过大会造成OOM,过小会降低通信库性能。 comm_client_bind 参数说明:通信库客户端发起连接时是否使用bind绑定指定IP。
如果out_filename_prefix和location中都指定了管道名,则以location中指定的管道文件名为准。 指定文件名前缀需合法,符合GDS部署物理环境使用的文件系统的约束,否则出现文件创建失败: 指定的导出文件名前缀中不含有非法字符,其中非法字符包含但不限于'/', '?', '*', ':'
显示创建集群时所选择的可用分区信息。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 GaussDB(DWS)集群创建成功后,其虚拟私有云将不能更改为其他的虚拟私有云,但是您可以编辑和修改当前的虚拟私有云。单击此处的虚拟