检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不指定group_name时,默认指定的字符串为“Medium”,代表指定DefaultClass控制组的“Medium”Timeshare控制组。 若数据库管理员指定自定义Class组下的Workload控制组,如control_group的字符串为:“class1:workload1”;代表此资源池指定到c
通过外表导入远端DWS数据 准备工作 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,账号不能处于欠费或冻结状态。 创建ECS 参见自定义购买弹性云服务器购买。购买后,参见登录Linux弹性云服务器进行登录。 创建ECS过程中,注意选择与后续的DWS集群在同一个区域、可用区(
Studio使用过程中的连接问题,下例说明。 创建数据库连接。 执行查询。 当任一数据库(PostgreSQL)出现连接异常,该连接关闭。当数据库连接关闭时,所有打开的过程和函数窗口也会关闭。 系统显示错误提示,“对象浏览器”导航树显示数据库状态: 只有当前数据库会中断。其他数据库仍保持连接状态,或重新连接。 重新连接数据库继续执行查询。
根据错误表中的提示诊断加载错误并更正这些错误。 视频介绍 准备ECS作为GDS服务器 购买Linux弹性云服务器的操作步骤,请参见《弹性云服务器快速入门》中的自定义购买弹性云服务器。购买后,请参见登录Linux弹性云服务器进行登录。 ECS操作系统必须是GDS工具包所支持的操作系统。 ECS与DWS处于同一区域、同一虚拟私有云和子网。
3842,very good 在MRS集群上创建Hive ORC表 创建了MRS集群。 具体操作请参见《MapReduce服务管理指南》的购买自定义集群。 下载客户端。 在MRS集群页面,单击集群名称进入“概览”,单击“前往Manager”,如果提示绑定公网IP,请先绑定公网IP。 输入MRS
图1 在MRS上查看数据存储路径 获取MRS数据源连接的外部服务器信息 使用创建外部服务器的用户去连接其对应的数据库。 是否使用普通用户在自定义数据库中创建外表,请根据需求进行选择: 是 请先确保,您已按照手动创建外部服务器章节中的步骤,创建了普通用户dbuser和它的数据库myd
Connector来实时消费Binlog,具体请参见DWS-Connector。 如果已使用其他同步工具已经将全量数据同步到了目标端,后续只想进行增量同步。则可以调用以下系统函数来更新同步点。 1 SELECT * FROM pg_catalog.pgxc_register_full_sync_point('table_name'
接数管理,释放无用会话。 关于查看用户会话连接数的方法如表1。 会话状态可以在视图PG_STAT_ACTIVITY中查看。无用会话可以使用函数pg_terminate_backend进行释放。 select datid,pid,state from pg_stat_activity;
参数值 名称 dli_dws 类型 SQL队列 单击“下一步”,单击“确定”。队列创建成功。 上传源数据到OBS桶。 已创建OBS桶,桶名自定义,例如dli-obs01(如果桶名已被占用,可设为dli-obs02,依次叠加),区域选择华北-北京四。 下载数据样例文件。 在OBS桶中
在OBS数据源页面,单击“创建OBS数据源连接”,填写配置参数。 表1 OBS数据源连接参数说明 参数名称 说明 数据源名称 要创建的OBS数据源连接名称,由用户自定义。 该数据源名称作为后续创建OBS外表语句中指定的server名称。 OBS委托 当前用户授权给DWS服务的具有OBS OperateAccess权限的委托。
Set查询重写规则(从主查询中下推条件到提升的子链接)。 uniquecheck : 使用Unique Check重写规则(允许目标列不含聚集函数的表达式子链接场景提升,需在子链接按关联列聚集后目标列值唯一才能开启,建议专业调优人员使用)。 disablerep : 使用禁止复制表的
创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。 表1 软件配置 参数项 取值 区域 华北-北京四 集群名称 mrs_01 版本类型 普通版 集群版本
rows) 数据分布倾斜的问题得到解决。 除了table_skewness()视图外,当前版本还提供了table_distribution函数和PGXC_GET_TABLE_SKEWNESS视图,可以更加高效的查询各表的数据倾斜情况。 计算层数据倾斜 即使通过修改表的分布键,使得
免费空间大小是您的集群的总存储空间大小,即单节点存储空间大小 (副本)x 节点数。 数据仓库服务磁盘存储 包年/包月集群在可选范围内自定义集群使用的存储类型与存储容量,采用存储资源包年/包月独立计费的方式。 说明: 即创建集群以及创建成功后集群详情界面显示的热存储(含缓存)该存储为磁盘存储,与OBS存储不同。
表的膨胀情况: 1 SELECT * FROM pgxc_get_hstore_delta_info('tableName'); 通过函数对Delta表做轻量清理以及全量清理。 轻量Merge满6万的I记录以及CU上的删除信息,持有四级锁不阻塞业务增删改查,但空间不会还给系统。
rows) 数据分布倾斜的问题得到解决。 除了table_skewness()视图外,当前版本还提供了table_distribution函数和PGXC_GET_TABLE_SKEWNESS视图,可以更加高效的查询各表的数据倾斜情况。 计算层数据倾斜 即使通过修改表的分布键,使得
作。 SQL代换的示例和详细说明请参见SQL代换。 自定义提示符 gsql使用的提示符支持用户自定义。可以通过修改gsql预留的三个变量PROMPT1、PROMPT2、PROMPT3来改变提示符。 这三个变量的值可以用户自定义,也可以使用gsql预定义的值。详细请参见提示符。 客户端操作历史记录
授予当前委托所需的权限策略,单击“新建策略”。 配置策略信息。输入策略名称,本例:dli_ac_obs,选择“JSON视图”。 在策略内容中粘贴自定义策略。“OBS桶名”替换为实际的桶名。 { "Version": "1.1", "Statement": [
C子网内,确保集群网络互通。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduce服务”,单击“购买集群”,选择“自定义购买”,填写软件配置参数,单击“下一步”。 表1 软件配置 参数项 取值样例 区域 华北-北京四 集群名称 mrs_01 集群版本 MRS
分区)来极大提升I/O效率,不走分区剪枝常见的情况有: 未设计成分区表。 设计了分区没使用分区键做过滤条件。 分区键做过滤条件时,对列值有函数转换。 触发因素:未合理使用分区表和分区剪枝功能,导致扫描效率低。 处理方式: 对按照时间特征存储和访问的大表设计成分区表。 分区键一般选