检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
GDS来帮助分发待导入的用户数据及实现数据的高速导入。GDS需部署到数据服务器上。 数据量大,数据存储在多个服务器上时,在每个数据服务器上安装配置、启动GDS后,各服务器上的数据可以并行入库。GDS在各台数据服务器上的安装配置和启动方法相同,本节以一台服务器为例进行说明。 背景信息
适用于高并发、大量数据导出的场景。 当前版本的GDS支持从数据库导出到管道文件,该功能使GDS的导出更加灵活多变。 当GDS用户的本地磁盘空间不足时: 通过管道文件将从GDS导出的数据进行压缩减少磁盘空间。 通过管道直接将导出来的数据放到hdfs服务器上。 当用户导出前需要清洗数据时:
根据错误表中的提示诊断加载错误并更正这些错误。 视频介绍 准备ECS作为GDS服务器 购买Linux弹性云服务器的操作步骤,请参见《弹性云服务器快速入门》中的自定义购买弹性云服务器。购买后,请参见登录Linux弹性云服务器进行登录。 ECS操作系统必须是GDS工具包所支持的操作系统。
用或客户端的导入SQL指令后,负责任务的规划及下发到DN。 DN(Datanode):GaussDB(DWS)数据节点。接收CN下发的导入任务,将数据源文件中的数据通过外表写入数据库目标表中。 数据源文件:存有数据的文件。文件中保存的是待导入数据库的数据。 数据服务器:数据源文件
pSQL实时监控视图的会话中,开启控制子语句记录归档功能的GUC参数enable_track_record_subsql,不论业务语句中是否开启子语句监控开关,查询TopSQL实时监控视图的结果都能看到执行语句的子语句运行信息。 关于存储过程中子语句的监控功能即enable_track_record_subsql,8
数据源文件中的列数比外表定义的列数少。 对于TEXT格式的数据源文件,由于转义字符(\)导致delimiter(分隔符)错位或者quote(引号字符)错位造成的错误。 示例:目标表存在3列字段,导入的数据如下所示。由于存在转义字符“\”,分隔符“|”被转义为第二个字段的字段值,导致第三个字段值缺失。
GDS是GaussDB(DWS)提供的数据服务工具,通过和外表机制的配合,实现数据的高速导出。 安装配置和启动GDS操作步骤如下,详细内容请参见安装配置和启动GDS。 操作步骤 在使用GDS导入/导出数据前,请先参考教程:使用GDS从远端服务器导入数据中的步骤:“准备ECS作为GDS服务器”、“下载GDS工具包”。
这个值是从query_band的字段中取出来的,位置0。 job_inst String 这个值是从query_band的字段中取出来的,位置1。 user_name String 连接到后端的用户名。 application_name String 连接到后端的应用名。 client_address
pSQL实时监控视图的会话中,开启控制子语句记录归档功能的GUC参数enable_track_record_subsql,不论业务语句中是否开启子语句监控开关,查询TopSQL实时监控视图的结果都能看到执行语句的子语句运行信息。 关于存储过程中子语句的监控功能即enable_track_record_subsql,8
实时TopSQL 系统提供了不同级别的资源监控实时视图用来查询实时TopSQL。资源监控实时视图记录了查询作业运行时的资源使用情况(包括内存、下盘、CPU时间等)以及性能告警信息。 实时视图具体的对外接口如下表所示: 表1 资源监控实时视图 视图级别 节点范围 查询视图 query级别/perf级别
参数类型 描述 offset 是 Integer 偏移量,表示从此偏移量开始查询,offset>=0。 limit 是 Integer 每页显示的条目数量,最大1000。 from 是 Long 采集开始时间,13位时间戳。 to 是 Long 采集结束时间,13位时间戳。开始时间到结束时间最多不超过一天。
实时查询功能默认不开启,启动实时查询功能需要在“监控设置 > 监控采集”页面打开“实时查询监控”指标项,操作详情请参见监控采集。开启实时查询后可能会导致数据量过大,请谨慎操作。 历史查询功能默认不开启,启动历史查询功能需要在“监控设置 > 监控采集”页面打开“历史查询监控”指标项,操作详情请参见监控采集。开启历史
磁盘监控告警阈值太低,告警频繁 问题现象 DWS集群磁盘使用率达到80%就出现告警,告警频繁。 原因分析 集群配置的告警监控阈值不合理。 处理方法 可在GaussDB(DWS)管理控制台设置告警的触发条件,指定达到磁盘使用率、告警持续时间及告警频次。 集群磁盘使用率达到90%就会
这个值是从query_band的字段中取出来的,位置0。 job_inst String 这个值是从query_band的字段中取出来的,位置1。 user_name String 连接到后端的用户名。 application_name String 连接到后端的应用名。 client_address
参数类型 描述 offset 是 Integer 偏移量,表示从此偏移量开始查询,offset>=0。 limit 是 Integer 每页显示的条目数量,最大1000。 order_by 否 String 排序字段。固定取值。 create_time:创建时间。 sort_by 否 String
录不全。 在某些异常的情况下,历史TopSQL中的状态信息列可能会显示为unknown,其记录的监控信息会导致不准确。 历史TopSQL能够记录的SQL语句的规格与实时TopSQL能够记录的SQL语句的规格一致。请参考实时TopSQL中能够记录的SQL语句的规格。 历史TopSQ
创建弹性云服务器ECS和数据仓库GaussDB(DWS) 创建弹性云服务器ECS 创建数据仓库GaussDB(DWS) 父主题: 测试方法
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询表倾斜率或脏页率成功。 400 请求错误。 401
含义:查询query级别的SQL语句的Memory峰值实时信息(语句在所有DN上的每秒最大Memory峰值,在所有DN上的每秒平均Memory峰值,在DN间的Memory倾斜率) 实时TopSQL资源监控信息的更多查询示例,请参见实时TopSQL。 等待3中的SQL执行完成,然后查询该语句执行期间的资源监控历史信息。
含义:查询query级别的SQL语句的Memory峰值实时信息(语句在所有DN上的每秒最大Memory峰值,在所有DN上的每秒平均Memory峰值,在DN间的Memory倾斜率) 实时TopSQL资源监控信息的更多查询示例,请参见实时TopSQL。 等待3中的SQL执行完成,然后查询该语句执行期间的资源监控历史信息。