检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤三:连接GaussDB(DWS)集群并导入数据进行分析 使用SQL编辑器连接GaussDB(DWS)数据库,并创建OBS外表,通过OBS外表将OBS桶数据导入GaussDB(DWS)集群,并进行简单SQL查询。 准备工作 已注册账号并实名认证,且在使用GaussDB(DWS) 前检查账号状态,账号不能处于欠费或冻结状态。
本实践预计时长40分钟,基本流程如下: 准备工作 创建ECS 创建集群并下载工具包 使用GDS导入数据源 通过外表导入远端DWS数据 准备工作 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,账号不能处于欠费或冻结状态。 创建ECS 参见自定义购买弹性云服务器购买。购买后,参见登录Linux弹性云服务器进行登录。
Hive对接HDFS场景:将product_info.txt文件导入到HDFS路径/user/hive/warehouse/demo.db/product_info/,有关导入数据到MRS集群的操作,请参见《MapReduce服务用户指南》中的管理数据文件章节。 创建ORC表,并将数据导入ORC表。 执行以下SQL语句创建ORC表。
错误原因:删除一个文件的目录项失败。 解决办法:检查字典文件路径和格式,且确保用户有操作权限。 GAUSS-04669: "could not seek xdb file : %m" SQLSTATE: XX000 错误原因:设置字典文件指针读取位置失败。 解决办法:检查字典文件路径和格式,且确保用户有操作权限。
返回MRS集群页面,单击集群名称进入集群详情界面。 单击“文件管理 > HDFS文件列表”,在user/hive/warehouse/product_info_orc路径下查看导出的ORC格式文件。 GaussDB(DWS)导出ORC数据的文件格式规则如下: 导出至MRS(HDFS):从DN
PGXC_BULKLOAD_PROGRESS PGXC_BULKLOAD_PROGRESS显示导入业务的执行进度,仅支持GDS普通文件导入业务。需要有系统管理员权限才可以访问此视图 表1 PGXC_BULKLOAD_PROGRESS字段 名称 类型 描述 session_id bigint
错误原因:COPY数据文件签名无法识别。 解决办法:COPY数据文件被破坏,请检查文件。 GAUSS-01232: "invalid COPY file header (missing flags)" SQLSTATE: 22P04 错误原因:COPY数据丢失文件头。 解决办法:COPY数据文件被破坏,请检查文件。
创建用户gds_user及其所属的用户组gdsgrp。此用户用于启动GDS,且需要拥有读取数据源文件目录的权限。 groupadd gdsgrp useradd -g gdsgrp gds_user 修改工具包以及数据源文件目录属主为创建的用户gds_user及其所属的用户组gdsgrp。 chown
READ ONLY foreign table" SQLSTATE:无 错误原因:自定义换行符不能用于非TEXT格式的copy导入或只读外表。 解决办法:请检查copy导入或只读外表的设置的文件格式,确保为TEXT格式。 GAUSS-05163: "EOL specification
错误原因:通信库监听端口创建失败。 解决办法:实例启动失败退出。 GAUSS-04302:"init sctp for stream failed, maybe sctp port already in use" SQLSTATE: XX000 错误原因:通信库监听端口被占用。 解决办法:修改安装部署xml配置文件的端口配置。
由于管道“读取即删除”的特点,需确保导入或导出过程中除GDS程序外无其他程序读取管道文件,避免导入过程中数据丢失或者任务报错及导出的文件内容混乱。 不支持对具有相同Location的外表并发导入导出,即GDS的多个线程同时读取管道文件或者同时写入管道文件。 GDS的单个导入导出任务只识别一个管道文件,因此不要对GDS外表设置带有通配符({}[]
错误原因:DROP ROLE失败,删除当前schema失败。 解决办法:不能删除当前用户。 GAUSS-00612: "current user cannot be dropped" SQLSTATE: 55006 错误原因:DROP ROLE失败,当前用户不能被删除。 解决办法:不能删除当前用户。
支持SSL模式。 数据同步结束时只校验数据行数,不校验数据内容。 业务最大并发数不能大于GDS启动参数-t的一半,同时也不能大于max_active_statements,否则可能会导致业务超时失败。 使用前准备 配置两个集群互连。 规划部署GDS服务器,确保所有的GDS服务器可
实例名称。 count bigint 归档中已删除的残留文件数量。本地路径的残留文件统计所删除的文件数,OBS路径的残留文件统计所删除的表目录数量。 size bigint 归档中已删除的残留文件总大小,单位为byte。OBS路径的残留文件该项均为0。 示例: 1 2 3 4 5 6 7
42601 错误原因:null导入参数设置为空格或者问号,同时又将compatible_illegal_chars设置为true,标识导入非法字符兼容。由于导入非法字符兼容会将非法字符转换为空格或者问号,所以会与null参数混淆引发潜在的导入错误。 解决办法:将null设置为非空格
错误原因:HDFS表导入过程中,关闭新写入的DFS文件失败。 解决办法:在对应DN日志中查看具体原因信息。 GAUSS-04718: "The start index is over the limit." SQLSTATE: 22000 错误原因:在HDFS表导入数据时,将上层的数
SQLSTATE: 无 错误原因: 执行命令失败。 解决办法: 1.检查命令是否正确;2.检查是否有权限执行命令。 GAUSS-51401 : "Failed to do %s.sh." SQLSTATE: 无 错误原因: 执行shell脚本失败。 解决办法: 1.检查命令是否正确;2.检查是否有权限执行命令;3
错误原因:COPY操作不支持行触发器。 解决办法:请勿在COPY中使用行触发器。 GAUSS-01230: "could not open file '%s' for reading: %m" SQLSTATE: XX000 错误原因:打开文件失败。 解决办法:通过错误码,检查文件打开失败的原因并进行修正(不存在,无权限,磁盘空间满等)。
bc:gaussdb://host:port/database,彻底解决了和开源jar包的冲突。 针对JDBC引入的jar和应用程序中引入jar的冲突,可以通过maven的shade修改了jar中类的路径,解决此类冲突。 排查使用的JDBC驱动是gsjdbc4.jar还是gsjdbc200
日志段文件数量。每个日志文件大小为16MB。 参数类型:SIGHUP 取值范围:整型,最小值1 默认值:64 提升此参数可加快大数据的导入速度,但需要结合checkpoint_timeout、shared_buffers这两个参数统一考虑。这个参数同时影响WAL日志段文件复用数量