检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将导入数据拆分为多个文件 导入大数据量的数据时,通常需要较长的时间及耗费较多的计算资源。 从OBS上导入数据时,如下方法可以提升导入性能:将数据文件存储到OBS前,尽可能均匀地将文件切分成多个,文件的数量为DN的整数倍更适合。 在导入前后验证数据文件 从OBS导入数据时,首先将您的文件上传到O
tput --application-lang -A 字符串 用于迁移的应用程序语言解析器。 SQL:迁移SQL文件中的SQL模式/脚本。 Perl:迁移Perl文件中的BTEQ/SQL_LANG脚本。 SQL Perl SQL --application-lang Perl 或
解决办法:COPY数据文件被破坏,请检查文件。 GAUSS-01233: "unrecognized critical flags in COPY file header" SQLSTATE: 22P04 错误原因:COPY数据文件头无法识别。 解决办法:COPY数据文件被破坏,请检查文件。 GAUSS-01234:
Convertor转换完含有SQL语句的源文件后,在目标GaussDB(DWS)上执行转换后的文件,并生成文件执行成功和失败的明细报告。 Database Schema Convertor完成迁移后,会调用迁移后验证脚本(通过配置项控制)。此验证脚本(配置详情见配置文件)会连接到目标GaussDB数据库并执行。
展示GaussDB(DWS)对于历史详单数据的高性能查询能力。 GaussDB(DWS)已预先将样例数据上传到OBS桶的“traffic-data”文件夹中,并给所有华为云用户赋予了该OBS桶的只读访问权限。 视频介绍 操作流程 本实践预计时长40分钟,基本流程如下: 准备工作
据集,已将数据集上传到了OBS桶的tpch文件夹中,并且已赋予所有华为云用户该OBS桶的只读访问权限,用户可以方便地进行导入。 操作流程 本实践预计时长60分钟,基本流程如下: 准备工作 步骤一:导入公司样例数据 步骤二:多表分析与主题分析 支持区域 当前已上传OBS数据的区域如表1所示。
1.zip 执行如下命令编译生成数据构建工具dbgen。 编译之前需要修改dbgen目录下的两个文件:makefile.suite和tpcd.h 修改makefile.suite文件。 #makefile.suite的更改参数如下(103行-111行): CC = gcc
参数说明:导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_if_no_files=TRUE,则“导入文件不存在”的时候,GaussDB(DWS)将抛出“文件不存在的”错误。 参数类型:SUSET 取值范围:布尔型 on表示导入时区分“导入文件记录数为空”和“导入文件不存在”。
n”,用于指定导出的数据文件存放路径。 不需要指定文件名。 当有多个路径时,若导出数据源数少于路径数时,多余的路径会只生成文件不写入数据。 示例: GDS数据服务器IP为192.168.0.90,假定启动GDS时设置的监听端口为5000,设置的导出后文件存放目录为“/output_data/”。
参数说明:导入时是否区分“导入文件记录数为空”和“导入文件不存在”。raise_errors_if_no_files=TRUE,则“导入文件不存在”的时候,GaussDB(DWS)将上报“文件不存在的”错误。 参数类型:SUSET 取值范围:布尔型 on表示导入时区分“导入文件记录数为空”和“导入文件不存在”。
日志概述 日志文件是DSC所有操作和状态的存储库。支持以下日志文件: SQL迁移日志 DSC.log:SQL迁移的所有活动。 DSCError.log:SQL迁移错误。 successRead.log:SQL迁移中对输入文件的成功读次数。 successWrite.log:SQL迁移中对输入文件的成功写次数。
write offset(%ld), file size(%ld)" SQLSTATE: XX000 错误原因:异步IO写数据文件前检测到文件大小错误。 解决办法:检测文件状态是否正确,可尝试重新执行。 GAUSS-04452: "async write failed, write_count(%ld)
指定要在输出/目标文件中执行的操作。 Overwrite:用于覆盖输出文件夹中的现有文件。 指定是否必须覆盖输出文件夹中的文件。 Delete:用于删除目标文件夹中的所有文件。 Cancel:用于在输出/目标文件夹中存在文件时取消操作。 overwrite delete cancel overwrite t
记录级别。 日志记录 DSC将所有日志、告警和错误信息保存到log文件夹下的perlDSC.log文件中。日志文件包含执行迁移的用户、迁移的文件、时间戳等详细信息。 perlDSC.log的文件结构如下: 2018-07-08 13:35:10 INFO teradatacore
指定分片数,本例为10片。 -child 指定当前是生成分片中的第几片,本例不需修改。 执行以下命令,判断数据文件的生成进度。也可以通过ps ux|grep dsdgen,查看生成数据文件的进程是否退出。 du -sh /data1/script/tpcds-kit/tpcds1000X/*
%u to offset %u: %m" SQLSTATE: XX000 错误原因:文件读写位置跳转失败,可能是访问非法文件描述符。 解决办法:"根据%m给出的提示信息,检查是否存在磁盘故障、文件损坏等相关异常。修复方法:1. 如果是备机出现,等待集群管理软件自动修复实例,若仍不
rk、Tez组件)。 通过将本地txt数据文件上传至OBS桶,再通过OBS桶导入Hive,并由txt存储表导入ORC存储表。 创建MRS数据源连接。 创建外部服务器。 创建外表。 通过外表导入DWS本地表。 创建MRS分析集群 登录华为云控制台,选择“大数据 > MapReduc
Studio前保存文件终端 退出前,Data Studio会提醒用户保存在终端中所做的编辑。 执行以下步骤保存文件终端: 单击Data Studio的“关闭”按钮,弹出“退出应用程序”对话框。 单击“标准退出”。 弹出“保存文件”对话框,会显示未保存的文件终端。 选择需要保存的文件终端。 单击“确定”。
行导入导出文件,所以云上将copy语法禁掉。云上推荐将数据文件放到obs上,使用obs外表进行入库,如果需要使用copy导入导出数据,可以参考如下方法: 将数据文件放到客户端的机器上。 使用gsql连接集群。 执行如下命令导入数据,输入数据文件在客户端的目录信息和文件名,with
使用copy命令或者导入数据时,源数据单行数据的大小超过1GB。 由于源文件中的格式符不成对出现,比如引号,文件格式异常导致系统识别的单行数据过大超过1GB。 处理方法 确保源文件中的引号是成对的。 检查创建外表时命令中参数的取值、格式设置是否合理。 检查源文件单行数据是否超过1GB,参考报错行号进行检查,可根据实际情况手动调整或删除该行数据。