数据导入/导出-华为云

云搜索服务 CSS-ES-Hadoop导数据时报"Could not write all entries"异常:解决方案

解决方案建议根据实际情况调整客户端的并发写入请求数（调整到一个合适的阈值），另外被rejected的http请求ES-Hadoop是有重试机制的，可修改以下参数: “es.batch.write.retry.count”：默认重试3次。 “es.batch.write.retry.wait”：每次重试等待时间10s。如果对查询的实时性级别要求不高的话，可以调整下分片刷新的时间（默认是每秒刷新一次），提高写入速度。 PUT /my_logs { "settings": { "refresh_interval": "30s" } }

云搜索服务 CSS 数据导入导出类

数据仓库服务 GAUSSDB(DWS)-GDS导入/导出类问题:区域支持

区域支持区域支持指的是应用遵守文化偏好的问题，包括字母表、排序、数字格式等。区域是在使用initdb创建一个数据库时自动被初始化的。默认情况下，initdb将会按照它的执行环境的区域设置初始化数据库，即系统已经设置好的区域。如果想要使用其他的区域，可以使用手工指定（initdb –locale=xx）。如果想要将几种区域的规则混合起来，可以使用以下区域子类来控制本地化规则的某些方面。这些类名转换成initdb的选项名来覆盖某个特定分类的区域选择。表1 区域支持字段描述 LC_COLLATE 字符串排序顺序。 LC_CTYPE 字符分类（什么是一个字符？它的大写形式是否等效？） LC_MESSAGES 消息使用的语言Language of messages。 LC_MONETARY 货币数量使用的格式。 LC_NUMERIC 数字的格式。 LC_TIME 日期和时间的格式。

数据仓库服务 GAUSSDB(DWS) 数据导入/导出

数据仓库服务 GAUSSDB(DWS)-GDS导入/导出类问题:字符集

字符集 PG里面的字符集支持各种字符集存储文本，包括单字节字符集，比如ISO 8859系列，以及多字节字符集，比如EUC（扩展Unix编码Extended Unix Code）、UTF-8和Mule内部编码。MPPDB中目前主要使用的字符集包括GBK、UTF-8和LATIN1。所有被支持的字符集都可以被客户端透明地使用，但少数只能在服务器上使用（即作为一种服务器端编码，GBK编码在PG中只是客户端编码，不是服务端编码，MPPDB将GBK引入到服务端编码，这是很多问题的根源）。默认的字符集是在使用initdb初始化PG数据库时选择的。在创建一个数据库实例时可以重载字符集，因此可能会有多个数据库实例并且每一个使用不同的字符集。一个重要的限制是每个数据库的字符集必须和数据库LC_CTYPE（字符分类）和LC_COLLATE （字符串排序顺序）设置兼容。对于C或POSIX，任何字符集都是允许的，但是对于其他区域只有一种字符集可以正确工作。不过，在Windows上UTF-8编码可以和任何区域配合使用。 SQL_ASCII设置与其他设置表现得相当不同。如果服务器字符集是SQL_ASCII，服务器把字节值0-127根据ASCII标准解释，而字节值128-255则当作无法解析的字符。如果设置为SQL_ASCII，就不会有编码转换。因此，这个设置基本不是用来声明所使用的指定编码，因为这个声明会忽略编码。在大多数情况下，如果使用了任何非ASCII数据，那么使用SQL_ASCII设置都是不明智的，因为PG将无法帮助你转换或者校验非ASCII字符。数据库系统支持某种编码，主要涉及三个方面：数据库服务器支持，数据访问接口支持以及客户端工具支持。数据库服务器字符编码数据库服务器支持某种编码，是指数据库服务器能够从客户端接收、存储以及向客户端提供该种编码的字符（包括标识符、字符型字段值），并能将该种编码的字符转换到其它编码（如UTF-8编码转到GBK编码）。指定数据库服务器编码：创建数据库时指定：CREATE DATABASE … ENCODING … //可以取ASCII、UTF-8、EUC_CN、……；查看数据库编码：show server_encoding。数据库访问接口编码数据库访问接口支持某种编码，是指数据库访问接口要做到能对该种编码的字符进行正确读写，不应出现数据丢失、数据失真等情况。以JDBC接口为例： JDBC接口一般根据JVM的file.encoding设置client_encoding：set client_encoding to file_encoding；将String转换成client_encoding编码的字节流，传给服务器端：原型String.getBytes(client_encoding) ；收到服务器的字节流后，使用client_encoding构造String对象作为getString的返回值给应用程序：原型String(byte[], …, client_encoding)。客户端编码客户端工具支持某种编码，是指客户端工具能够显示从数据库读取该种编码的字符，也能通过本工具将该种编码的字符提交到服务器端。指定会话的客户端编码：SET CLIENT_ENCODING TO 'value'；查看数据库编码：Show client_encoding。

数据仓库服务 GAUSSDB(DWS) 数据导入/导出

数据仓库服务 GAUSSDB(DWS)-使用GDS传输数据的过程中，报错：connection failure error:原因分析

原因分析 GDS进程崩溃。执行命令检查GDS进程是否崩溃： ps ux|grep gds 如果返回结果如下，则说明GDS进程启动成功： GDS启动参数-H配置不正确。 -H address_string：允许哪些主机连接和使用GDS服务。参数需为CIDR格式。此参数配置的目的是允许 GaussDB (DWS)集群可以访问GDS服务进行数据导入，请保证所配置的网段包含GaussDB(DWS)集群各主机。

数据仓库服务 GAUSSDB(DWS) 数据导入/导出

数据仓库服务 GAUSSDB(DWS)-通过CDM将MySQL数据导入GaussDB(DWS)时出现字段超长，数据同步失败:原因分析

原因分析 MySQL5.0.3之前varchar(n)这里的n表示字节数。 MySQL5.0.3之后varchar(n)这里的n表示字符数，比如varchar(200)，不管是英文还是中文都可以存放200个。 GaussDB(DWS)的varchar(n)这里的n表示字节数。根据字符集，字符类型如果为gbk，每个字符占用2个字节；字符类型如果为utf8，每个字符最多占用3个字节。根据转换规则，同样的字段长度，会导致GaussDB(DWS)出现字段超长的问题。

数据仓库服务 GAUSSDB(DWS) 数据导入/导出

数据仓库服务 GAUSSDB(DWS)-数据如何存储到数据仓库服务？

数据如何存储到数据仓库服务？ GaussDB(DWS)支持多数据源高效入库，典型的入库方式如下所示。详细指导请参见导入数据。从OBS导入数据。数据上传到OBS 对象存储服务中，再从OBS中导入，支持 CS V，TEXT格式数据。通过INSERT语句直接插入数据。用户可以通过GaussDB(DWS)提供的客户端工具（gsql）或者JDBC/ODBC驱动从上层应用向GaussDB(DWS)写入数据。GaussDB(DWS)支持完整的数据库事务级别的增删改(CRUD)操作。这是最简单的一种方式，这种方式适合数据写入量不太大，并发度不太高的场景。从 MRS 导入数据，将MRS作为ETL。通过COPY FROM STDIN方式导入数据。通过COPY FROM STDIN命令写数据到一个表。使用GDS从远端服务器导入数据到GaussDB(DWS)。当用户需要将普通文件系统（例如，弹性云服务器）中的数据文件导入到GaussDB(DWS)时，可以使用GaussDB(DWS)提供的GDS导入数据的功能。使用 CDM 迁移数据到GaussDB(DWS)。父主题：数据导入导出

数据仓库服务 GAUSSDB(DWS) 数据导入导出

数据仓库服务 GaussDB(DWS)-数据仓库可以存储多少业务数据？

数据仓库可以存储多少业务数据？数据仓库集群每个节点默认能够支持1.49TB、2.98TB、4.47TB、160GB、1.68TB、13.41TB六种规格的存储容量，一个集群支持的节点数范围为3～256，集群总的存储容量随集群规模等比例扩充。为增强可靠性，每个节点都有一个副本，副本会占用一半的存储空间，选择容量时副本容量会自动翻倍存储。数据仓库系统会备份数据，生成索引、临时缓存文件、运行日志等内容，并占用存储容量。每个节点实际存储的数据，大致为总存储容量的一半。父主题：数据导入导出

数据仓库服务 GaussDB(DWS) 数据导入导出

云服务器内容精选

数据导入/导出

7*24

备案

专业服务

退订

建议反馈

售前咨询热线