检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过CDM将MySQL数据导入GaussDB(DWS)时出现字段超长，数据同步失败 问题现象 MySQL 5.x版本字段长度varchar(n)，用CDM同步数据到GaussDB(DWS)，同样设置长度为varchar(n) ，但是会出现字段超长，数据同步失败的问题。 原因分析 MySQL5
理控制台提供了客户端所需的SSL证书，该SSL证书包含了客户端所需的默认证书、私钥、根证书以及私钥密码加密文件。 服务器配置 GaussDB(DWS) 在集群部署完成后，默认已开启SSL认证模式。服务器端证书，私钥以及根证书已经默认配置完成。 SSL证书和客户端配置 用户需要配置客户端配置。
保证单文件导入速率最大化。 提前做好服务部署规划，数据服务器上，建议一个Raid只布1~2个GDS。GDS跟DN的数据比例建议在1:3至1:6之间。一台加载机的GDS进程不宜部署太多，千兆网卡部署1个GDS进程即可，万兆网卡机器建议部署不大于4个进程。 提前对GDS导入导出的数据
gs_restore工具在导入时，允许用户选择需要导入的内容，并支持在数据导入前对等待导入的内容进行排序。 操作步骤 gs_restore默认是以追加的方式进行数据导入。为避免多次导入造成数据异常，在进行导入时，建议使用“-e”和“-c”参数，即导入前删除已存在于待导入数据库中的数据库对
导入过程存储倾斜即时检测 导入过程中对DN导入行数进行统计，导入完成后计算倾斜率，超过一定阈值时，立即进行告警。倾斜率通过（DN导入行数最大值-DN导入行数最小值）/导入总行数计算。目前，只支持INSERT和COPY导入。 必须设置enable_stream_operator=o
如何使用GaussDB(DWS)的\copy导入导出？ 由于云上GaussDB(DWS)是全托管服务，用户无法登录后台，无法使用copy进行导入导出文件，所以云上将copy语法禁掉。云上推荐将数据文件放到obs上，使用obs外表进行入库，如果需要使用copy导入导出数据，可以参考如下方法： 将数据文件放到客户端的机器上。
本教程通过演示将样例数据上传OBS，以及将OBS的数据导入GaussDB(DWS)的目标表中，让您快速掌握如何从OBS导入数据到GaussDB(DWS)集群的完整过程。 GaussDB(DWS)支持通过外表将OBS上TXT、CSV、ORC、PARQUET、CARBONDATA以及JSON格式的数据导入到集群进行查询。
步骤三：连接GaussDB(DWS)集群并导入数据进行分析 使用SQL编辑器连接GaussDB(DWS)数据库，并创建OBS外表，通过OBS外表将OBS桶数据导入GaussDB(DWS)集群，并进行简单SQL查询。 准备工作 已注册账号并实名认证，且在使用GaussDB(DWS)
取值范围：normal，pipe。缺省为normal。 参数为normal，表示导入或者导出的文件类型为普通文件。 参数为pipe，表示导入或者导出的文件类型为命名管道文件。 file_sequence 用于多任务GDS外表并行导入，提升单个文件的导入性能。该参数仅供数据导入使用。 格式为file_sequence '文件被拆分的总数-当前分片'
file_sequence 用于多任务GDS外表并行导入，提升单个文件的导入性能。该参数仅供数据导入使用。 格式为file_sequence '文件被拆分的总数-当前分片' 。例如： file_sequence '3-1' 表示导入的文件在逻辑上被拆分成3份，当前外表导入的数据为第一个分片上的数据。 file_sequence
如何实现GaussDB(DWS)不同编码库之间数据容错导入 要实现从数据库A（UTF8编码）至数据库B（GBK编码）的数据导入，常规方法导入数据时会出现字符集编码不匹配的错误，导致数据无法导入。 针对小批量数据导入的场景，可以通过\COPY命令来完成，具体方法如下： 创建数据库A
x。 在实际导入导出数据时，location参数使用建议如下： 导入时“location”建议指定到具体文件名。如果仅指定到OBS桶或目录，则会导入其中的所有文本文件。当数据格式不正确时，则会报错。如果设置了容错，则容错表可能导入大量数据。 支持OBS单桶多文件导入，根据文件名前缀进行匹配，匹配到的文件都会被导入。
ALTER FOREIGN TABLE (GDS导入导出) 功能描述 对外表进行修改。 注意事项 无。 语法格式 设置外表属性 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS ( {[ ADD | SET
的数据同步，需要总事务提交后才能查询到数据同步结果。 删除互联互通外表。 DROP FOREIGN TABLE ft_tbl; 父主题： 导入数据
GaussDB(DWS)导入性能都和哪些因素有关联？ dws的导入性能受多方面因素影响，主要有以下几点： 集群规格：磁盘io、网络吞吐、内存、cpu规格等。 业务规划：表字段的类型、是否压缩、行存还是列存。 数据存储：集群本地、OBS等。 数据导入的方式选择等。 父主题： 数据迁移
format 'text', delimiter '|', encoding 'utf8', mode 'Normal' ); 导入SSB数据 执行以下命令导入数据。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
ALTER FOREIGN TABLE (GDS导入导出) 功能描述 对外表进行修改。 注意事项 无。 语法格式 设置外表属性 1 2 ALTER FOREIGN TABLE [ IF EXISTS ] table_name OPTIONS ( {[ ADD | SET
本实践预计时长40分钟，基本流程如下： 准备工作 创建ECS 创建集群并下载工具包 使用GDS导入数据源 通过外表导入远端DWS数据 准备工作 已注册华为账号并开通华为云，具体请参见注册华为账号并开通华为云，账号不能处于欠费或冻结状态。 创建ECS 参见自定义购买弹性云服务器购买。购买后，参见登录Linux弹性云服务器进行登录。
在Hive端插入数据或者通过将本地txt数据文件上传至OBS桶，再通过OBS桶导入Hive，并由txt存储表导入ORC存储表。 创建MRS数据源连接。 创建外部服务器。 创建EXTERNAL SCHEMA。 通过EXTERNAL SCHEMA对Hive表进行导入或者读取操作。 创建MRS集群 登录华为云控制台，选择“大数据
到不同路径下。ORC格式文件大小最大为128MB，Stripe大小最大为64MB。 导出完成后会生成_SUCCESS标记文件。 父主题： 导入导出
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
