检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
处理导入错误 操作场景 当数据导入发生错误时,请根据本文指引信息进行处理,错误表只能记录数据格式错误。 查询错误信息 数据导入过程中发生的错误,一般分为数据格式错误和非数据格式错误。 数据格式错误 在创建外表时,通过设置参数“LOG INTO error_table_name”,
dfs_server 外表的外部服务器名称,这个server必须存在。外表通过设置外部服务器连接OBS读取数据。 此处应填写为参照创建外部服务器创建的外部服务器名称。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。 “format”:表示对应的OBS服务上的文件格式,支持“
创建OBS外表 操作步骤 根据规划导出数据中规划的路径,由此确定创建外表时使用的参数location的值。 用户获取OBS访问协议对应的AK值和SK值。 获取访问密钥,请登录管理控制台,单击右上角的用户名并选择菜单“我的凭证”,然后在左侧导航树单击“管理访问密钥”。在访问密钥页面
创建OBS外表 操作步骤 根据上传数据到OBS中规划的路径,由此确定创建外表时使用的参数loaction的值。 用户获取OBS访问协议对应的AK值和SK值。获取访问密钥,请登录管理控制台,单击右上角的用户名并选择菜单“我的凭证”,然后在左侧导航树单击“访问密钥”。在访问密钥页面,
在执行数据导入前,您可以参考以下优秀实践方法进行合理的设计部署,最大化的使用系统资源,以提高数据导入性能。 OBS的数据导入性能,多数场景受限于网络的并发访问速率,因此在OBS服务器上最好部署多个桶,使用多桶并发导入,提高DN数据传输利用率。 并发导入场景,与单表导入相似,至少应保证I/O性能大于网络最大速率。 配置
customer_address_ext用于接收数据服务器上的数据。 假设OBS数据服务器与集群网络连接正常,OBS数据服务器IP为xxx.xxx.x.xx,数据源文件格式为CSV,规划的并行导入与示例保持一致。 其中设置的导入信息如下所示: 由于OBS服务器上的数据源文件存放目录为“/input-data1/data/
登录OBS管理控制台。 单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。 获取数据源文件的OBS路径。 数据源文件在上传到OBS桶之后,会生成全局唯一的访问路径。在创建外表时需要指定数据源文件的OBS路径。 如何查看OBS路径,请参见《对象存储服务控制台指南》的通过对象URL访问对象章节。
登录OBS管理控制台。 单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。 创建桶。 如何创建OBS桶,具体请参见《对象存储服务控制台指南》中的创建桶章节。 例如,创建以下两个桶:“mybucket”和“mybucket02”。 新建文件夹。 具体请参见《对象存储服务控制台指南》中的新建文件夹章节。
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB
选择事件源类型:集群、快照。 在“消息通知主题名称”下拉框中,选择一个消息通知主题。 所选择的消息通知主题,必须已授予GaussDB(DWS) 服务向该主题发布消息的权限。 如果所选主题尚未给GaussDB(DWS) 授权,请前往消息通知服务的主题管理页面设置主题策略授权。详细操作请参见《消息通知服务用户指
将导出文件发送至指定目录文件夹。如果这里省略,则使用标准输出。 -f /home//backup/MPPDB_backup.tar -p 指定服务器所监听的TCP端口或本地Unix域套接字后缀,以确保连接。 -p 8000 -h “集群地址”如果通过公网地址连接,请指定为集群“公网访
通过外表查询OBS上的数据 直接查询外表查看OBS上的数据 如果数据量较少,可直接使用SELECT查询外表,即可查看到OBS上的数据。 执行以下命令,则可以从外表查询数据。 1 SELECT * FROM product_info_ext_obs; 查询结果显示与原始数据显示相
将导出文件发送至指定目录文件夹。如果这里省略,则使用标准输出。 -f /home//backup/MPPDB_schema_backup -p 指定服务器所监听的TCP端口或本地Unix域套接字后缀,以确保连接。 -p 8000 -h “集群地址”如果通过公网地址连接,请指定为集群“公网访
将导出文件发送至指定目录文件夹。如果这里省略,则使用标准输出。 -f /home//backup/MPPDB_table_backup -p 指定服务器所监听的TCP端口或本地Unix域套接字后缀,以确保连接。 -p 8000 -h “集群地址”如果通过公网地址连接,请指定为集群“公网访
将导出文件发送至指定目录文件夹。如果这里省略,则使用标准输出。 -f /home//backup/MPPDB_tablespace.sql -p 指定服务器所监听的TCP端口或本地Unix域套接字后缀,以确保连接。 -p 8000 -h “集群地址”如果通过公网地址连接,请指定为集群“公网访
将导出文件发送至指定目录文件夹。如果这里省略,则使用标准输出。 -f /home//backup/postgres_backup.tar -p 指定服务器所监听的TCP端口或本地Unix域套接字后缀,以确保连接。 -p 8000 -h “集群地址”如果通过公网地址连接,请指定为集群“公网访
将导出文件发送至指定目录文件夹。如果这里省略,则使用标准输出。 -f /home/dbadmin/backup/MPPDB_backup.sql -p 指定服务器所监听的TCP端口或本地Unix域套接字后缀,以确保连接。 -p 8000 -h “集群地址”如果通过公网地址连接,请指定为集群“公网访
警。在“消息通知主题名称”下拉框中,选择一个消息通知主题。 如需创建新主题,请单击“创建新主题”按钮,系统将跳转到消息通知服务控制台页面,具体请参见《消息通知服务用户指南》中的创建主题章节。 所选择的消息通知主题,必须已授予GaussDB(DWS) 服务向该主题发布消息的权限。如
数据迁移 GaussDB(DWS)的OBS外表与GDS外表支持的数据格式有什么区别? 数据如何存储到GaussDB(DWS)? GaussDB(DWS)可以存储多少业务数据? 如何使用GaussDB(DWS)的\copy导入导出? 如何实现GaussDB(DWS)不同编码库之间数据容错导入
可用于检视是否存在非法或越权操作,完善服务安全管理。 与云日志服务的关系 数据仓库服务用户可以在云日志服务(Log Tank Service,简称LTS)查看采集的集群日志或进行日志转储。 与消息通知服务的关系 数据仓库服务使用消息通知服务(Simple Message Noti