检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原因分析 该用户无对应的权限,无法对表或schema进行操作或访问。 处理方法 使用GRANT语法对表/schema进行赋权,示例: 假设当前有两个用户tom和jerry,如果想要用户jerry能够对当前tom创建的所有表以及将来创建的表都有查询权限,如何处理: 将用户tom下的同名schema权限赋给jerry。
“off”。 用户获取OBS访问协议对应的AK值(access_key) 。 用户获取OBS访问协议对应的SK值 (secret_access_key)。 请根据用户实际获取的access_key和secret_access_key的密钥替换示例中的对应内容。 设置的导入容错性如下所示:
Connectivity)等第三方驱动程序连接集群,访问集群中的数据库。 约束和限制 尽量避免所有业务使用同一个数据库用户运行,按业务模块规划不同数据库用户。 不建议使用系统管理员用户跑业务,不同模块业务请通过多用户和权限进行访问控制。 不建议业务直连单CN,需配置负载均衡保证各CN连接均衡。
使用GDS从远端服务器导入数据 关于GDS并行导入 准备源数据 安装配置和启动GDS 创建GDS外表 执行导入数据 处理导入错误 停止GDS GDS导入示例 父主题: 导入数据
使用GDS导出数据到远端服务器 关于GDS并行导出 规划导出数据 安装配置和启动GDS 创建GDS外表 执行导出数据 停止GDS GDS导出示例 父主题: 导出数据
audit_switch 表示对用户打开和关闭审计日志操作场景进行审计。 login_logout 表示对用户登录和登出操作场景进行审计。 system 表示对系统的启停、实例切换操作场景进行审计。 sql_parse 表示对SQL语句解析场景进行审计。 user_lock 表示对用户锁定和解锁操作的场景进行审计。
x_suse_x64.zip 创建GDS专有用户及其所属的用户组。此用户用于启动GDS及读取源数据。 groupadd gdsgrp useradd -g gdsgrp gds_user 分别修改工具包和数据源文件目录属主为GDS专有用户。 chown -R gds_user:gdsgrp
请通过URL方式设置参数“location”,用于指定导出的数据文件存放路径。 不需要指定文件名。 当有多个路径时,若导出数据源数少于路径数时,多余的路径会只生成文件不写入数据。 示例: GDS数据服务器IP为192.168.0.90,假定启动GDS时设置的监听端口为5000,设置的导出后
表示外表在从数据源读取数据时,GaussDB(DWS)集群每一个节点随机读取一部分数据,并组成完整数据。 语法中的其他参数 其他参数均为可选参数,用户可以根据自己的需求进行设置,在本例中不需要设置。 根据以上信息,创建外表命令如下所示: 建立不包含分区列的OBS外表,表关联的外部服务器为obs_server,表
规划导出路径 Remote模式 以root用户登录GDS数据服务器,创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data (可选)创建用户及所属的用户组。此用户为启动GDS的用户,该用户需要拥有导出数据文件存放目录的写权限。 1
检查DWS入方向规则: DWS创建时如果没有专门设置安全组,系统默认的安全组入规则已放通所有IPv4地址、端口为8000的TCP类型访问。为确保安全,也支持只开放某个对应的IP,详情参见使用公网IP连接集群时如何设置白名单? 登录ECS,能ping通DWS的内网IP,表示网络连通
csv,单击“保存”。 以root用户登录GDS服务器。 创建数据文件存放目录“/input_data”。 1 mkdir -p /input_data 使用MobaXterm将数据源文件上传至上一步所创建的目录中。 安装并启动GDS 以root用户登录GDS服务器,创建存放GDS工具包的目录/opt/bin/dws。
x_suse_x64.zip 创建GDS专有用户及其所属的用户组。此用户用于启动GDS及读取源数据。 groupadd gdsgrp useradd -g gdsgrp gds_user 分别修改工具包和数据源文件目录属主为GDS专有用户。 chown -R gds_user:gdsgrp
on的值。 用户获取OBS访问协议对应的AK值和SK值。 获取访问密钥,请登录管理控制台,单击右上角的用户名并选择菜单“我的凭证”,然后在左侧导航树单击“管理访问密钥”。在访问密钥页面,可以查看已有的访问密钥ID(即AK),如果要同时获取AK和SK,可以单击“新增访问密钥”创建并下载访问密钥。
dataencoding参数只对ORC格式的WRITE ONLY的HDFS外表有效。 语法中的其他参数 其他参数均为可选参数,用户可以根据自己的需求进行设置,在本例中不需要设置。 根据以上信息,创建外表命令如下所示: 1 2 3 4 5 6 7 8 9 10 11 12 13
dataencoding参数只对ORC格式的WRITE ONLY的HDFS外表有效。 语法中的其他参数 其他参数均为可选参数,用户可以根据自己的需求进行设置,在本例中不需要设置。 根据以上信息,创建外表命令如下所示: 1 2 3 4 5 6 7 8 9 10 11 12 13
创建表 create table like CREATE TABLE 11 授权命令 grant语法使用 将用户权限授权给其他用户 将表权限授权给用户 将整库权限授权给用户 外表权限 GRANT 12 REPLACE替换函数 to_timestamp 转换为指定格式的时间戳 current_timestamp
停止GDS 操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps -ef|grep
当前版本的GDS已经支持从管道文件导入数据库,该功能使GDS的导入更加灵活多变。 当GDS用户的本地磁盘空间不足时,可直接将hdfs上的数据写入到管道文件而不需要占用额外的磁盘空间。 当用户导入前需要清洗数据时,用户可以根据自己的需求编写程序,将需要处理的数据流式实时的写入管道文件,完成导入的数据清洗工作。
现数据的高速导出。 当不在使用GDS时,可通过以下步骤停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps