检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例1:将表reason的数据通过外表foreign_tpcds_reasons导出到数据文件中。 1 INSERT INTO foreign_tpcds_reasons SELECT * FROM tpcds.reason; 示例2:通过条件过滤(r_reason_sk =1),向数据文件中导出部分数据。
数据脱敏函数 数据脱敏函数提供一系列不同脱敏形式的函数接口,可以覆盖常见的脱敏场景。通常结合数据脱敏语法,与脱敏列绑定使用,不推荐直接作用在查询语句上。 mask_none(column_name) 描述:不作任何脱敏处理,仅内部测试用。 返回值类型:与入参column_name数据类型相同
data_source_id 否 String 外部数据源ID。当数据源为MRS时为必选字段。获取方法,请参见查询数据源。 type 是 String 数据源类型,其中包含: OBS MRS data_source_name 是 String 数据源名称。仅可包含大小写字母,数字,下划线,1到64个字符。
0 (8 rows) 插入数据不满足hll数据结构要求时报错场景 当用户给hll类型的字段插入数据的时候,必须保证插入的数据满足hll数据结构要求,如果解析后不满足就会报错。 例如: 插入数据'E\\1234'时,该数据不满足hll数据结构,不能解析成功因此失败报错。 1
管理数据源 管理MRS数据源 管理OBS数据源 管理LakeFormation数据源 父主题: 迁移业务数据至GaussDB(DWS)集群
String 委托名称。获取方法,请参见查询数据源。 响应参数 表4 响应参数 参数 参数类型 描述 job_id String 更新数据源的任务ID。 请求示例 修改ID为“d303f19c-fbd1-4716-ae04-07d1ff358f22”数据源的委托名称为“DWSAccessOBS”:
参数类型 描述 id String 数据源配置ID。 name String 数据源名称。 type String 数据源类型。 connect_info String 连接的数据库。 user_name String MRS数据源用户名,OBS数据源对应委托名称。 version String
数据库管理 基于角色的权限管理(RBAC) 只读用户配置权限 SQL查询优秀实践 数据倾斜查询优秀实践 用户管理优秀实践 查看表和数据库的信息 数据库SEQUENCE优秀实践
导出数据到OBS 关于OBS并行导出 导出CSV、TXT数据到OBS 导出ORC数据到OBS 父主题: 导出数据
操作场景 当数据导入发生错误时,请根据本文指引信息进行处理,错误表只能记录数据格式错误。 查询错误信息 数据导入过程中发生的错误,一般分为数据格式错误和非数据格式错误。 数据格式错误 在创建外表时,通过设置参数“LOG INTO error_table_name”,将数据导入过程中
数据脱敏函数 数据脱敏函数提供一系列不同脱敏形式的函数接口,可以覆盖常见的脱敏场景。通常结合数据脱敏语法,与脱敏列绑定使用,不推荐直接作用在查询语句上。 mask_none(column_name) 描述:不作任何脱敏处理,仅内部测试用。 返回值类型:与入参column_name数据类型相同
数据分析 使用GaussDB(DWS)秒级查询交通卡口通行车辆行驶路线 使用GaussDB(DWS)分析某公司供应链需求 使用GaussDB(DWS)分析零售业百货公司经营状况
支持的数据类型 目前大数据领域,主流文件格式为ORC。GaussDB(DWS)主要支持ORC文件格式。用户利用HIVE将数据导出存储为ORC文件格式,使用GaussDB(DWS)通过只读外表对ORC文件内的数据进行查询分析,因此,需要在ORC文件格式支持的数据类型与GaussDB
数据类型转换 数据库中允许有些数据类型进行隐式类型转换(赋值、函数调用的参数等),有些数据类型间不允许进行隐式数据类型转换,可尝试使用GaussDB(DWS)提供的类型转换函数,例如CAST进行数据类型强转。 GaussDB(DWS)数据库常见的隐式类型转换,请参见表1。 Gau
管理GaussDB(DWS)数据库连接 操作场景 数据库默认支持一定数量的连接,管理员用户可以通过管理数据库的连接,了解当前数据库的连接性能或增加连接限制,使更多用户或应用程序可以同时连接到数据库。 支持的连接数规格 集群支持的连接数与集群节点规格有关: 表1 支持连接数规格 参数
从MRS导入数据概述 MapReduce服务(MapReduce Service,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。 用户可以将海
趣,而很少关注几个月前的数据。针对这样的一些场景,可以将数据按照时间分为:热数据、冷数据。 冷热数据主要从数据访问频率、更新频率进行划分。 Hot(热数据):访问、更新频率较高,未来被调用的概率较高的数据,对访问的响应时间要求很高的数据。 Cold(冷数据):不允许更新或更新频率
下,小规格多节点与大规格三节点集群如何选择? GaussDB(DWS) SSD云盘和SSD本地盘的区别? GaussDB(DWS)热数据存储和冷数据存储的区别? GaussDB(DWS)缩容按钮置灰如何处理?
数据库使用 插入或更新数据时报错,提示分布键不能被更新 执行SQL语句时提示“Connection reset by peer” VARCHAR(n)存储中文字符,提示value too long for type character varying? SQL语句中字段名大小写敏感问题
OBS上的数据准备 操作场景 使用SQL on OBS功能查询OBS数据之前: 已将ORC数据存储在OBS上。 例如,在使用Hive或Spark等组件时创建了ORC表,其表数据已经存储在OBS上的场景。 假设有2个ORC数据文件“product_info.0”和“product_info