检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
r创建外表,支持TXT、CSV格式的数据,参见从OBS导入CSV、TXT数据。 方式二:需用户创建server,使用该server创建外表,支持ORC、CARBONDATA、TXT、CSV、PARQUET以及JSON格式的数据,参见从OBS导入ORC、CARBONDATA数据。 OBS导入导出数据时,不支持中文路径。
input_format 输入格式是由V和F组成的字符序列,与脱敏列数据长度相同。V对应位置的字符可能会被脱敏,F对象位置的字符会被忽略跳过,V字符序列标识脱敏范围。输入输出格式参数适用于定长数据,比如,银行卡号、身份证号、手机号等。 output_format 输出格式是由V和其他任意字符组成的字
事实表中。 对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 前提条件 GDS服务器和GaussDB(DWS)集群之间网络可以互通。 需要创建一个弹性云服务器作为GDS服务器。 创建的
py”命令启动GDS,请使用以下命令停止GDS。 cd /opt/bin/dws/gds/bin python3 gds_ctl.py stop 父主题: 使用GDS从远端服务器导入数据
MRS集群上的数据准备 从MRS导入数据到GaussDB(DWS)集群之前,假设您已经完成了以下准备工作: 已创建MRS集群。 在MRS集群上创建了Hive/Spark ORC表,且表数据已经存储到该表对应的HDFS路径上。 如果您已经完成上述准备,则可以跳过本章节。 为方便起见,以在MRS集群上创建Hive
的集群列表MRS ID相同。 srvoptions字段中的address参数为MRS集群的主备节点的IP地址及端口。 您可以根据上述信息找到您所要的外部服务器,并记录下它的srvname和srvoptions的值。 切换为即将创建外部服务器的用户去连接其对应的数据库。 在本示例中
问网站、注册账户、选购商品等)到完成最终目标(如完成支付、完成注册等)的整个路径。 留存分析:留存分析关注的是在某一特定时间段后,仍然活跃使用产品的用户比例。具体来说,留存分析计算的是从某一时间点(例如,用户注册、首次下单、首次使用等)开始,经过一段时间后,仍然继续使用产品的用户
处理导入错误 操作场景 当数据导入发生错误时,请根据本文指引信息进行处理。 查询错误信息 数据导入过程中发生的错误,一般分为数据格式错误和非数据格式错误,错误表只能记录数据格式错误。 数据格式错误 在创建外表时,通过设置参数“LOG INTO error_table_name”,
同时支持IAM项目和企业项目,表示此授权项对应的自定义策略,可以在IAM和企业管理两个服务中给用户组授权并生效。如果仅支持IAM项目,不支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。关于IAM项目与企业项目的区别,详情请参见:IAM与企业管理的区别。
GaussDB(DWS)支持通过GDS外表将TXT、CSV和FIXED格式的数据导入到集群进行查询。 在本教程中,您将: 生成本教程需要使用的CSV格式的数据源文件。 将数据源文件上传到数据服务器。 创建外表,用于对接GDS和GaussDB(DWS),将数据服务器上的数据导入到GaussDB(DWS)集群中。
操作步骤 收集数据源格式信息、GDS服务的访问信息。 需要收集的主要数据源格式信息如下: format:GDS外表导入支持CSV、TEXT和FIXED格式。请确认存放在数据服务器上待入库数据的格式。例如,待入库的数据为CSV格式。 header(仅支持CSV,FIXED格式):确认数据文件是否包含标题行。
“gaussdb”。 “集群地址”:请参见获取集群连接地址进行获取。如果通过公网地址连接,请指定为集群“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。 “数据库用户”:输入集群数据库的用户名。首次使用客
介绍GaussDB(DWS)服务的特点、功能和适用场景。 GaussDB(DWS)入门包含一个示例,引导您完成创建数据仓库集群、创建数据库表、上传数据和测试查询这一过程。 如果计划或正在将应用程序从其他数据仓库向GaussDB(DWS)迁移,您可能想了解GaussDB(DWS)在实施方式上有什么区别。 Gaus
关于GDS并行导入 INSERT和COPY方式执行数据导入时,是一个串行执行的过程,导入性能低,因此适用于小数据量的导入。对于大数据量的导入,GaussDB(DWS)支持使用GDS工具通过外表并行导入数据到集群。 当前版本的GDS已经支持从管道文件导入数据库,该功能使GDS的导入更加灵活多变。
本表中。若基本表中的数据发生变化,从视图中查询出的数据也随之改变。从这个意义上讲,视图就像一个窗口,透过它可以看到数据库中用户感兴趣的数据及变化。视图每次被引用的时候都会运行一次。 三权分立下,非管理员无权查看系统表和视图。非三权分立下,系统表和系统视图要么只对管理员可见,要么对
EXISTS语法可以简单这样理解: 判断当前CN是否存在该table。 如果存在,就给其他CN和DN下发DROP命令;如果不存在,则跳过。 而不是: 将DROP TABLE IF EXISTS下发给所有CN和DN。 各个CN和DN判断自己有没有该table,如果有的话执行DROP。 处理方法 如果出
供的头文件(sql.h、sqlext.h等)和库libodbc.so。这些头文件和库可从unixODBC-2.3.0的安装包中获得。 Windows下的ODBC包 从软件包中获取,包名为dws_8.1.x_odbc_driver_for_windows.zip。Windows环境
户还需要拥有该表的SELECT和TRUNCATE权限。 当连接到TD兼容的数据库时,td_compatible_truncation参数设置为on时,将启用超长字符串自动截断功能,在后续的INSERT语句中(不包含外表的场景下),对目标表中char和varchar类型的列上插入超
网访问地址”或“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问地址”或“内网访问域名”。 -h 10.10.10.100 dbname 需要导出的数据库名称 human_resource -n 只导出与模式名称匹配的模式,此选项包括模式本身和所有它包含的对象。 单个模式:-n
receive data from DATA stream: %s" SQLSTATE: XX000 错误原因:"主备数据复制过程中,备机从主备连接中检测到错误。根据""%s""给出的主备连接返回的错误信息进行处理。" 解决办法:"1. 网络连接超时异常/当前主机业务压力大,调整当前网络环境/调整业务压力。2