检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS上的数据准备 操作场景 使用SQL on OBS功能查询OBS数据之前: 已将ORC数据存储在OBS上。 例如,在使用Hive或Spark等组件时创建了ORC表,其表数据已经存储在OBS上的场景。
值存储 值存储数据类型解析 查找与目标字段准确的匹配。 试着将表达式直接转换成目标类型。如果已知这两种类型之间存在一个已登记的转换函数,那么直接调用该转换函数即可。如果表达式是一个未知类型文本,该文本字符串的内容将交给目标类型的输入转换过程。 检查目标类型是否有长度转换。
从MRS导入数据概述 MapReduce服务(MapReduce Service,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。具体信息可参考《MapReduce服务用户指南》。
值存储 值存储数据类型解析 查找与目标字段准确的匹配。 试着将表达式直接转换成目标类型。如果已知这两种类型之间存在一个已登记的转换函数,那么直接调用该转换函数即可。如果表达式是一个未知类型文本,该文本字符串的内容将交给目标类型的输入转换过程。 检查目标类型是否有长度转换。
HLL数据类型 HLL(HyperLoglog)是统计数据集中唯一值个数的高效近似算法。它有着计算速度快,节省空间的特点,不需要直接存储集合本身,而是存储一种名为HLL的数据结构。
使用分区表 分区表是把逻辑上的一张表根据某种方案分成几张物理块进行存储。这张逻辑上的表称之为分区表,物理块称之为分区。分区表是一张逻辑表,不存储数据,数据实际是存储在分区上的。
HLL数据类型 HLL(HyperLoglog)是统计数据集中唯一值个数的高效近似算法。它有着计算速度快,节省空间的特点,不需要直接存储集合本身,而是存储一种名为HLL的数据结构。
HLL数据类型 HLL(HyperLoglog)是统计数据集中唯一值个数的高效近似算法。它有着计算速度快,节省空间的特点,不需要直接存储集合本身,而是存储一种名为HLL的数据结构。
可用分区 单AZ,可用区1(如规格售罄,可选择其他可用区)。 单AZ:集群的所有节点部署在同一个AZ内。 多AZ:集群的节点部署在多个AZ内,满足集群跨AZ高可用要求,对高可用要求更高的业务,建议使用多AZ。 图1 基础配置 参见表3,进行数据仓库配置。
可用区 一个可用区是一个或多个物理数据中心的集合,有独立的电力和网络,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。
在存储过程中定义的数组类型,其作用域仅在该存储过程中。 建议选择上述定义方法的一种来自定义数组类型,当同时使用两种方法定义同名的数组类型时,GaussDB(DWS)会优先选择存储过程中定义的数组类型来声明数组变量。
存算分离集群和多AZ集群暂不支持容灾功能。 若用户灾备集群使用包周期套餐,则会在包周期到期冻结一段时间后自动删除,请用户及时续费,以免删除灾备集群导致容灾异常。 容灾特点 多形态容灾 支持Region内容灾。 多种数据同步方式:基于直连互信作为同步层,以实现更多场景下的容灾 。
数据库将进行大量读写操作,可能影响正常使用,建议选择空闲时间执行。 数据库的存储空间越大,即数据可能越多,清理的时间越长。 清理与回收存储空间操作步骤如下: 连接数据库。具体操作步骤请参见连接集群。 执行以下命令,清理与回收存储空间。
这种加密使用数据库加密密钥 (DEK),该密钥不会直接存储在数据库系统中。 DEK是使用存储在KMS服务器的集群密钥(CEK)保护的对称密钥,数据库服务器仅仅保存其密文。在数据库启动阶段,数据库连接KMS服务器,并且解密DEK密文,从而获取到密钥明文,缓存在内存中。
GaussDB(DWS)的审计日志默认存储于数据库中,用户可以将审计日志转储到OBS中,便于负责监控数据库中活动的用户查看这些日志信息,目前支持开启审计日志转储和内核审计日志转储,两者功能隔离,可以分别开启或关闭。内核审计日志转储可直接将数据库老化的本地审计日志转储到OBS。
MRS数据源使用概述 MRS集群简介 MapReduce服务(MapReduce Service,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。
数据开发设置 操作步骤 编辑器提供基础的设置,包含操作栏、快捷键和存储设置,如果没有对应的OBS桶,可以跳转去创建,具体操作请参见《对象存储服务控制台指南》中的创建桶章节。 登录GaussDB(DWS)管理控制台。 在左侧导航栏中,选择“数据 > SQL编辑器”。
数据备份 GaussDB(DWS)业务数据备份与恢复通过快照功能实现。快照是对GaussDB(DWS)集群在某一时间点的一次全量数据和增量数据的备份,记录了当前数据库的数据以及集群的相关信息,其中包括节点数量、节点规格和数据库管理员用户名称等。
导入数据 从OBS并行导入数据 使用GDS从远端服务器导入数据 从MRS导入数据到集群 从GaussDB(DWS)集群导入数据到新集群 基于GDS的跨集群互联互通 使用开源Kettle导入数据 使用gsql元命令\COPY导入数据 使用COPY FROM STDIN导入数据
上传数据到OBS 上传数据到OBS。 将待导入的数据源文件存储在OBS桶中。 登录OBS管理控制台。 单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。 创建桶。 如何创建OBS桶,具体请参见《对象存储服务控制台指南》中的创建桶章节。