检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行导入数据 背景信息 在执行数据导入前,您可以参考以下优秀实践方法进行合理的设计部署,最大化的使用系统资源,以提高数据导入性能。 OBS的数据导入性能,多数场景受限于网络的并发访问速率,因此在OBS服务器上最好部署多个桶,使用多桶并发导入,提高DN数据传输利用率。 并发导入场景
户指南。 场景四:MRS属于云下场景,需要通过“云专线(DC)”或“虚拟专用网络(VPN)”打通网络,请参见对应服务的用户指南。 从MRS导入数据到集群的流程 MRS集群上的数据准备 (可选)手动创建外部服务器 创建外表 执行数据导入 清除资源 父主题: 从MRS导入数据到集群
透明数据加密(TDE)是指加密GaussDB(DWS)的数据文件。 通常在数据库的安全防护措施里面,可以采取一些消减措施来帮助保护数据安全。例如,设计一个安全系统、加密机密资产以及在数据库服务器的周围构建防火墙。 但是,如果遇到物理介质(如硬盘)被黑客或者内部人员盗取的情况,恶意破坏方只需还原或附加数据库即可浏览用户数据。
教程:新物理集群划分为逻辑集群 场景介绍 本章节演示一套全新6节点物理集群(无业务数据)划分为2套逻辑集群的操作。如果物理集群已有业务数据,请参见教程:已有数据的物理集群转换逻辑集群操作。 前提条件 参见创建GaussDB(DWS)存算一体2.0集群章节创建6个节点的集群。 划分逻辑集群
行过慢,从而转换失败。 迁移方法 用户可在Windows和Linux操作系统中执行runDSC.sh或runDSC.bat命令进行迁移,各迁移场景的命令详见表1。 表1 Windows和Linux场景迁移 迁移场景 命令行参数 Teradata SQL迁移 1 2 3 4 5 6
SSL模式。 Sslmode=allow 其中,参数“Servername”和“Port”的值,可以在GaussDB(DWS)的管理控制台查看。请登录GaussDB(DWS)管理控制台,单击“连接客户端”, 在“数据仓库连接字符串”区域,选择指定的集群,获取该集群的“内网访问地址
为MRS集群的主备节点的IP地址及端口。 您可以根据上述信息找到您所要的外部服务器,并记录下它的srvname和srvoptions的值。 创建外表 当完成获取MRS数据源连接的外部服务器信息和获取MRS数据源的HDFS路径后,就可以创建一个外表,用于读取MRS数据源数据。 创建
原某一时刻的集群。用户可以为集群手动创建快照,也可以开启定时创建自动快照。自动快照有保留天数限制,用户可以对自动快照进行复制,生成手动快照以便长期保留。 当您从快照恢复集群时,系统支持将快照数据恢复到新集群或者原集群中。 对于不再需要的快照,可以选择在控制台删除快照(自动快照不支持手动删除),以释放存储空间。
外表的字段个数和字段类型,需要与OBS上保存的数据完全一致。 SERVER dfs_server 外表的外部服务器名称,这个server必须存在。外表通过设置外部服务器连接OBS读取数据。 此处应填写为参照创建外部服务器创建的外部服务器名称。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。
如果数据库服务器要求使用,则可以使用SSL安全加密连接,但不验证数据库服务器的真实性。 prefer 可能 如果数据库支持,那么首选使用SSL安全加密连接,但不验证数据库服务器的真实性。 require 是 必须使用SSL安全连接,但是只做了数据加密,而并不验证数据库服务器的真实性。
EIP 弹性公网IP(Elastic IP,简称EIP)提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务。 可以与弹性云服务器、裸金属服务器、虚拟IP、弹性负载均衡、NAT网关等资源灵活地绑定及解绑。 Ring 安全环,集群内部的故障隔离域,主要作用是故障隔离,环内主机出现故障,故障不会扩散到环外。
分发到后端多台弹性云服务器的流量分发控制服务,可以通过流量分发扩展应用系统对外的服务能力,提高应用程序的容错能力。 使用JDBC负载均衡连接集群: 开启JDBC负载均衡,URL需要配置至少一个CN节点内网IP,之后会自动扫描所有的CN节点IP,JDBC负载均衡可以使连接随机到其中一个CN,从而实现类似ELB的效果。
解答:关键错误可能发生在以下情景。检查: 连接是否长时间空闲并且超时。 服务器是否在运行。 服务器是否有足够的内存并且“无内存”问题是否有上报服务器。 限制条件是什么? 解答:限制条件用来限制表格中每列中不需要的数据插入。用户可以对任何表格的一列或多列创建限制条件。保持表格中的数据完整。 支持的3种限制条件如下:
ssDB(DWS)数据库导出到外部,存放在HDFS文件系统上,从而提高整体导出性能。 数据迁移 Oracle迁移到GaussDB(DWS)实践 本教程演示将Oracle业务相关的表数据迁移到GaussDB(DWS)的数据库的基本过程。 通过DLI Flink作业将Kafka数据实时写入DWS
3及以上集群版本支持。 分区的优势 某些类型的查询性能可以得到极大提升,特别是表中访问率较高的行位于一个单独分区或少数几个分区上的情况下。分区可以减少数据的搜索空间,提高数据访问效率。 当查询或更新一个分区的大部分记录时,连续扫描对应分区而不是访问整个表可以获得巨大的性能提升。 如果需要大量加载
案例:改建分区表 逻辑上的一张表根据某种策略分成多个物理块进行存储,这张逻辑上的表称之为分区表,每个物理块则称为一个分区。一般对数据和查询都有明显区间段特征的表使用分区策略可通过较小不必要的数据扫描,从而提升查询性能 在查询时,可通过分区剪枝技术尽可能减少底层数据扫描,即缩小表的
案例:改建分区表 逻辑上的一张表根据某种策略分成多个物理块进行存储,这张逻辑上的表称之为分区表,每个物理块则称为一个分区。一般对数据和查询都有明显区间段特征的表使用分区策略可通过较小不必要的数据扫描,从而提升查询性能 在查询时,可通过分区剪枝技术尽可能减少底层数据扫描,即缩小表的
量写入场景。 数据实时写入并经实时计算之后,可以用于实时大屏、实时分析、实时监控、实时风控、实时推荐。 多VW支持业务隔离和极致弹性(存算分离架构) 通过多VW实现业务的负载隔离,相比资源管理的软隔离,基于VW的虚拟机级别的硬隔离可以最大化的降低业务间的互相影响。 支持多经典VW和多弹性VW。
b创建。理论上来说一个服务器上可以在不同的端口启动多个实例,但是GaussDB(DWS)一次只能管理一个实例,启动和停止都是依赖于具体的数据目录。以后由于兼容的需要不排除引入实例名这个概念的可能。 表空间 在GaussDB(DWS)中,表空间是一个目录,可以存在多个,里面存储的是
为保证业务低时延,建议将业务应用和DWS都部署在同一个区域内。例如业务应用部署在ECS,建议将DWS集群部署在跟ECS在同一个虚拟私有云(以下简称VPC)下,如果DWS集群选择了不同的VPC,则ECS与DWS无法直接连通。 例如ECS和DWS都部署在“北京四”下,但是ECS在VPC1下,DWS在VPC2下,此时需要将