检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
shuffle占用了大量宝贵的网络资源,减小不必要的数据shuffle,可以减少网络压力,使数据的处理本地化,提高集群的性能和可支持的并发度。通过对关联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。 选择存储方案 【建议】表的存储类型是表定义设计的第一步,
数位置的类型范畴。在每一个能够接受string类型范畴的位置使用string类型(这种偏向字符串的做法合理,因为unknown文本跟字符串相似)。另外,如果所有剩下的候选操作符都接受相同的类型范畴,则选择该类型范畴,否则会报错(因为在没有更多线索的条件下无法作出正确的选择)。现在
offset, count,兼容concat函数。 to_date与to_timestamp处理空串返回NULL。 在线扩容期间支持insert overwrite语法,不阻塞业务。在线扩容后执行分区表exchange partition不会因新增drop列而报错。 适配DLI外表修改。 支持热加载MRS数据源。
price > 9.99; 现在加上括号的对象就被正确地解释为对item列的引用,然后可以从中选出子域。 只要从一个组合值中选择一个字段,相似的语法问题就适用。例如,要从返回组合值的函数的结果中选取一个字段,需要这样写: 1 SELECT (my_func(...)).field
price > 9.99; 现在加上括号的对象就被正确地解释为对item列的引用,然后可以从中选出子域。 只要从一个组合值中选择一个字段,相似的语法问题就适用。例如,要从返回组合值的函数的结果中选取一个字段,需要这样写: 1 SELECT (my_func(...)).field
查看输出文件和日志 查看并验证输出文件 迁移流程结束后,用户可使用对比工具(例如BeyondCompare®)将输入文件与输出文件进行比较。为了简化对比过程,也可以先对源SQL文件进行格式化。 在Linux操作系统上运行以下命令以查看输出文件夹中的迁移文件。Windows操作系统不再赘述。
验证 在Oracle中执行迁移前的业务SQL,执行结果如下图。 在Data Studio中执行迁移后业务SQL。 查看执行后的结果如下图。 对比Oracle和DWS业务SQL的执行结果,结果一致,业务迁移完成。 父主题: 迁移业务SQL
如果数据文件已经在OBS上了,请执行获取源数据的OBS路径并设置读取权限中的步骤。 本小节以导入ORC格式为例,CARBONDATA数据的导入方法与ORC格式相似。 原始数据 假设您已将2个ORC数据文件存储在OBS上,其原始数据分别如下: 数据文件“product_info.0” 示例数据如下所示:
数据库管理 DSC工具迁移时会将MySQL SET CHARACTER SET语句迁移为SET SESSION NAMES。字符集对照如下表: 表1 字符集对照表 MySQL CHARACTER SET GaussDB(DWS) SESSION NAMES ASCII SQL_ASCII
通过多VW实现吞吐/并发的线性提升,同时具备良好的读写分离、负载隔离能力。 湖仓一体 数据湖与数据仓库数据无缝混合查询。 数据湖分析体验数仓的极致性能和精准管控度。 存算一体与存算分离产品形态对比 表2 存算分离与存算一体差异 数仓类型 存算一体 存算分离 存储介质 数据存储在计算节点的本地磁盘。 列存数据存储在华为
Warehouse Service,简称DWS)是完全托管的企业级云上数据仓库服务,具备免运维、在线扩展、高效的多源数据加载能力,兼容PostgreSQL生态。助力企业经济高效地对海量数据进行在线分析,实现数据快速变现。 产品首页 图说DWS 图说DWS 立即使用 成长地图 由浅入深,带您玩转DWS
欢迎使用数据仓库服务GaussDB(DWS)。数据仓库服务是完全托管的企业级云上数据仓库服务,具备免运维、在线扩展、高效的多源数据加载能力,兼容PostgreSQL生态,并助力企业经济高效地对海量数据进行在线分析,实现数据快速变现。 您可以使用本文档提供的API对数据仓库服务的集群、快照、标签进行
((x1,y1),...) path 16+16n字节 开放路径 [(x1,y1),...] polygon 40+16n字节 多边形(与闭合路径相似) ((x1,y1),...) circle 24 字节 圆 <(x,y),r> (圆心和半径) GaussDB(DWS)提供了一系列的函
((x1,y1),...) path 16+16n字节 开放路径 [(x1,y1),...] polygon 40+16n字节 多边形(与闭合路径相似) ((x1,y1),...) circle 24 字节 圆 <(x,y),r> (圆心和半径) GaussDB(DWS)提供了一系列的函
运而生,如数据库、数据仓库、数据湖、湖仓一体等。这些概念分别指的是什么,又有着怎样的联系,同时,对应的产品与方案又是什么呢?本文将一一进行对比介绍。 什么是数据库? 数据库是“按照数据结构来组织、存储和管理数据的仓库”。 广义上的数据库,在20世纪60年代已经在计算机中应用了。但
万兆网的同时,数据磁盘组I/O性能大于GDS单核处理能力上限(约400MB/s)时,方可寻求单文件导入速率最大化。 并发导入场景与单表导入相似,至少应保证I/O性能大于网络最大速率。 GDS跟DN的数据比例建议在1:3至1:6之间。 为了优化列存分区表的批量插入效率,在批量插入过
操作场景 数据仓库服务GaussDB(DWS)是完全托管的企业级云上数据仓库服务,具备免运维、在线扩展、高效的多源数据加载能力,兼容PostgreSQL生态。助力企业经济高效地对海量数据进行在线分析,实现数据快速变现。 本文以创建3节点的GaussDB(DWS)集群为例,通过导入OB
SSB测试结果 经过针对SSB宽表场景对DWS和开源OLAP产品ClickHouse的对比测试发现:使用hstore_opt表,配合turbo存储、turbo引擎, DWS查询性能整体优于开源产品ClickHouse 2倍。 表1 SSB测试结果 SSB DWS ClickHouse
性能总览 在9.1.0版本,我们实现了很多性能优化特性,提升整体开箱的SQL查询性能。以TPC-H、TPC-DS 1TB作为性能测试对比的基准,重点对比最新9.1.0版本与8.3.0版本的性能提升。集群规模为6节点,其中各节点的规格为16U 64G,累计96U 384G。从以下测试结果可以看到:
当游标作为存储过程的返回值时,如果使用JDBC调用该存储过程,返回的游标将不可用。 存储过程不能和普通SQL在同一条语句中执行。 执行批处理 用一条预处理语句处理多条相似的数据,数据库只创建一次执行计划,节省了语句的编译和优化时间。可以按如下步骤执行: 调用Connection的prepareStatement方法创建预编译语句对象。