检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi任务同步 创建Hudi任务 迁移场景 如果GaussDB(DWS)表已经通过CDL导入数据,改为用SQL on Hudi方式迁移数据。或者使用CDM做全量初始化后,继续使用SQL on Hudi方式同步增量数据。 创建hudi.hudi_sync_state同步状态表,需要管理员权限。
供的一系列常用实践。 表1 常用最佳实践 实践 描述 数据导入导出 从OBS导入数据到集群 本教程旨在通过演示将样例数据上传OBS,及将OBS的数据导入进GaussDB(DWS)上的目标表中,让您快速掌握如何从OBS导入数据到GaussDB(DWS)集群的完整过程。 GaussD
IGNORE_EXTRA_DATA 'on' ); 复制并执行以下语句,将外表数据导入到对应的数据库表中。 将OBS外表的数据通过insert命令导入GaussDB(DWS) 的数据库表中,数据库内核对应的操作为OBS数据高速并发导入GaussDB(DWS) 。 1 2 3 4 5 6 7 8 INSERT
由于DWS的表定义结构与Oracle存在差异,需要手动修改转换后的表定义。 如下,将文件中的\echo整体注释掉(如果使用gsql工具导入表定义的话,不需要注释),同时手动修改指定表的分布列(distribute by hash (列名))。 修改前: 修改后: Hash分布
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 更新告警订阅成功。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误。
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 复制快照成功。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误。
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 添加资源管理计划成功。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误。
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 恢复重分布成功。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误。
存算一体(单机部署)暂不支持从MRS导入数据。 使用流程 从MRS导入数据到集群流程如下: 前提条件 创建一个MRS集群,具体操作步骤请参见购买自定义集群。 创建一个HDFS外表,外表通过外部服务器的接口,从MRS集群查询数据。 具体操作步骤请参见《数据仓库服务数据迁移与同步》中从MRS导入数据到集群章节。
采取分片生成的策略。 Tpcds 1000X数据文件总大小约930GB,请确认ECS的磁盘空间足够。 由于生成的数据较大,只启动一个GDS导入数据会比较慢,建议均分两个数据盘来生成数据,如下示例,1-5分片存放至/data1/script/tpcds-kit/tpcds1000X
AL日志段文件数量。每个日志文件大小为16MB。 参数类型:SIGHUP 取值范围:整型,最小值1 默认值:64 提升此参数可加快大数据的导入速度,但需要结合checkpoint_timeout、shared_buffers这两个参数统一考虑。这个参数同时影响WAL日志段文件复用
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 集群运维用户响应 400 请求错误 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误。
AL日志段文件数量。每个日志文件大小为16MB。 参数类型:SIGHUP 取值范围:整型,最小值1 默认值:64 提升此参数可加快大数据的导入速度,但需要结合checkpoint_timeout、shared_buffers这两个参数统一考虑。这个参数同时影响WAL日志段文件复用
什么是数据仓库服务 数据仓库服务GaussDB(DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务,兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法,同时兼容PostgreSQL/Oracle/T
切换的目标阶段。 导入/导出资源管理计划阶段 登录GaussDB(DWS)管理控制台。 在集群列表中单击需要访问“资源管理”页面的集群名称。 进入“基本信息”页面,左导航栏单击“资源管理”。 切换至“资源管理计划”页签,在计划阶段模块单击“导入/导出”按钮导入/导出资源管理计划阶段。
务器上的I/O资源均充足时,可以加大并发线程数。 GDS是根据导入事务并发数来决定服务运行线程数的。也就是说即使启动GDS时设置了多线程,也并不会加速单个导入事务。未做过人为事务处理时,一条INSERT语句就是一个导入事务。 --enable-ssl:启用SSL加密方式传输数据。
Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询历史监控数据成功。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误。
默认值:16MB。 -t worker_num 设置导入导出工作并发线程数目。 取值范围:0<worker_num≤200,正整数。 默认值:8。 推荐值:普通文件导入导出场景取值:CPU核数*2;管道文件导入导出场景取值:64。 当管道文件导入导出场景并发较大时,该值应不低于业务并发数。
行为如下: .QUIT | .EXIT | .RETURN 元命令\q [value]支持退出gsql程序,且可以通过value值指定退出码。.QUIT、.EXIT、.RETURN命令均可以通过\q等价转换。 输入 输出 .QUIT 0 \q 0 .EXIT \q .RETURN
较,后续列依次类推。推荐不要超出3个列。 添加partial cluster key后,优化导入性能。 由于添加了partial cluster key,在导入时会增加排序计算,会对导入性能产生影响。当排序完全在内存中进行时影响较小,如果无法在内存中完成排序时,会下盘写临时文件,这时就会产生较大的影响。