本实践演示如何使用华为云DLI服务的Flink作业,将MySQL数据实时同步到GaussDB(DWS)。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟,实践用到的云服务包括虚拟私有云 VPC及子网、云数据库 RDS、数据湖探索 DLI、对象存储服务 OBS和数据仓库服务 GaussDB(DWS),基本流程如下:
创建弹性云服务器ECS 参考《弹性云服务器用户指南》创建弹性云服务器,创建的规格可参见下表。 由于TPC-DS、TPC-H数据集占用空间较大,以TPC-DS 1000X和TPC-H 1000X为例,分别占用930GB和1100GB。请创建弹性云服务器时,根据需求添加数据盘,举例如下:
101及以上集群版本支持在控制台下载。 GDS工具包 GDS工具包是数据服务工具。用户可以使用GDS工具将普通文件系统中的数据文件导入到GaussDB(DWS)数据库中,GDS工具包需要安装在数据源文件所在的服务器上。数据源文件所在的服务器称为数据服务器,也称为GDS服务器。 下载客户端 登录GaussDB(DWS)管理控制台。
得。 默认值:UTC gs_initdb将设置一个与其系统环境一致的时区值。 timezone_abbreviations 参数说明:设置服务器接受的时区缩写值。 参数类型:USERSET 取值范围:字符串,可查询视图pg_timezone_names获得。 默认值:Default
将上面准备的3个CSV格式的数据源文件存储到OBS桶中。 登录OBS管理控制台。 单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。 创建桶。 如何创建OBS桶,具体请参见《对象存储服务》“快速入门”中的创建桶。 例如,创建以下两个桶:“mybucket”和“mybucket02”。
很难为中小企业所采纳。 云数据仓库服务GaussDB(DWS)与传统的数据仓库相比,主要有以下特点与显著优势: 一款分布式MPP数据仓库云化服务,具备开放,高效,兼容,可扩展,易运维等特点。 基于GaussDB数据仓库产品内核,以云上数据仓库服务的形式将GaussDB(DWS)的
Access角色权限的子账号。符合条件后可选择一个集群名称单击打开,即连接上集群数据库可进行操作。 切换到“自定义”面板,可以单击“新增数据源”(或在“专属集群”页面单击指定集群操作列的“登录”按钮)。 集群:选择需要连接的集群。 SSL认证,集群开启SSL认证后需要勾选。 数据库:填写数据库名称,如果是新创建
停止GDS 操作场景 待导入数据成功后,停止GDS。 操作步骤 以gds_user用户登录安装GDS的数据服务器。 请根据启动GDS的方式,选择停止GDS的方式。 若用户使用“gds”命令启动GDS,请使用以下方式停止GDS。 执行如下命令,查询GDS进程号。 ps -ef|grep
使用GDS从集群导出到数据之前,要提前准备需要导出的数据,并规划导出的路径。 规划导出路径 Remote模式 以root用户登录GDS数据服务器,创建导出的数据文件存放目录“/output_data”。 1 mkdir -p /output_data (可选)创建用户及所属的用
命令行参考 生成配置文件命令 准备命令 创建发布命令 修改发布命令 取消发布命令 获取当前发布命令 父主题: DisasterFineGrained.py
描述 200 添加资源池成功。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误。 503 服务不可用。 父主题: 资源管理
能够触发压缩。 0表示其他不支持压缩的表(主要是指系统表,不支持压缩属性的修改操作)。 1表示表数据的压缩特性为NOCOMPRESS或者无指定关键字。 2表示表数据的压缩特性为COMPRESS。 relhasclusterkey boolean 是否有局部聚簇存储。 relrowmovement
dfs_server 外表的外部服务器名称,这个server必须存在。外表通过设置外部服务器,从而关联MRS数据源连接并从MRS集群读取数据。 此处应填写为通过获取MRS数据源连接的外部服务器信息查询到的“srvname”字段的值。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。
计费FAQ 按需计费是否可通过关机暂停使用来节省费用? 创建集群时,为什么购买按钮一直处于灰色,无法提交? 集群被冻结了,导致无法使用,如何解冻?
要匹配文本里的下划线(_)或者百分号(%),在提供的模式里相应字符必须前导逃逸字符。逃逸字符的作用是禁用元字符的特殊含义,缺省的逃逸字符是反斜线,也可以用ESCAPE子句指定一个不同的逃逸字符。 要匹配逃逸字符本身,需写两个逃逸字符。例如要写一个包含反斜线的模式常量,那就要在SQL语句里写两个反斜线。 参数st
关于OBS并行导入 对象存储服务OBS(Object Storage Service)是云上提供的一个基于对象的海量存储服务,为客户提供安全、高可靠、低成本的数据存储能力。OBS为用户提供了超大存储容量的能力,适合存放任意类型的文件。 数据仓库服务GaussDB(DWS)使用OB
未对数据库资源做控制时,容易出现并发任务抢占资源导致操作系统过载甚至最终崩溃。操作系统过载时,其响应用户任务的速度会变慢甚至无响应;操作系统崩溃时,整个系统将无法对用户提供任何服务。GaussDB(DWS)的负载管理功能能够基于可用资源的多少均衡数据库的负载,以避免数据库系统过载。 space_once_adjust_num
建议倾斜率不要超过20%~30%。 正在缩容的集群禁用重启集群、扩容集群、创建快照、节点管理、智能运维、资源管理、参数修改、安全设置、日志服务、重置数据库管理员密码和删除集群的功能。 离线缩容过程中,应该停止所有业务或运行少量查询语句。表重分布期间会对表加共享锁,所有插入、更新、
【建议】在需要数据类型转换(不同数据类型进行比较或转换)时,使用强制类型转换,以防隐式类型转换结果与预期不符。 【建议】在查询中,对常量要显式指定数据类型,不要试图依赖任何隐式的数据类型转换。 【关注】在ORACLE兼容模式下,在导入数据时,空字符串会自动转化为NULL。如果需要保留空字符串需要新建兼容性为TD的数据库。
STATISTICS语句添加了多列统计信息声明后,系统并不会立刻收集多列统计信息,而是在下次对该表或全库进行ANALYZE时,进行多列统计信息的收集。如果想直接收集多列统计信息,请使用ANALYZE命令进行收集。 使用EXPLAIN查看各SQL的执行计划时,如果发现某个表SEQ SCAN的输出中ro
您即将访问非华为云网站,请注意账号财产安全