检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在实例列表中单击指定实例名称,进入详情页面。 在左侧导航栏单击“作业管理”,进入该实例的作业管理页面。 在该实例的作业管理页面,单击指定作业所在行操作列的“启动”操作。 在启动作业确认弹窗中,单击“确定”来启动作业。 停止作业 登录GaussDB(DWS)控制台。 在左侧导航栏选择“数据
为两种作业绑定不同资源池以实现GaussDB(DWS)资源负载能力 本实践将演示GaussDB(DWS)的资源管理功能,帮助企业客户解决数据分析过程中,多用户查询作业遇到的性能瓶颈,最终实现多用户执行SQL作业互不影响,节省资源消耗。 本实践预计时长60分钟,基本流程如下: 步骤一:创建集群
场景介绍 以学生成绩为例: 老师会按照学科录入成绩,每科老师都会单独录入每个学生对应学科的成绩,而每位学生只关注自己各科的成绩。如果把老师录入数据作为原始表,那么学生查看自己的成绩就要用到行转列;如果让学生自己填写各科的成绩并汇总,然后老师去查自己学科所有学生的成绩,那就是列转行。
Flink SQL作业类型 Flink SQL概述 做源表 做维表 父主题: dws-connector-flink
分析作业是否被阻塞 数据库系统运行时,在某些业务场景下查询语句会被阻塞,导致语句运行时间过长,可以强制结束有问题的会话。 操作步骤 查看阻塞的查询语句及阻塞查询的表、模式信息。 1 2 3 4 5 6 7 8 9 10 11 SELECT w.query as waiting_query
Stream API作业类型 当Flink作业是通过API方式开发的,此时DWS-connector提供了一个DwsGenericSinkFunction类(该类实现了dws-client初始和flink checkpoint相关接口的实现),并且由DwsInvokeFuncti
GaussDB(DWS)集群管理 查看GaussDB(DWS)集群详情 查看GaussDB(DWS)集群状态 查看GaussDB(DWS)集群拓扑图 管理GaussDB(DWS)集群连接 GaussDB(DWS)资源负载管理 GaussDB(DWS)逻辑集群管理 修改GaussDB(DWS)集群GUC参数
"user_id":"0003", "user_name":"Cindy", "area_id":"330108"} 结果参考如下: 父主题: Flink SQL作业类型
分析作业是否被阻塞 数据库系统运行时,在某些业务场景下查询语句会被阻塞,导致语句运行时间过长,可以强制结束有问题的会话。 操作步骤 查看阻塞的查询语句及阻塞查询的表、模式信息。 1 2 3 4 5 6 7 8 9 10 11 SELECT w.query as waiting_query
name) 描述:作业切换资源池函数,9.1.0及以上集群版本支持。 入参要求resource_pool_name必须小于64字符。调用该函数后,如果作业处于排队阶段,作业切到新资源池会进行判断是否需要启动运行;如果作业处于运行阶段,作业切到新资源池可以启动原资源池的排队作业,同时受到新资源池的CPU管控限制。
ableSourceFactory和DynamicTableSinkFactory接口,可用于对接GaussDB(DWS)表作为Flink作业的源表、结果表和维表。 使用DWS-Connector做源表时,DWS-Connector实现了SupportsLimitPushDown
在电商行业中,商家在进行营销活动前,需要根据活动的目的,圈选一批满足特定特征的目标用户群体进行广告推送。 在教育行业中,需要根据学生不同的特征,推送有针对性的练习题目,帮助学生查漏补缺。 在搜索、视频、门户网站中,根据用户关注的热点,推送不同的内容。 这些业务场景都有一些共同的特点: 数据量庞大,运算量极大。
GaussDB(DWS)密码认证 单击“确定”。 回到DLI管理控制台,选择“作业管理 > Flink作业”,在步骤五:创建DLI Flink作业创建的作业名称所在行右侧,选择“更多 > 停止”,停止作业。 作业停止后,单击作业名称所在行右侧的“编辑”。 将SQL脚本替换成以下最新。 文件中,
insert into printSink select * from dwsSource; 执行结果如下: 父主题: Flink SQL作业类型
如校验失败,则检查SQL的输入是否存在语法错误。 图16 作业的SQL语句 单击“保存”。 回到DLI控制台首页,左侧选择“作业管理 > Flink作业”。 单击作业名称kafka-dws右侧的“启动”,单击“立即启动”。 等待约1分钟,再刷新页面,状态在“运行中”表示作业成功运行。 图17 作业运行状态 步骤七:通过Kafka客户端生产和修改消息
操作步骤 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“表/文件迁移 > 新建作业”。 选择源端以及目的端配置。 配置源端作业参数,根据待迁移的数据库类型配置对应参数: 表1 源端作业参数 源端参数 取值样例 模式或表空间 db_user01 使用SQL语句
GS_BLOCKLIST_QUERY GS_BLOCKLIST_QUERY系统表存储作业黑名单信息和异常信息,该表以unique_sql_id作为唯一索引,进行作业异常信息统计和黑名单记录,可通过与GS_WLM_SESSION_INFO进行关联获取作业的query字段和执行信息。 GS_BLOCKLIST_
在电商行业中,商家在进行营销活动前,需要根据活动的目的,圈选一批满足特定特征的目标用户群体进行广告推送。 在教育行业中,需要根据学生不同的特征,推送有针对性的练习题目,帮助学生查漏补缺。 在搜索、视频、门户网站中,根据用户关注的热点,推送不同的内容。 这些业务场景都有一些共同的特点: 数据量庞大,运算量极大。
GS_BLOCKLIST_SQL GS_BLOCKLIST_SQL系统表存储作业黑名单信息和异常信息,该表以sql_hash作为唯一索引,进行作业异常信息统计和黑名单记录,可通过与GS_WLM_SESSION_INFO进行关联获取作业的query字段和执行信息。 GaussDB(DWS)同时提供
TICS PGXC_WLM_OPERATOR_STATISTICS视图显示在所有CN上正在执行作业的算子信息。系统管理员权限可以查询集群所有用户的作业算子信息,普通用户仅可查询自己的作业算子信息。 PGXC_WLM_OPERATOR_STATISTICS视图的字段同表1相同,具体字段内容如下: