检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 新增表所在的数据库名称。 请求消息 表2 请求参数 参数名称 是否必选 参数类型
的详细信息。 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。 单击需要查看的作业名称,进入“作业详情”页面。 单击页面右上角的“作业监控”,将跳转至云监控服务(CES)。 图1 作业监控 Flink 作业包含如下监控指标。 表4
last_value函数用于取当前行所对应窗口的最后一条数据的值。 使用限制 窗口函数的使用限制如下: 窗口函数只能出现在select语句中。 窗口函数中不能嵌套使用窗口函数和聚合函数。 窗口函数不能和同级别的聚合函数一起使用。 命令格式 last_value(<expr>[, <ignore_nulls>])
述。 常见新建委托场景:允许DLI读写OBS数据、日志转储、Flink checkopoint;允许DLI在访问DEW获取数据访问凭证、允许访问Catalog获取元数据等场景。以上场景的委托权限请参考常见场景的委托权限策略。 步骤1:在IAM控制台创建云服务委托并授权 登录管理控制台。
files number规则。 不同的引擎版本支持的防御规则不同。 如需查看队列的引擎版本,您可以在队列资源的资源列表页面,通过查看队列基本信息中的“默认版本”获取引擎的版本信息。 图1 查看队列引擎版本 表2 DLI支持的系统防御规则 规则ID 规则名称 说明 类别 适用引擎 支持的动作
缺少pymysql模块,可以查看是否有对应的egg包,如果没有,在“程序包管理”页面上传pyFile。具体步骤参考如下: 将egg包上传到指定的OBS桶路径下。 登录DLI管理控制台,单击“数据管理 > 程序包管理”。 在“程序包管理”页面,单击右上角“创建”可创建程序包。 在“创建程序包”对话框,配置如下参数:
用对应的UDAF函数。 授权操作参考如下:登录DLI管理控制台,选择“ 数据管理 > 程序包管理”页面,选择对应的UDAF Jar包,单击“操作”列中的“权限管理”,进入权限管理页面,单击右上角“授权”,勾选对应权限。 自定义函数中引用static类或接口时,必须要加上“try
CES”,进入云监控服务控制台。 在左侧导航栏选择“云服务监控 > 数据湖探索”,进入到云服务监控页面。 在云服务监控页面,“名称”列对应队列名称,单击对应队列名称,进入到队列监控页面。 在队列监控页面,分别查看以下指标查看当前队列的作业运行情况。 “提交中作业数”:展示当前队列中状态为“提交中”的作业数量。
参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 queue_type 否 String 队列的类型,有如下三种类型:
gaussdb:DWS集群默认数据库。 DWS集群连接地址:请参见获取集群连接地址进行获取。如果通过公网地址连接,请指定为集群“公网访问地址”或“公网访问域名”,如果通过内网地址连接,请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接,请指定为“弹性负载均衡地址”。
赋予该权限。 查看表权限 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需要设置权限的表所在的数据库名,进入该数据库的“表管理”页面。 单击所选表“操作”栏中的“权限管理”,将显示该表对应的权限信息。 图1 表权限管理 表权限设置有3种场景:为新用户或项目赋予权限,为已
QL编辑器”页面。 在“数据管理”页面删除表。 在管理控制台左侧,单击“数据管理”>“库表管理”。 单击需删除表的数据库名,进入该数据库的“表管理”页面。 选中目标表,单击“操作”栏中的“更多 > 删除表”。 在弹出的确认对话框中,单击“是”。 在“SQL编辑器”页面删除表。 在
单击“启动”重新运行作业。作业重新运行完成后再执行3及后续步骤。 在Flink作业列表单击对应作业名称,进入作业详情页面,选择“运行日志”页签。 单击OBS桶,获取对应作业的完整运行日志。 图2 查看运行日志 下载最新“jobmanager.log”文件,搜索“RUNNING to
弹性资源池仅支持关联同一企业项目的队列资源。 在弹性资源池页面关联队列 在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 选择要操作的弹性资源池,在“操作”列,单击“更多 > 关联队列”。 在“关联队列”界面,选择待添加的队列,单击“确定”完成操作。 在队列管理页面分配队列至弹性资源池 在左侧导航栏单击“资源管理
步骤2:获取DMS连接地址并创建Topic 在控制台单击“服务列表”,选择“分布式消息服务DMS”,单击进入DMS服务控制台页面。在“Kafka专享版”页面找到您所创建的Kafka实例。 图2 Kafka实例 进入实例详情页面。单击“基本信息”,获取“连接地址”。 图3 获取连接地址
执行SQL作业过程中需要查看对应的记录。 操作步骤 登录DLI管理控制台。 在左侧导航栏单击“作业管理”>“SQL作业”进入SQL作业管理页面。 输入作业ID或者执行的语句可以筛选所要查看的作业。 父主题: SQL作业开发类
predicate on partitioned table `777dd`.`test_delta_parts1` 解决方案:在console页面设置中添加参数spark.sql.forcePartitionPredicatesOnPartitionedTable.enabled值为false。
是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 batch_id 是 String 批处理作业的ID。具体为创建批处理作业中获取的作业ID。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型
登录DLI管理控制台。 选择“资源管理 > 弹性资源池”。 进入弹性资源池列表页面,选择您需要查看的弹性资源池。 在列表页面的右上方单击可以自定义显示列,并设置表格内容显示规则、操作列显示规则。 在列表页面上方的搜索区域,您可以名称和标签筛选需要的弹性资源池。 单击展开弹性资源池基本信息卡片,查看弹性资源池详细信息。
是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 job_id 是 String 作业ID。可通过提交SQL作业(推荐)获取。 请求消息 无请求参数。 响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明