检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何自定义SMN主题,请参见《消息通知服务用户指南》中“创建主题”章节。 检查IAM权限。 如果SMN主题已经存在,但仍然提示不存在,请进入统一身份认证服务(IAM),选择对应子账户所在的用户组,确保该用户组已添加相应Region的SMN策略。 确认主题名称和区域。 确保您在DLI中配置的SMN主题名称和区域与
是 批处理作业的ID。 请求消息 无请求参数。 响应消息 表2 响应参数说明 参数名称 是否必选 参数类型 说明 id 否 String 批处理作业的ID,采用UUID(通用唯一识别码)格式。 state 否 String 批处理作业的状态,请参见创建批处理作业中的表7。 请求示例
返回输入表达式的数据类型的字符串表示形式。默认情况下返回的字符串是一个摘要字符串,可能会为了可读性而省略某些细节。 如果 force_serializable 设置为 TRUE,则字符串表示可以保留在目录中的完整数据类型。请注意, 特别是匿名的内联数据类型没有可序列化的字符串表示。在这种情况下返回
参数说明 作业ID 所提交Spark作业的ID,由系统默认生成。 名称 所提交Spark作业的名称。 队列 所提交Spark作业所在的队列。 用户名 执行Spark作业的用户名称。 状态 作业的状态信息,包括如下。 启动中:正在启动 运行中:正在执行任务 已失败:session已退出
请在Flink作业的日志中获取Flink 1.15相关依赖包信息: 查看Flink日志。 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击作业名称,选择“运行日志”。 控制台只展示最新的运行日志,更多日志信息请查看保存日志的OBS桶。 在日志中搜索依赖包信息。
Administrator权限;使用VPC(虚拟私有云)的VPC Administrator权限;访问和使用DIS数据源(数据接入服务)的DIS Administrator权限;使用SMN(消息通知服务)的SMN Administrator权限;DLI获得访问和使用OBS的委托权限。 { "roles":
<default>]) 参数的数据类型 实现if-then-else分支选择的功能。 javahash javahash(string a) STRING 返回hash值。 max_pt max_pt(<table_full_name>) STRING 返回分区表的一级分区中有数据的分区的最大值,按字母排序,且读取该分区下对应的数据。
lateness_interval) 返回相对应的滚动窗口范围以外的上界时间戳。 示例 1. 根据订单信息使用kafka作为数据源表,JDBC作为数据结果表统计用户在30秒内的订单数量,并根据窗口的订单id和窗口开启时间作为主键,将结果实时统计到JDBC中: 根据MySQL和kafka所在的虚拟私有云和子网创
一个“键”只能添加一个“值”。 每个资源中的键名不能重复。 标签键:在输入框中输入标签键名称。 说明: 标签的键的最大长度为128个字符,标签的键可以包含任意语种字母、数字、空格和_ . : +-@ ,但首尾不能含有空格,不能以_sys_开头。 标签值:在输入框中输入标签值。 说明: 标签值的最大长度为25
目ID。 resource_name 是 String 上传的资源包名。 表2 query参数说明 参数名称 是否必选 参数类型 说明 group 否 String 上传资源包时,返回的资源组名。 带入query参数的URL示例如下: DELETE /v2.0/{project_
队列扩缩容计划CU的目标值。 start_hour 是 Integer 队列扩缩容计划起始小时时间。 start_minute 是 Integer 队列扩缩容计划的起始分钟时间。 repeat_day 是 Array of strings 定时扩缩容计划的重复周期,可以选择周一到周日的某一天
如果选择“短信”协议,需要在“订阅终端”中填写接收确认短信的手机号码。 如果选择“邮件”协议,需要在“订阅终端”中填写接收确认邮件的邮箱地址。 更多信息,请参考《消息通知服务用户指南》中《添加订阅》章节。 图4 添加订阅 通过单击短信或者邮件中的链接确认后,将收到“订阅成功”的信息。 在消息通知服务的“订阅”页
操作场景 本节操作介绍创建Flink作业时,配置流应用实现高可靠性能的操作方法。 操作步骤 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。 图1 创建主题 图2 添加订阅
ent avro的形式写入作为sink的topic中。 根据kafka和ecs所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka和ecs的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多
Python SDK列表 表1 Python SDK列表 类型 说明 队列相关 介绍查询所有队列的Python SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python SDK使用说明。 SQL作业相关 介绍数据库相关、表相关、作业相关的Python
Properties info); 其中,JDBC的配置项通过url传入,请参考表2配置参数。JDBC配置对象,除了在url中以分号间隔设置配置项外,还可以通过Info对象动态设置属性项,具体属性项参见表3。 表2 数据库连接参数 参数 描述 url url的格式如下。 jdbc:dli://<endPoint>/projectId
Long 批处理作业的创建时间。是单位为“毫秒”的时间戳。 update_time 否 Long 批处理作业的更新时间。是单位为“毫秒”的时间戳。 feature 否 String 作业特性。表示用户作业使用的Spark镜像类型。 basic:表示使用DLI提供的基础Spark镜像。
该API用于创建IEF消息通道。 DLI不再支持边缘作业场景的API调用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1/{project_id}/edgesrv/message-channel 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型
是 String 事件的操作类型。 timestamp 是 Integer 事件产生的时间戳。 topic 是 String 消息发送的Topic。 name 是 String 资源名称。 attributes 否 String 资源的属性。 响应消息 表4 响应参数说明 参数名称
请求消息 无请求参数。 响应消息 表3 响应参数 参数名称 参数类型 说明 create_time Long 资源包上传的unix时间。是单位为“毫秒”的时间戳。 update_time Long 更新已上传资源包的unix时间。是单位为“毫秒”的时间戳。 resource_type