检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果选择“邮件”协议,需要在“订阅终端”中填写接收确认邮件的邮箱地址。 更多信息,请参考《消息通知服务用户指南》中《添加订阅》章节。 图4 添加订阅 通过单击短信或者邮件中的链接确认后,将收到“订阅成功”的信息。 在消息通知服务的“订阅”页面,对应的订阅状态为“已确认”,表示订阅成功。
is_success 是 Boolean 请求发送是否成功。“true”表示请求发送成功。 message 是 String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 提交请求成功时,生成并提交一个新的作业,返回作业ID。用户可以使用作业ID来查询作业状态和获取作业结果。
导出文件格式为json格式,且文本格式仅支持UTF-8。 支持跨账号导出数据,即B账户对A账户授权后,A账户拥有B账户OBS桶的元数据信息和权限信息的读取权限,以及路径的读写权限,则A账户可将数据导出至B账户的OBS路径中。 表管理页面 在“数据管理”页面中,单击对应数据库名称或“
进入“用户权限信息”页面,单击对应子用户“操作”列中的“权限设置”可修改该用户的权限。 详细权限描述如表1和表2所示。 如果创建程序包时选择了分组,则修改的是对应程序包组的权限。 如果创建程序包时选择了不分组,则修改的是对应程序包的权限。 如果用户权限信息页面的“权限设置”选
); 示例 使用kafka发送数据,输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组,入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性(通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性
管理队列 查看队列的基本信息 队列权限管理 分配队列至项目 创建消息通知主题 队列标签管理 队列属性设置 测试地址连通性 删除队列 变更普通队列规格 普通队列弹性扩缩容 设置普通队列的弹性扩缩容定时任务 修改普通队列的网段 父主题: 创建弹性资源池和队列
管理弹性资源池 查看弹性资源池的基本信息 弹性资源池权限管理 弹性资源池关联队列 弹性资源池CU设置 弹性资源池规格变更 弹性资源池标签管理 调整弹性资源池中队列的扩缩容策略 查看弹性资源池扩缩容历史 分配弹性资源池至项目 父主题: 创建弹性资源池和队列
版本。 根据Python官方指导安装Python版本。 检验是否配置成功,运行cmd ,输入 python。运行结果,请参见图1,显示版本信息,则说明安装和配置成功。 图1 检验配置是否成功 python安装应用包时出现错误类似错误“error: Microsoft Visual
"具体的作业日志信息" ] } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题:
新建的集群名称,名称只能包含数字、英文字母和下划线,但不能是纯数字,且不能以下划线开头。 description 否 String 集群的描述信息。 cu_count 是 Integer 与集群绑定的计算单元个数, 同时是计费的单元。可选择16CU,64CU和256CU三种规格,如果需要更大配额,请联系DLI服务管理员。
使用项目A对应的账号登录DLI服务。 通过对应数据源的VPC信息在DLI服务中创建增强型跨源连接“ds”。 将增强型跨源连接“ds”授权给项目B。 对于项目B: 使用项目B对应的账号登录DLI服务。 对增强型跨源连接“ds”进行绑定队列操作。 (可选)设置主机信息,创建路由。 通过上述操作项目A的增强
消息内容。 job 否 object 作业更新信息。具体请参考表4。 表4 job参数说明 参数名称 是否必选 参数类型 说明 update_time 否 Long 作业更新时间,单位为毫秒。 请求示例 更新Flink Jar作业信息,更新后作业名称为test1,作业执行的队列为testQueue,关闭作业日志。
Jar 包冲突,导致作业提交失败 Flink Jar作业访问DWS启动异常,提示客户端连接数太多错误 Flink Jar作业运行报错,报错信息为Authentication failed Flink Jar作业设置backend为OBS,报错不支持OBS文件系统 Hadoop jar包冲突,导致Flink提交失败
超时,导致Flink作业异常怎么办? 问题现象 Jobmanager与Taskmanager心跳超时,导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断,分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码,确认是否有内存泄漏。 图2 Full
单击操作列的“编辑”,进入作业编辑页面。 在右侧的“运行参数”配置区域,选择新的Flink版本。 使用Flink 1.15以上版本的引擎执行作业时,需要在自定义配置中配置委托信息,其中key为"flink.dli.job.agency.name",value为委托名,否则可能会影响作业运行。了解自定义DLI委托 Flink
System.out.println(result); } 查询作业监控信息 DLI提供查询Flink作业监控信息的接口。您可以使用该接口查询作业监控信息,支持同时查询多个作业监控信息。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 public
Studio数据开发页面,选择左侧导航栏的“数据开发 > 作业开发”。 图6 新建作业 编辑作业信息,本例定义SQL作业名称为 “job_create_tables”。 图7 编辑作业信息 在作业开发页面,拖动DLI SQL节点到画布中,并单击节点编辑属性。 SQL或脚本:本例选择“SQL脚本”。并选择2
println(messageInfo.getMsg()); } 查询所有批处理作业 DLI提供查询批处理作业的接口。您可以使用该接口查询当前工程下的所有批处理作业信息。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 private static
String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 job_list 否 Object 作业列表信息。请参见表4。 表4 job_list参数说明 参数名称 是否必选 参数类型 说明 total_count
执行请求是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息,执行成功时,信息可能为空。 error_code 是 String 错误码。 stream_graph 是 String 静态流图的描述信息。 请求示例 生成Flink SQL作业的静态流图,流图的类型为静态流图。