正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
is_restarting 否 Boolean 是否重启队列。默认值为“false”。 labels 否 String 创建队列的标签信息,目前包括队列是否跨AZ的标签信息的Json字符串。目前只支持值为“2”,即创建两个队列。 feature 否 String 队列的镜像类型。支持以下两种类型:
创建Flink Jar作业 查看Flink作业详情 Flink作业权限管理 设置Flink作业优先级 开启Flink作业动态扩缩容 Flink作业标签管理 查询Flink作业日志 管理Flink作业 管理Flink作业模版
账号A共享给账号B的VPC。 子网 账号A共享给账号B的子网。 路由表 本场景下无需配置。 主机信息 本场景下无需配置。 标签 使用标签标识云资源。包括标签键和标签值。 单击“确定”,创建增强型跨源连接。 账号A将1创建的增强型跨源连接授权给用户B使用。 账号A在增强型跨源连接的列表页面,单击操作列下的“更多
通用队列操作OBS表如何设置AK/SK (推荐)方案1:使用临时AK/SK 建议使用临时AK/SK,获取方式可参见统一身份认证服务_获取临时AK/SK。 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 表1
如何查看DLI Spark作业的实际资源使用情况 查看Spark作业原始资源配置 登录DLI 控制台,单击左侧“作业管理”>“Spark作业”,在作业列表中找到需要查看的Spark作业,单击“作业ID”前的,即可查看对应Spark作业的原始资源配置参数。 在创建Spark作业时,
使用SDK查询SQL作业结果,如何设置超时时间? 查询SQL作业结果SDK,在提交时会确认作业状态,系统设置的超时时间是300s,如果作业不是“FINISHED”状态,在达到300s后会抛出异常超时的错误。 建议使用getJobId()获取jobid,然后调用queryJobResultInfo(String
Flink作业重启后,如何保证不丢失数据? DLI Flink提供了完整可靠的Checkpoint/Savepoint机制,您可以利用该机制,保证在手动重启或者作业异常重启场景下,不丢失数据。 为了避免系统故障导致作业异常自动重启后,丢失数据: 对于Flink SQL作业,您可以
Spark如何将数据写入到DLI表中 使用Spark将数据写入到DLI表中,主要设置如下参数: fs.obs.access.key fs.obs.secret.key fs.obs.impl fs.obs.endpoint 示例如下: import logging from operator
API接口返回的中文字符为乱码,如何解决? DLI接口返回的结果编码格式为“UTF-8”,在调用接口获取返回结果时需要对返回的信息编码转换为“UTF-8”。 例如,参考如下实现对返回的response.content内容做编码格式转换,确保返回的中文格式不会乱码。 print(response
管理队列 队列权限管理 分配队列至项目 创建消息通知主题 队列标签管理 队列属性设置 测试地址连通性 删除队列 变更普通队列规格 普通队列弹性扩缩容 设置普通队列的弹性扩缩容定时任务 修改普通队列的网段 父主题: 创建弹性资源池和队列
管理弹性资源池 查看弹性资源池的基本信息 弹性资源池权限管理 弹性资源池关联队列 弹性资源池CU设置 弹性资源池规格变更 弹性资源池标签管理 调整弹性资源池中队列的扩缩容策略 查看弹性资源池扩缩容历史 分配弹性资源池至项目 父主题: 创建弹性资源池和队列
String 作业结果的OBS路径。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是 String 标签的键。 value 是 String 标签的值。 请求示例 无 响应示例 { "is_success": true, "message": "", "job_id":
导出作业时,用户指定的压缩方式。 tags 否 Array of objects 作业的标签。具体请参考表3。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是 String 标签的键。 value 是 String 标签的值。 请求示例 无 响应示例 查询导入作业 { "is_success":
句,运行时长,创建时间,结束时间,参数设置,标签,结果条数,已扫描数据,数据库。 查询(select)作业(作业类型:QUERY),包括以下信息:队列,作业ID,用户名,类型,状态,执行语句,运行时长,创建时间,结束时间,参数设置,标签,结果条数(运行成功,可导出结果),已扫描数
Flink Opensource SQL如何解析复杂嵌套 JSON? kafka message { "id": 1234567890, "name": "swq", "date": "1997-04-25", "obj": { "time1": "12:12:12"
Flink作业如何进行性能调优 概念说明及监控查看 消费组积压 消费组积压可通过topic最新数据offset减去该消费组已提交最大offset计算得出,说明的是该消费组当前待消费的数据总量。 如果Flink作业对接的是kafka专享版,则可通过云监控服务(CES)进行查看。具体可选择“云服务监控
如何打通DLI和数据源的网络? DLI 增强型跨源连接底层采用对等连接,直接打通DLI集群与目的数据源的VPC网络,通过点对点的方式实现数据互通。 创建增强型跨源连接的操作步骤请参考创建增强型跨源连接。 父主题: 跨源连接问题
关联OBS桶中嵌套的JSON格式数据如何创建表 DLI支持关联OBS桶中嵌套的JSON格式数据,使用异步模式建表即可。 建表语句如下: create table tb1 using json options(path 'obs://....') 父主题: 作业开发
使用DLI运行几万个作业,如何管理? 用户需要使用DLI运行几万个作业,建议如下: 将几万个作业根据不同的类型分组,不同类型的作业通过不同的队列运行。 或者创建IAM子用户,将不同类型的作业通过不同的用户执行。具体请参考《数据湖探索用户指南》。 父主题: 作业管理
NOT EXISTS 若该函数已经存在,则不会进行任何操作。 LANGUAGE JAVA|SCALA Language tag 用于指定 Flink runtime 如何执行这个函数。目前,只支持 JAVA 和 SCALA,且函数的默认语言为 JAVA。 示例 创建一个名为STRINGBACK的函数