检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark作业：配置Spark作业访问OBS中存储的数据。 提交Spark作业：完成作业编写后，提交并执行作业。 父主题： Spark作业运维类
AMING读取将持续监控表，并在新数据可用时以增量方式获取新数据。默认情况下，Flink会读取有界的表。 STREAMING读取支持同时使用分区表和非分区表。对于分区表，Flink将监控新分区的生成，并在可用时增量读取它们。对于未分区的表，Flink 会监控文件夹中新文件的生成情况，并增量读取新文件。
Spark程序访问OBS数据时，需要通过配置AK、SK的访问进行访问。 具体访问方式可以参考：通用队列操作OBS表如何设置AK/SK。 父主题： Spark作业运维类
AS SELECT 1 AS colName”指定列名的方式解决该问题，或者将存储格式指定为除AVRO以外的其它格式。 父主题： SQL作业运维类
ions相关字段和案例描述。 调整Spark作业的Executor数量，分配更多的资源用于Spark作业的运行。 父主题： Spark作业运维类
Flink作业相关API（废弃） 查询作业监控信息（废弃） OBS授权给DLI服务 父主题： 历史API
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
partitionedTable WHERE partitionedColumn = XXX 查询每个分区表时必须包含至少一个分区条件。 父主题： SQL作业运维类
x的作业日志中如果出现一条访问catalog查询该数据库，并提示数据库不存在是为了确保Spark作业正常运行，无需执行其他操作。 父主题： Spark作业运维类
情、查询作业执行计划、查询作业监控信息、批量停止作业、删除作业、批量删除作业、导出Flink作业、导入Flink作业、生成Flink SQL作业的静态流图、创建IEF消息通道、边缘Flink作业状态上报、边缘Flink作业Action回调、IEF系统事件上报。 Flink作业模板相关API
在“授权”弹出框中，选择“用户授权”或“项目授权”，填写需要授权的用户名或选择需要授权的项目，选择相应的权限。 单击“确定”，完成授权。 父主题： Spark作业运维类
云审计服务支持的DLI操作请参考《云审计服务支持的DLI操作列表说明》。 与云监控服务（CES）的关系 云监控（Cloud Eye）为DLI提供监控数据，监控作业中的多项指标，从而集中高效地呈现状态信息。 具体指标请参考《数据湖探索监控指标说明》。 与消息通知服务（SMN）的关系 消息通知服务（Simple
检查账户状态。 请先确认是否欠费，如有欠费请充值。 重新登录账户。 如果充值后仍然提示相同的错误，请退出账号后重新登录。 父主题： SQL作业运维类
转到“SQL编辑器”。 在“SQL编辑器”中，单击“设置”，参考如下图配置添加参数。 图1 设置参数 重新执行作业。 父主题： SQL作业运维类
DLI弹性资源池和队列类 怎样查看弹性资源池和作业的资源使用情况？ 怎样判断当前DLI队列中的作业是否有积压？ 怎样查看DLI队列负载？ 怎样监控DLI队列上的作业异常？ 怎样将老版本的Spark队列切换成通用型队列 在default队列执行DLI SQL失败，提示超时异常怎么办？
解决方案 在使用DataSource语法创建avro类型的OBS表时，请选择Spark2.4.x及以上版本进行创建。 父主题： Spark作业运维类
dli_management_agency 系统默认委托 DLI系统委托，用于将操作权限委托给DLI服务，让DLI服务以您的身份使用其他云服务，代替您进行一些资源运维工作。该委托包含跨源操作、消息通知、用户授权操作所需的权限。详细委托包含的权限请参考表2 dli_data_clean_agency 系统默认委托，需用户自行授权
确认桶是否应用于其他业务功能。 如果是，您可以在DLI管理控制台页面更改作业配置，选择其他未被占用的OBS桶用于DLI日志存储。 父主题： Spark作业运维类
检查账户状态。 请先确认是否欠费，如有欠费请充值。 重新登录账户。 如果充值后仍然提示相同的错误，请退出账号后重新登录。 父主题： SQL作业运维类
项目不具备跨源场景所需权限、和SMN发送通知消息的权限。 示例1：在项目A配置DLI的基础使用、跨源场景、运维场景的权限和示例2：在项目B配置DLI的基础使用、跨源场景、运维场景的权限给出了同一个区域的不同项目更新DLI委托带来的委托权限差异。 单击选择dli_managemen
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
