检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置DLI访问其他云服务的委托权限 DLI委托概述 创建DLI自定义委托权限 常见场景的委托权限策略 典型场景DLI委托权限配置示例
柱状图和折线图的X轴可为任意一列，Y轴仅支持数值类型的列，扇形图对应图例和指标。 SQL编辑器功能概览 SQL作业参数设置 单击SQL编辑器页面右上方的“设置”按钮。可以设置SQL作业运行参数和作业标签。 参数设置：以“key/value”的形式设置提交SQL作业的配置项。 详细
D，单击链接。 根据Active Stage可以看到当前正在运行的Stage运行情况，单击Description中的超链接。 在Stage中，可以看到每一个Task开始运行时间“Launch Time”，以及Task运行耗时时间“Duration”。 单击“Duration”，可
与云审计服务（CTS）的关系 云审计服务（Cloud Trace Service）为DLI提供对应用户的操作审计。 云审计服务支持的DLI操作请参考《云审计服务支持的DLI操作列表说明》。 与云监控服务（CES）的关系 云监控（Cloud Eye）为DLI提供监控数据，监控作业中的多项指标，从而集中高效地呈现状态信息。
怎样管理在DLI上运行的作业 管理大量的DLI作业时您可以采用以下方案： 作业分组： 将几万个作业根据不同的类型分组，不同类型的作业通过不同的队列运行。 创建IAM子用户 或者创建IAM子用户，将不同类型的作业通过不同的用户执行。 具体请参考《数据湖探索用户指南》。 此外DLI还
Livy是基于开源的Apache Livy用于提交Spark作业到DLI的客户端工具。 准备工作 创建DLI队列。在“队列类型”中选择“通用队列”，即Spark作业的计算资源。具体请参考创建队列。 准备一个linux弹性云服务器ECS，用于安装DLI Livy。 ECS需要放通300
创建SQL作业的API执行超过时间限制，运行超时报错 问题现象 DLI上调用“提交SQL作业”API运行超时，报如下错误信息： There are currently no resources tracked in the state, so there is nothing to
Flink作业提交运行后（已选择保存作业日志到OBS桶），提交运行失败的情形（例如：jar包冲突），有时日志不会写到OBS桶中 DLI Flink作业提交或运行失败时，对应生成的作业日志保存方式，包含以下三种情况： 提交失败，只会在submit-client下生成提交日志。 运行失败且在1
按需计费的弹性资源池，如果没提交作业运行就不计费？ 按需计费的弹性资源池默认勾选专属资源模式，自创建起按自然小时收费。无作业运行仍正常收费。 按实际CU进行计费，秒级计费，按小时结算。按需弹性资源池创建成功一小时后方可删除。 父主题： 计费相关问题
action:SPARK_APP_ACCESS_META) 解决方案 需要给执行作业的用户赋数据库的操作权限，具体操作参考如下： 在DLI管理控制台左侧，单击“数据管理”>“库表管理”。 单击所选数据库“操作”栏中的“权限管理”，将显示该数据库对应的权限信息。 在数据库权限管理页面右上角单击“授权”。 在“
使用Spark作业访问sftp中的文件，作业运行失败，日志显示访问目录异常 Spark作业不支持访问sftp，建议将文件数据上传到OBS，再通过Spark作业进行读取和分析。 上传数据到OBS桶：通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 S
> 运行时配置”。 在“运行时配置”页面配置以下参数。 图3 运行时配置 表1 作业运行参数说明 参数 参数说明 名称 作业的名称。 作业异常告警 设置是否将作业异常告警信息，如作业出现运行异常或者欠费情况，以SMN的方式通知用户。 勾选后需配置下列参数： “SMN主题”： 选择一
单击输入框旁边的“选择”按钮，选择当前已创建的RDS实例名即可自动关联出来数据库服务器地址。 端口 RDS实例的端口。选择数据库服务器后自动自动关联。 数据库名称 当前需要迁移的RDS MySQL数据库名称。当前示例为3中创建的数据库“testrdsdb”。 用户名 待连接数据库的用户。
Flink作业重启后，如何保证不丢失数据？ Flink作业运行异常，如何定位 Flink作业重启后，如何判断是否可以从checkpoint恢复 DLI Flink作业提交运行后（已选择保存作业日志到OBS桶），提交运行失败的情形（例如：jar包冲突），有时日志不会写到OBS桶中 J
操作场景 本节操作介绍创建Flink作业时，配置流应用实现高可靠性能的操作方法。 操作步骤 用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。 图1 创建主题 图2 添加订阅
DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器，具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。
DLI将Flink作业的输出数据输出到云搜索服务CSS的Elasticsearch中。Elasticsearch是基于Lucene的当前流行的企业级搜索服务器，具备分布式多用户的能力。其主要功能包括全文检索、结构化搜索、分析、聚合、高亮显示等。能为用户提供实时搜索、稳定可靠的服务。适用于日志分析、站内搜索等场景。
b已创建的DLI数据源连接。 资源队列 选择已创建的DLI SQL类型的队列。 数据库名称 选择DLI下已创建的数据库。当前示例为在DLI上创建数据库和表中创建的数据库名，即为“testdb”。 表名 选择DLI下已创建的表名。当前示例为在DLI上创建数据库和表中创建的表名，即为“user_info”。
Spark作业运行大批量数据时上报作业运行超时异常错误 当Spark作业运行大批量数据时，如果出现作业运行超时异常错误，通常是由于作业的资源配置不足、数据倾斜、网络问题或任务过多导致的。 解决方案： 设置并发数：通过设置合适的并发数，可以启动多任务并行运行，从而提高作业的处理能力。
流。它会将INSERT/UPDATE_AFTER数据作为正常的Kafka消息写入，并将DELETE数据以value为空的Kafka消息写入（表示对应 key 的消息被删除）。Flink将根据主键列的值对数据进行分区，从而保证主键上的消息有序，因此同一主键上的更新/删除消息将落在同一分区中。 前提条件
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
