检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink作业字节输出总数 展示用户Flink作业字节的输出总数。单位：字节。 Flink作业CPU使用率 展示用户Flink作业的CPU使用率。单位：%。 Flink作业内存使用率 展示用户Flink作业的内存使用率。单位：%。 Flink作业最大算子延迟 展示用户Flink作业的最大算子延迟时间，单位ms。
建相同的作业，而作业比较多的情况。此时，不需要重新创建作业，只需要将原有的作业导出，再在新的区域、项目或者使用新的用户登录后，导入作业即可。 如果需要导入自建的作业，建议使用创建作业的功能。 具体请参考创建Flink OpenSource SQL作业，创建Flink Jar作业。
BI工具连接DLI的方案中使用了DLI SDK V2。 2024年5月起，新用户可以直接使用DLI SDK V2，无需开通白名单。 对于2024年5月之前开通并使用DLI服务的用户，如需使用“DLI SDK V2”功能，必须提交工单申请加入白名单。 父主题： 使用BI工具连接DLI分析数据
在创建的新数据源配置界面中，输入Kyuubi服务器的相关信息。 数据库名称：本例输入DLI数据库名称。 服务器地址：输入Kyuubi服务器的弹性公网IP地址。 端口号：Kyuubi服务监听的端口，使用Hive Thirft协议，默认端口10009。 用户名和密码：按需配置Kyuubi服务器用户名和密码。 按需配置其他高级选项，然后保存配置。
创建非弹性资源池队列（废弃，不推荐使用） 非弹性资源池模式的队列是DLI的上一代计算资源管理方式，按使用需求购买和释放资源，需要预先估计资源使用需求再进行购买。 优先推荐使用弹性资源池队列，提高资源使用的灵活性和资源利用效率。购买弹性资源池并在弹性资源池中添加队列请参考创建弹性资源池并添加队列。
更多信息请参考在DLI控制台管理数据库资源。 IAM鉴权： 参考权限管理概述章节中的“IAM鉴权使用场景”。 Lakeformation元数据权限管理 参考DLI对接LakeFormation。 父主题： DLI中使用Delta开发作业
dli_test database 是 数据目录名称。默认使用dli数据目录。 如果使用Lakeformation元数据，填写具体的数据目录名称。 dli schema 是 提交作业使用的DLI的数据库名称。 tpch 步骤3：测试使用DBT提交作业至DLI 初始化DBT项目 在空目录下执行以下命令以初始化DBT项目：
准备工作 已注册华为账号并开通华为云，且在使用DLI前检查账号状态，账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台，在左侧导航栏单击“全局配置
使用DLI的跨源认证管理数据源访问凭证 跨源认证概述 创建CSS类型跨源认证 创建Kerberos跨源认证 创建Kafka_SSL类型跨源认证 创建Password类型跨源认证 跨源认证权限管理 父主题： 配置DLI读写外部数据源数据
JobManager CPU的使用 flink_taskmanager_Status_JVM_CPU_Load TaskManager CPU的负载 flink_taskmanager_Status_JVM_CPU_Time TaskManager CPU的使用 flink_jobma
开启Kerberos认证时的相关配置文件 参考《从零开始使用Kerberos认证集群》中的“创建安全集群并登录其Manager”章节创建Kerberos认证集群。参考“创建角色和用户”章节添加用户并赋权。 参考《使用HBase客户端》使用1中创建的用户认证登录。“人机”用户第一次登录时需修改密码。
于时间序列数据库的收集和处理，尤其适用于监控Flink作业场景。 本节操作介绍配置DLI对接AOM Prometheus监控的操作步骤。 使用须知 仅Flink 1.15版本支持对接AOM Prometheus监控。 需提前创建AOM Prometheus通用集群。 创建AOM
接到Kyuubi服务器。 步骤3：配置Power BI使用ODBC连接到Kyuubi：在BI工具中创建一个新的数据连接，使用ODBC作为数据源，通过ODBC连接Kyuubi。 步骤1：安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP
步骤1：安装并配置Kyuubi连接DLI 如需使用外网访问Kyuubi请确保弹性云服务器绑定弹性公网IP，并配置安全组入方向开启10009和3309端口。 安装JDK。 在安装和使用Kyuubi前，确保您的开发环境已安装JDK。 Java SDK要求使用JDK1.8或更高版本。考虑到后续版本的兼容性，推荐使用1.8版本。
job.scale.enable false 该配置表示是否开启动态扩缩的功能，即是否允许根据作业的负载调整作业的使用资源量和是否允许DLI根据作业优先级调整作业的使用资源量。 当前配置为false时，表示不允许。 当前配置为true时，表示允许。 默认值为false。 flink
如何查看DLI Spark作业的实际资源使用情况 查看Spark作业原始资源配置 登录DLI 控制台，单击左侧“作业管理”>“Spark作业”，在作业列表中找到需要查看的Spark作业，单击“作业ID”前的，即可查看对应Spark作业的原始资源配置参数。 在创建Spark作业时，
DLI使用SMN主题，提示SMN主题不存在，怎么处理？ 设置DLI Flink作业的运行参数时，勾选“作业异常告警”参数，可在作业出现运行异常或者欠费情况时，将作业异常告警信息，以SMN的方式通知用户。 如果遇到提示SMN主题不存在您可以按照以下步骤进行排查： 确认SMN主题是否已经创建。
k作业设置作业优先级，当资源不充足时，可以优先满足优先级较高的作业的计算资源。 Flink 1.12及以上版本的作业支持设置作业优先级。 使用须知 对于每个作业都允许设置优先级，其取值为1-10，数值越大表示优先级越高。优先满足高优先级作业的计算资源，即如果高优先级作业计算资源不足，则会减少低优先级作业的计算资源
创建SQL作业模板 为了便捷快速的执行SQL操作，DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 SQL模板包括样例模板和自定义模板。当前系统默认的样例模板包括22条标准的TPC-H查询语句，可以满足用户大部分
查找连接中构建表的缓存 TTL（例如 10 分钟）。默认情况下，TTL 为 60 分钟。 该选项仅在查找有界的 hive 表源时有效，如果您使用流式 hive 源作为时态表，请使用 streaming-source.monitor-interval 配置数据更新间隔。 示例 该示例展示了一个经典的业务流水线，维度表来自
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
