检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
join表时没有添加on条件，造成笛卡尔积查询，导致队列资源爆满，作业运行失败怎么办？ 问题现象 运行的SQL语句中存在join表，但是join没有添加on条件，多表关联造成笛卡尔积查询，最终导致队列资源占满，该队列上的作业运行失败。 例如，如下问题SQL语句，存在三个表的left
使用Flink Jar连接开启SASL_SSL认证的Kafka 概述 本节操作介绍使用Flink Jar连接开启SASL_SSL认证的Kafka的操作方法。 如需使用Flink OpenSource SQL连接开启SASL_SSL认证的Kafka，请参考Flink SQL语法参考-Kafka源表。
DLI产品咨询类 DLI Flink与MRS Flink有什么区别？ DLI中的Spark组件与MRS中的Spark组件有什么区别？ 怎样升级DLI作业的引擎版本 DLI的数据可存储在哪些地方 DLI是否支持导入其他租户共享OBS桶的数据？ 区域和可用区 全局变量的使用中，一个子
Spark作业使用咨询 DLI Spark作业是否支持定时周期任务作业 DLI Spark不支持作业调度，用户可以通过其他服务，例如数据湖管理治理中心DataArts Studio服务进行调度，或者通过API/SDK等方式对作业进行自定义调度 。 使用DataArts Studi
限需自定义）。其他场景需用户自定义委托。委托的详细说明请参考表1。 DLI为了满足细粒度的委托权限需求，DLI升级了系统委托，将原有的dli_admin_agency升级为dli_management_agency，新的委托包含跨源操作、消息通知、用户授权操作所需的权限。配置DLI云服务委托权限。
过大的风险，DLI升级了系统委托，做到更细粒度的委托权限控制，将原有的dli_admin_agency升级为dli_management_agency，新的委托包含获取IAM用户信息、跨源操作、消息通知所需的权限。有效避免DLI相关联服务权限不受控制的问题。升级后的DLI委托灵活
迁移Elasticsearch数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移Elasticsearch类型的CSS集群数据至DLI。其他自建的Elasticsearch等服务数据，均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。
华东-上海二 项目 每个区域默认对应一个项目，由系统预置。 系统默认项目 名称 弹性资源池名称。 dli_resource_pool 规格 选择弹性资源池规格。 标准版 CU范围 弹性资源池最大最小CU范围。 64-64 网段 规划弹性资源池所属的网段。如需使用DLI增强型跨源，弹性资
重启/扩容/缩容队列 功能介绍 该API用于重新启动队列、扩容队列、缩容队列。 只有SQL类型的队列支持重启，且重启的时候队列的状态必须是可用状态（执行SQL作业成功后队列状态才是可用状态）。 调试 您可以在API Explorer中调试该接口。 URI URI格式： PUT /v1
按需计费的弹性资源池，如果没提交作业运行就不计费？ 想要使用扫描套餐包计费，购买队列还要额外收费吗？ 超出套餐包额度的使用量怎么收费？ 弹性资源池的实际CUs、CU范围、规格的含义 包年包月弹性资源池设置了定时扩缩容时，怎样计费？
Flink作业输出流写入数据到OBS，通过该OBS文件路径创建的DLI表查询无数据 问题现象 使用Flink作业输出流写入数据到了OBS中，通过该OBS文件路径创建的DLI表进行数据查询时，无法查询到数据。 例如，使用如下Flink结果表将数据写入到OBS的“obs://obs-sink/car_infos”路径下。
Flink作业提交错误，如何定位 在Flink作业管理页面，将鼠标悬停到提交失败的作业状态上，查看失败的简要信息。 常见的失败原因可能包括： CU资源不足：需扩容队列。 生成jar包失败：检查SQL语法及UDF等。 如果信息不足以定位或者是调用栈错误，可以进一步单击作业名称，进入
使用DLI进行车联网场景驾驶行为数据分析 应用场景 在车联网领域，云计算与大数据为企业提供了强大的分析挖掘能力，可以帮助企业和车队管理者更加科学、便捷地进行车辆数据管理与分析。 方案架构 根据已有的某货运公司车辆定时上报的详单数据和货运订单数据，DLI可以完成对该货运公司车辆行驶特点分析、记录明细的查询。
否 String 队列所属资源类型。 vm：ecf集群 container：容器化集群（k8s） cu_spec 否 Integer 队列的规格大小。对于包周期队列，表示包周期部分的CU值；对于按需队列，表示用户购买队列时的初始值。 cu_scale_out_limit 否 Integer
Flink作业相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 新建SQL作业 DLI提供新建Flink SQL作业的接口。您可以使用该接口新建Flink SQL作业并提交到DLI，示例代码如下：
怎样排查DLI计费异常？ 如果您在使用DLI服务的过程中，感觉计费有异常，可按照以下步骤进行排查： 包周期资源与预付费资源，本节操作重点介绍怎样排查按需资源使用中的扣费异常。 SQL作业 登录DLI管理控制台。 进入“作业管理”>“SQL作业”页面。 查看需要确认的作业详情，确认在扣费时间段内是否有以下操作：
流生态作业开发指引 概述 流生态系统基于Flink和Spark双引擎，完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态
典型场景示例：迁移Elasticsearch数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移Elasticsearch类型的CSS集群数据至DLI。其他自建的Elasticsearch等服务数据，均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列
量（单位为“GB”）收取存储费用。建议购买存储量套餐包和按需计费模式结合使用， 购买了存储量套餐包时，按需使用过程中优先抵扣存储量套餐包的规格额度，超过额度的使用量按照按需计费。存储套餐的额度每个小时会重置。更多套餐包计费信息请参考套餐包计费。 适用场景 存储资源是DLI服务内部的存储资源，用于存储数据库和DLI表。
执行作业的用户数据库和表权限不足导致作业运行失败 问题现象 Spark作业运行报数据库权限不足，报错信息如下： org.apache.spark.sql.AnalysisException: org.apache.hadoop.hive.ql.metadata.HiveException:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
