检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
按需计费模式：按弹性资源池的实际CUs计费。 包年/包月计费模式：按弹性资源池的实际CUs计费，其中规格部分包年/包月，超出规格的部分按需计费。 弹性资源池CU时套餐包：按购买的套餐包周期价格扣费，其中套餐包内的规格包周期计费，超出套餐包规格的部分按需计费。 更多弹性资源池计费信息请参考弹性资源池计费。 怎样创建“弹性资源池队列”？
Flink作业开发指南 流生态作业开发指引 Flink OpenSource SQL作业开发 Flink Jar作业开发基础样例 使用Flink Jar写入数据到OBS开发指南 使用Flink Jar连接开启SASL_SSL认证的Kafka 使用Flink Jar读写DIS开发指南
Java SDK Java SDK概述 Java SDK环境配置 OBS授权 队列相关 资源相关 SQL作业相关 Flink作业相关 Spark作业相关 Flink作业模板相关
使用DLI提交Flink作业 Flink作业概述 创建Flink OpenSource SQL作业 创建Flink Jar作业 配置Flink作业权限 管理Flink作业 管理Flink作业模板 添加Flink作业标签
Spark 2.4.x与Spark 3.3.x版本差异对比 Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异对比 Spark 2.4.x与Spark 3.3.x版本在通用队列的差异对比 DLI datasourceV1表和datasourceV2表 父主题： 版本支持公告
图4 Flink Jar作业指定委托 Flink OpenSource SQL作业指定委托 登录DLI管理控制台，选择“作业管理 > Flink作业”。 选择待编辑的Flink OpenSource SQL作业，单击操作列的“编辑”。 在作业配置区域配置委托信息： 在“运行参数”页签，确保所选的Flink版本为1
怎样查看DLI队列负载？ 怎样监控DLI队列上的作业异常？ 怎样将老版本的Spark队列切换成通用型队列 在default队列执行DLI SQL失败，提示超时异常怎么办？
一个可用区是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、
管理队列 查看队列的基本信息 队列权限管理 分配队列至项目 创建消息通知主题 队列标签管理 队列属性设置 测试地址连通性 删除队列 变更普通队列规格 普通队列弹性扩缩容 设置普通队列的弹性扩缩容定时任务 修改普通队列的网段 父主题： 创建弹性资源池和队列
个Flink环境。通过将非Connector的Flink依赖项（以flink-开头）和第三方库（如Hadoop、Hive、Hudi、Mysql-cdc）的作用域设置为provided，可以确保这些依赖项不会被包含在Jar作业中，从而实现最小化提交，避免依赖包与flink内核中依赖包冲突：
format，timestampformat参数。 table_comment 否 String 表的注释。 create_table_sql 否 String 该表的建表语句。 表3 columns参数 参数名称 是否必选 参数类型 说明 column_name 是 String
管理弹性资源池 查看弹性资源池的基本信息 弹性资源池权限管理 弹性资源池关联队列 弹性资源池CU设置 弹性资源池规格变更 弹性资源池标签管理 调整弹性资源池中队列的扩缩容策略 查看弹性资源池扩缩容历史 分配弹性资源池至项目 父主题： 创建弹性资源池和队列
BI SaaS生产环境主页，单击左侧导航栏中的“创建数据集”。 图2 创建数据集 在“数据集类型”页面中，选择创建“SQL数据集”，请参见图3。 图3 创建SQL数据集 在“创建数据集”页面中，左侧“数据源”栏选择已添加的DLI数据源，请参见图4。 图4 选择数据源 左侧“表”栏
enable=true开启动态扩缩容功能，再设置作业优先级。 调整作业优先级需要停止作业后编辑，并重新提交运行才能生效。 设置Flink Opensource SQL作业优先级 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要待配置的作业，单击操作列下的编辑。 单击“自定义配置”。
到源和目的端数据类型的转换和映射，根据表2可以获取到源和目的端的数据类型映射关系。 表2 数据类型映射表 MySQL Hive DWS Oracle PostgreSQL Hologres DLI Spark CHAR CHAR CHAR CHAR CHAR CHAR CHAR VARCHAR
L赋权给其他子用户使用。 作用范围：项目级服务。 系统角色 无 表2列出了DLI SQL常用操作与系统权限的授权关系，您可以参照该表选择合适的系统策略。 更多SQL语法赋权请参考《数据湖探索SQL语法参考》> 《数据控制》>《权限列表》章节。 表2 DLI常用操作与系统权限的关系
委托的AK、SK、SecurityToken。 Spark Jar作业获取作业委托凭证 import org.apache.spark.sql.SparkSession; import org.slf4j.Logger; import org.slf4j.LoggerFactory;
main.java import org.apache.spark.SparkFiles import org.apache.spark.sql.SparkSession import scala.io.Source object DliTest { def main(
overwrite覆盖分区表数据的时候，覆盖了全量数据？ 跨源连接RDS表中create_date字段类型是datetime，为什么DLI中查出来的是时间戳呢？ SQL作业执行完成后，修改表名导致datasize不正确怎么办？ 从DLI导入数据到OBS，数据量不一致怎么办？
Flink作业动态扩缩容适用于Flink Opensource SQL作业和Flink Jar作业。 登录DLI管理控制台。 单击“作业管理 > Flink作业”。 选择要开启动态扩缩容的作业，单击操作列下的编辑。 Flink Opensource SQL作业单击“自定义配置”，配置动态扩缩容参数。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
