检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否必选 参数类型 描述 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求参数 表2 请求参数 名称 是否必选 参数类型 说明 auth_info_name 是 String 认证信息名，同一个project下唯一。 user_name 否
Notes - Flink Jar 1.15、Flink OpenSource SQL1.15版本使用说明。 Flink 1.15版本发布时间 版本名称 发布时间 状态 EOM时间 EOS时间 DLI Flink 1.15 2023年6月 已发布 2025年6月30日 2026年6月30日
apigateway WHERE service_id = 'ecs' Group BY http_method 或者 SELECT http_method FROM apigateway WHERE service_id = 'ecs' DISTRIBUTE BY http_method
在对应队列的“操作”列，选择“更多 > 属性设置”。 进入队列属性设置页面，设置对应的属性值。属性值相关参数说明请参考表1 表1 队列属性 属性名称 说明 取值范围 最大spark driver实例数 队列能启动的最大spark driver数量。包含预先启动的spark driver和运行作业的spark
parse_presto_data_size('2.3MB'); -- 2411724 其它 typeof(expr) → varchar 返回表达式的数据类型名称。 SELECT typeof(123);-- integer SELECT typeof('cat');-- varchar(3) SELECT
即在压缩包内有一层以模块名命名的文件夹，然后才是对应类的Python文件，通常下载下来的Python库可能不满足这个要求，因此需要重新压缩。同时对压缩包的名称没有要求，所以建议可以把多个模块的包都压缩到一个压缩包里。至此，已经可以完整的运行起来一个大型、复杂的PySpark程序了。 父主题： Spark作业开发类
alary，并添加数据，命令示例如下： CREATE EXTERNAL TABLE salary ( dept STRING, -- 部⻔名称 userid string, -- 员⼯ID sal INT -- 薪⽔ ) ROW FORMAT DELIMITED FIELDS TERMINATED
单击操作列的“编辑”，进入作业编辑页面。 在参数配置区域，选择新的Spark版本。 使用Spark3.3以上版本的引擎执行作业时，需要Spark参数中配置自定义的委托名称，否则可能会影响作业运行。了解自定义DLI委托 了解更多： FLINK 官网升级指导 FLINK 1.15 release note 父主题：
志中获取Flink 1.15相关依赖包信息： 查看Flink日志。 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击作业名称，选择“运行日志”。 控制台只展示最新的运行日志，更多日志信息请查看保存日志的OBS桶。 在日志中搜索依赖包信息。 在日志中搜索“Classpath:”即可查看相关依赖包信息。
query; 参数描述 表1 INSERT INTO参数 参数 描述 tableIndentifier 需要执行INSERT命令的Hudi表的名称。 select query 查询语句。 注意事项 写入模式：Hudi对于设置了主键的表支持三种写入模式，用户可以设置参数hoodie.sql
例如："https://bucketname.obs.cn-north-1.myhuaweicloud.com/jarname.jar" group_name：资源包所属分组名称。 查询所有资源包 DLI提供查询资源列表接口，您可以使用该接口并选择相应的资源来执行作业。示例代码如下： 1 2 3 4 5
签”页面，然后单击“创建标签”来创建新的预定义标签。 具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。 在输入框中输入标签键名称。 说明： 标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : +-@ ,但首尾不能含有空格，不能以_sys_开头。
LI基本操作（如创建、查询作业等）。 DLI支持的授权项请参见权限管理概述。 如表3-1所示，包括了DLI的所有系统权限。 系统角色/策略名称 描述 类别 授权方式 DLI FullAccess 数据湖探索所有权限。 系统策略 具体的授权方式请参考创建IAM用户并授权使用DLI以
上述权限外，还需要创建数据库和创建表的权限。 使用TPC-H样例模板开发并提交SQL作业 为了便捷快速地执行SQL操作，DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后，不需编写SQL语句，可通过模板直接执行SQL操作。 登录DLI管理控制台。 在DLI管理控制台
String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 elastic_resource_pool_name 是 String 弹性资源池名称。 长度限制：1~128个字符。 表2 Query参数 参数 是否必选 参数类型 描述 start_time 否 Long start_t
Integer 样例模板个数。 表3 sqls参数说明 参数 参数类型 说明 lang String 语言。 name String 样例模板名称。 sql String 样例模板内容。 description String 样例模板描述。 group String 样例模板分组。 请求示例
签”页面，然后单击“创建标签”来创建新的预定义标签。 具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。 在输入框中输入标签键名称。 说明： 标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : +-@ ,但首尾不能含有空格，不能以_sys_开头。
SQL作业单击“自定义配置”，配置动态扩缩容参数。 Flink Jar作业单击“优化参数”框，配置动态扩缩容参数。 表1 动态扩缩容参数说明 名称 默认值 描述 flink.dli.job.scale.enable false 该配置表示是否开启动态扩缩的功能，即是否允许根据作业的负
完成最新checkpoint所用的时间 flink_jobmanager_job_lastCheckpointSize 最新checkpoint的大小，如果启用了增量检查点或更改日志，则此度量可能与lastCheckpointFullSize不同。 flink_jobmanager_job_numberOfInProgressCheckpoints
output_format_classname partition_col_name partition_col_value partition_specs property_name property_value regex_expression result_expression row_format
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
