检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更多Spark 3.3.1版本说明请参考Spark Release Notes。 Spark 3.3.1版本发布时间 版本名称 发布时间 状态 EOM时间 EOS时间 DLI Spark 3.3.1 2023年6月 已发布 2025年6月30日 2026年6月30日 更多版本支持信息请参考DLI计算引擎版本生命周期。
计算引擎版本生命周期 表1给出了DLI计算引擎版本生命周期，帮助您规划自己的版本更新节奏。 表1 DLI计算引擎版本生命周期 计算引擎类型 版本名称 状态 EOM时间 EOS时间 Flink DLI Flink 1.15 已发布 2025年6月30日 2026年6月30日 DLI Flink
子网：选择Kafka的子网。 其他参数可以根据需要选择配置。 参数配置完成后，单击“确定”完成增强型跨源配置。单击创建的跨源连接名称，查看跨源连接的连接状态，等待连接状态为“已激活”后可以进行后续步骤。 单击“队列管理”，选择操作的队列，本示例为步骤1：创建队列中创建的队列，在操作列，单击“更多 > 测试地址连通性”。
和分组操作中可以被重写的操作。对于流式查询，该操作在 join 和分组操作中被重写。根据输入行的数量计算查询结果所需的状态可能会无限增长。 请提供具有有效保留间隔的查询配置，以防止状态过大。 value IN (sub-query) BOOLEAN 如果 value 等于子查询结果集中的一行则返回
"3c92c202-b17c-4ed7-b353-ea08629dd671" } ], "count": 1 } 状态码 状态码 描述 200 OK 错误码 请参见错误码。 父主题： Spark作业模板相关API
getTypeInference( ) 方法。 建议使用注解方式，因为它可使自定义类型推导逻辑保持在受影响位置附近，而在其他位置则保持默认状态。 importorg.apache.flink.table.annotation.DataTypeHint; importorg.apache
件。 表头:无/有 设置导出数据是否含表头。 单击“确定”即可导出数据。 （可选）您可以在“作业管理”>“SQL作业”页面查看导出作业的“状态”、“执行语句”等信息。 在“作业类型”中选择“EXPORT”，输入导出数据的时间段，即可查询出对应条件下的作业列表。 单击导出作业名称前的，可查看导出作业的详细信息。
getTypeInference( ) 方法。 建议使用注解方式，因为它可使自定义类型推导逻辑保持在受影响位置附近，而在其他位置则保持默认状态。 importorg.apache.flink.table.annotation.DataTypeHint; importorg.apache
步骤5：提交Spark作业 创建Spark Jar作业分析数据。 准备工作 已注册华为账号并开通华为云，且在使用DLI前检查账号状态，账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。
实例所在的子网。 图11 创建增强型跨源 增强型跨源创建完成后，在跨源列表中，对应的跨源连接状态会显示为“已激活”。 单击跨源连接的名称，详情页面显示连接状态为“ACTIVE”。 图12 跨源连接状态 图13 详情 测试队列与RDS、DMS实例连通性。 单击“队列管理”，选择您所使用的
责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。
子网。 其他参数可以根据需要选择配置。 参数配置完成后，单击“确定”完成增强型跨源配置。单击创建的跨源连接名称，查看跨源连接的连接状态，等待连接状态为：“已激活”后可以进行后续步骤。 如果是连接MRS HBase，则还需要添加MRS的主机节点信息，具体步骤如下： 在“跨源管理 >
或者在“队列管理”页面，查看“规格”大小是否改变来判断是否扩缩容成功。 或者在“作业管理”页面，查看“SCALE_QUEUE”类型作业的状态，如果作业状态为“规格变更中”，表示队列正在扩缩容中。 修改弹性扩缩容定时任务 如果设定的定时任务不再满足业务需求，可以在“弹性扩缩容定时任务”页面修改弹性扩缩容定时任务。
'print' ); insert into printSink select * from dataGenSource; 该作业提交后，作业状态变成“运行中”，后续您可通过如下操作查看输出结果。 方法一： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列，选择“更多
子网。 其他参数可以根据需要选择配置。 参数配置完成后，单击“确定”完成增强型跨源配置。单击创建的跨源连接名称，查看跨源连接的连接状态，等待连接状态为：“已激活”后可以进行后续步骤。 如果是连接MRS HBase，则还需要添加MRS的主机节点信息，具体步骤如下： 在“跨源管理 >
'print' ); insert into printSink select * from dataGenSource; 该作业提交后，作业状态变成“运行中”，后续您可通过如下操作查看输出结果。 方法一： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列，选择“更多
创建Spark作业完成后，在控制台单击右上角“执行”提交作业，页面显示“批处理作业提交成功”说明Spark作业提交成功，可以在Spark作业管理页面查看提交的作业的状态和日志。 如果选择spark版本为2.3.2（即将下线）或2.4.5提交作业时，需要指定Module模块，名称为：sys.datasource
步骤5：查询数据 使用标准SQL语句进行数据的查询和分析。 准备工作 已注册华为账号并开通华为云，且在使用DLI前检查账号状态，账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。
--配置并行度 ); insert into printSink select * from dataGenSource; 该作业提交后，作业状态变成“运行中”，后续您可通过如下操作查看输出结果。 方法一： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 在对应Flink作业所在行的“操作”列，选择“更多
10及其以上版本的作业支持在弹性资源池运行。 弹性资源池网段设置后不支持更改。 弹性资源池关联队列： 仅支持关联按需计费模式的队列（包括专属队列）。 队列和弹性资源池状态正常，资源未被冻结。 当前仅支持包年包月计费模式的弹性资源池进行规格变更。 仅支持查看30天以内的弹性资源池扩缩容历史。 弹性资源池不支持访问公网。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
