检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ON NULL INPUT SYMBOL com.test.udf.hetuengine.functions.repeat URI obs://bucket/user/hetuserver/udf/data/hetu_udf/udf-test-0.0.1-SNAPSHOT.jar
String 上传“user.keytab”文件的OBS路径。如果开启了kerberos认证，则必须设置。 properties.connector.kerberos.krb5 否 无 String 上传“krb5.conf”文件的OBS路径。如果开启了kerberos认证，则必须设置。
OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭
//指定写入的是Hudi表 'path' = 'obs://bucket/path/hudi_sink_table', //指定Hudi表的存储路径
sparkSession.sparkContext(); sc.addFile("obs://xietest1/lzq/krb5.conf"); sc.addFile("obs://xietest1/lzq/user.keytab"); Thread
（推荐）介绍的API。 URI URI格式： POST /v1.0/{project_id}/queues/{queue_name}/jobs/submit-job 参数说明 表1 URI参数 名称 是否必选 说明 project_id 是 项目编号，用于资源隔离。获取方式请参考获取项目ID。
SQL作业、Flink 1.12版本的跨源访问场景，使用DLI提供的“跨源认证”管理数据源的访问凭证。 本节操作为您介绍DLI提供的跨源认证的使用方法。 约束与限制 表1 跨源认证约束限制 限制项 说明 适用场景约束限制 仅Spark SQL、和Flink OpenSource SQL 1
管理员用户给新用户设置程序包组或程序包权限时，管理员用户所在用户组的所属区域需具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 配置程序包组或程序包权限 在“程序包管理”页面，选择要授权的程序包组
创建队列 功能介绍 该API用于创建队列，该队列将会绑定用户指定的计算资源。 新队列第一次运行作业时，需要一定的时间，通常为5~15分钟。 调试 您可以在API Explorer中调试该接口。 URI URI格式： POST /v1.0/{project_id}/queues 参数说明
OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 创建MRS的ClickHouse集群，集群版本选择MRS 3.1.0及以上版本，且勿开启kerberos认证。
本例以通过DataGen表产生随机数据并输出到Mysql结果表中为例，介绍Flink Opensource SQL使用DEW管理访问凭据的配置方法。 创建DLI与Mysql的增强型跨源连接。详细步骤请参考创建增强型跨源连接。 创建DLI访问DEW的委托并完成委托授权。详细步骤请参考自定义DLI委托权限。
提供的跨源认证。 跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 若未在创建Redis结果表的语句中定义Redis
Hive，每天通过批处理流水线作业或 Flink 作业更新一次，kafka流来自实时在线业务数据或日志，需要与维度表连接以扩充流。 使用spark sql 创建 hive obs 外表，并插入数据。 CREATE TABLE if not exists dimension_hive_table ( product_id
处于单task读写可接受范围之内。 如果是单个Bucket的数据量超过了该值范围，可能会有什么影响？ 读写任务可能会出现OOM的问题，解决方法就是提升单个task的内存占比。 读写性能下降，因为单个task的处理的数据量变大，导致处理耗时变大。 父主题： Hudi数据表设计规范
by a1, a2 with cube spark.sql.distinct.aggregator.enabled false dli.jobs.sql.resubmit.enable null 通过设置该参数可以控制在driver故障、队列重启时Spark SQL作业是否重新提交。
out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取.out文件查看结果日志。
out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取.out文件查看结果日志。
可进行日志分析，评估现网SQL质量，提前感知潜在SQL风险，并做出有效预防措施。 本节操作介绍创建SQL防御规则以增加SQL防御能力的配置方法。 DLI SQL防御规则约束与限制 仅Spark 3.3.x及以上版本支持SQL防御功能。 同一个队列，同一个动作的防御规则仅支持创建一条。
out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取.out文件查看结果日志。
OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
