检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置DBeaver连接DLI进行数据查询和分析 介绍DBeaver连接DLI并提交SQL查询的操作步骤。 配置DBT连接DLI进行数据调度和分析 介绍使用DBT提交DLI作业的操作步骤。
请确保已上传密钥和证书到指定的OBS路径下,并在作业配置中的其他依赖文件中引入。 表2 Flink作业传输通信加密配置参数 参数 说明 是否必须 配置示例 security.ssl.enabled 打开SSL总开关。
Flink 1.15版本请勿重复在作业代码和Jar作业配置界面配置Checkpoint相关参数,作业代码中的配置项优先级更高,重复配置可能导致作业在异常重启时使用错误的Checkpoint路径恢复数据,导致恢复失败或数据不一致。
krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String keytab配置文件obs路径。 truststore_location 否 String truststore配置文件obs路径。
本例选择使用Flink1.15版本时请在作业中配置允许DLI访问的云服务的委托信息。 委托 否 选择Flink1.15版本时需要用户自行配置委托,否则可能影响作业运行。 Flink Jar作业的高级配置。 参考表6配置Flink Jar作业。
配置为org.apache.hudi.hive.MultiPartKeysValueExtractor。
在“ 设置 > 参数配置”中配置spark.sql.dli.job.priority参数。 图1 SQL作业配置样例 父主题: 使用DLI提交SQL作业
配置凭据基本信息。
krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String keytab配置文件obs路径。 truststore_location 否 String truststore配置文件obs路径。
其他参数可以根据需要选择配置。 参数配置完成后,单击“确定”完成增强型跨源配置。单击创建的跨源连接名称,查看跨源连接的连接状态,等待连接状态为“已激活”后可以进行后续步骤。
其他参数请根据需要配置。 图3 添加队列 配置完基本参数后,单击“下一步”,在队列的扩缩容策略配置界面,修改扩缩容策略配置:最小CU:64、最大CU:64。 图4 队列扩缩容策略配置 单击“确定”完成添加队列操作。
选择要待配置的作业,单击操作列下的编辑。 单击“自定义配置”。 在“自定义配置”中输入如下语句,先开启动态扩缩容功能,再设置作业优先级。 对于Flink作业,必须先设置flink.dli.job.scale.enable=true开启动态扩缩容功能,再设置作业优先级。
当该参数配置时则从配置的时间开始读取数据,有效格式为yyyy-MM-dd HH:mm:ss。 当没有配置start-time也没配置offset的时候,读取最新数据。
krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String keytab配置文件obs路径。 truststore_location 否 String truststore配置文件obs路径。
krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String keytab配置文件obs路径。 truststore_location 否 String truststore配置文件obs路径。
与“topic_urn”配置两者至少存在一个,同时配置时,“topic_urn”优先级更高。
* 否 无 String 设置和传递任意 Kafka 的配置项。 “properties.”中的后缀名必须匹配在Apache Kafka中定义的配置键。 Flink 将移除 "properties." 配置键前缀并将变换后的配置键和值传入底层的 Kafka 客户端。
选择要查看的作业,单击操作列的“编辑”进入作业配置页面。 即可查看作业配置的计算资源规格。
需要您创建自定义委托,并将委托配置在作业中(使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时需要配置)。 了解dli_management_agency请参考DLI委托概述。 创建自定义委托并在作业中配置委托的操作步骤请参考自定义DLI委托权限。
根据业务规划配置参数信息,本例参数配置信息如所示。 更多RDS实例的参数配置信息请参考购买RDS实例。 表2 RDS MySQL实例参数配置信息 参数名称 参数说明 取值样例 计费模式 选择RDS实例的计费模式。 按需计费 区域 资源所在的区域。