检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
li_management_agency中。需要您创建自定义委托,并将委托配置在作业中(使用Flink 1.15和Spark 3.3及以上版本的引擎执行作业时需要配置)。 了解dli_management_agency请参考DLI委托概述。 创建自定义委托并在作业中配置委托的操作步骤请参考自定义DLI委托权限。
请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Flink1.15版本 已在作业中配置允许DLI访问DEW的委托信息。flink.dli.job.agency.name=自定义委托名称。
建标签,具体参见管理作业标签。 在搜索框中继续选择其他标签,可添加不同标签组合搜索。支持最多20个不同标签的组合搜索,且多个不同标签之间为与的关系。 单击搜索按钮,在作业列表中将显示查找到的作业。 父主题: 使用DLI提交Flink作业
table_comment ] [ PARTITIONED BY (partColumnList) ] 通过表名创建,能通过show tables查到该表,当前版本必须制定location,且只能指定为obs路径;通过delta.`Obs路径`创建,不能通过show tables查到。 参数描述 表1
/user.keytab','principal'='krbtest') "); 与未开启kerberos认证相比,开启了kerberos认证需要多设置三个参数,如表1所示。 表1 参数说明 参数名称与参数值 参数说明 'krb5conf' = './krb5.conf' krb5
min(队列的最大CU和,弹性资源池CU范围最大值)。 通过“规格变更”将弹性资源池规格调整为80CUs,规格变更后,CU范围的最小值自动调整为与规格一致大小的CU。 示例2:按需计费的弹性资源池,实际CUs:64CUs、CU范围:64CUs - 96CUs。计划调整CU范围:80CUs
《数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.dws。 如果选择Spark版本为3.1.1时,无需选择Module模块, 需在 'Spark参数(--conf)'
湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.opentsdb。 如果选择Spark版本为3.1.1时,无需选择Module模块, 需在 'Spark参数(--conf)'
管理员权限的角色并绑定给用户。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和passwor
PARTITIONS [catalog_name.][db_name.]table_name [PARTITION (partitionSpecs)]; 描述 这个表达式用于列出指定的的所有分区。 示例 SHOW PARTITIONS test PARTITION(hr = '12'
ark作业管理页面查看提交的作业的状态和日志。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.rds。 如果选择Spark版本为3.1.1时,无需选择Module模块, 需在 'Spark参数(--conf)'
flink_version 否 String Flink版本。当用户设置“feature”为“basic”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用的DLI基础Flink镜像的版本。 operator_config 否 String 各算子并
flink_version 否 String Flink版本。当用户设置“feature”为“basic”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用的DLI基础Flink镜像的版本。 operator_config 否 String 各算子并
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 注意事项 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。
er。 parallelism == 1 创建Flink OpenSource SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 1 2 3 4 5 6 7 8
userData为固定文件路径名,不支持修改或自定义其他路径名。 fileName为需要访问的文件名。 本节示例适用于Flink 1.12版本。Flink 1.15版本的Jar作业开发指导请参考Flink Jar写入数据到OBS开发指南。 配置文件使用方法 方案一:直接在main函数里面加载文
示例说明:创建名为table2的DLI非分区表,您可以根据业务需求自定义列子段的原生数据类型: 与文字字符有关可以使用STRING、CHAR或者VARCHAR。 与时间有关的可以使用TIMESTAMP、DATE。 与整数有关的可以使用INT、SMALLINT/SHORT、BIGINT/LONG、TINYINT。
2张外部表(写入数据后自动创建)。 2张外部表,表名_ro(用户只读合并后的parquet文件,即读优化视图表),_rt(读实时写入的最新版本数据,即实时视图表)。 父主题: Bucket调优示例
运行失败且超过1分钟(日志转储周期1分钟),会在application_xx下生成运行日志。 另外,由于DLI服务端已经内置了Flink的依赖包,并且基于开源社区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题,打包时请注意排除以下文件: 系统内置的依赖包,或者在Maven或者Sbt构建工具中将scope设为provided
湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2(即将下线)或2.4.5提交作业时,需要指定Module模块,名称为:sys.datasource.opentsdb。 如果选择Spark版本为3.1.1时,无需选择Module模块, 需在 'Spark参数(--conf)'