版本无关。 如何升级到DLI Spark 2.4.5版本? 在DLI管理控制台,购买弹性资源池和队列资源,用于提供执行作业所需的计算资源。 单击“作业管理 > Spark作业”,新建Spark作业。 在作业管理页面,单击作业操作列的“编辑”,进入作业运行参数编辑页面。 配置Spa
将写好的自定义函数打成JAR包,并上传到OBS上。 在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后单击创建,并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”,在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。
将写好的自定义函数打成JAR包,并上传到OBS上。 在DLI管理控制台的左侧导航栏中,单击数据管理>“程序包管理”,然后单击创建,并使用OBS中的jar包创建相应的程序包。 在DLI管理控制台的左侧导航栏中,单击作业管理>“Flink作业”,在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业编辑页面。
maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite.enabled false 当
Flink作业委托场景开发指导 Flink Opensource SQL使用DEW管理访问凭据 Flink Jar 使用DEW获取访问凭证读写OBS 获取Flink作业委托临时凭证用于访问其他云服务 父主题: Flink作业开发指南
将表与表函数的结果进行 join 操作。左表(outer)中的每一行将会与调用表函数所产生的所有结果中相关联行进行 join 。 注意事项 针对横向表的左外部连接当前仅支持文本常量 TRUE 作为谓词。 示例 若表函数返回了空结果,左表(outer)的行将会被删除 SELECT users, tag
将表与表函数的结果进行 join 操作。左表(outer)中的每一行将会与调用表函数所产生的所有结果中相关联行进行 join 。 注意事项 针对横向表的左外部连接当前仅支持文本常量 TRUE 作为谓词。 示例 若表函数返回了空结果,左表(outer)的行将会被删除 SELECT users, tag
ReadOnlyAccess DLI对未登录过DLI的用户进行授权时,需获取IAM用户相关信息。因此需要IAM ReadOnlyAccess权限。 DLI Datasource Connections Agency Access 访问和使用VPC、子网、路由、对等连接的权限 DLI Notification
将表与表函数的结果进行 join 操作。左表(outer)中的每一行将会与调用表函数所产生的所有结果中相关联行进行 join 。 注意事项 针对横向表的左外部连接当前仅支持文本常量 TRUE 作为谓词。 示例 如果表函数返回了空结果,左表(outer)的行将会被删除 SELECT users, tag
DLI的队列类型请参考DLI队列类型。 DLI计算资源模式 DLI提供了三种计算资源的管理模式,每一种模式都有独特的优势和适用场景。 图1 DLI计算资源模式 弹性资源池模式:计算资源的池化管理模式,提供计算资源的动态扩缩容能力,同一弹性资源池中的队列共享计算资源。通过合理设置队
entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。 示例“myGroup/test
果未开启则需要开启Checkpoint参数,重新运行作业生成OBS数据文件。 开启Checkpoint步骤如下。 到DLI管理控制台,左侧导航栏选择“作业管理 > Flink作业”,在对应的Flink作业所在行,操作列下单击“编辑”。 在“运行参数”下,查看“开启Checkpoint”参数是否开启。
更多弹性资源池计费信息请参考弹性资源池计费。 怎样创建“弹性资源池队列”? 购买弹性资源池。 在DLI管理控制台,单击“资源管理 > 弹性资源池 ”。 在弹性资源池管理界面,单击界面右上角的“购买弹性资源池”。 按需配置弹性资源池的相关参数,完成弹性资源池的购买。 在弹性资源池中创建队列。
同时是计费的单元。可选择16CU,64CU和256CU三种规格,如果需要更大配额,请联系DLI服务管理员。 cidr_in_vpc 否 String vpc的网段。 cidr_in_mgntsubnet 否 String 管理子网的网段。 cidr_in_subnet 否 String 特殊子网网段。
PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路
Flink作业支持哪些数据格式和数据源? 如何给子用户授权查看Flink作业? Flink作业怎样设置“异常自动重启”? Flink作业如何保存作业日志? Flink作业管理界面对用户进行授权时提示用户不存在怎么办? 手动停止了Flink作业,再次启动时怎样从指定Checkpoint恢复? DLI使用SMN主题,提示SMN主题不存在,怎么处理?
删除已存在的OBS目录后,目录下的所有数据将会被删除。请谨慎执行此删除操作。 检查目录权限 确保您已具备访问和写入该OBS路径的权限。如果权限缺失可以联系管理员添加对应的OBS桶权限。 父主题: SQL作业运维类
全局变量 怎样获取DLI作业样例(Demo) DLI是否存在Apache Spark 命令注入漏洞(CVE-2022-33891)? 怎样管理在DLI上运行的作业 怎样修改DLI上已经创建好的表的字段名称?
entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。 示例“myGroup/test
永洪BI对接准备工作 操作场景 永洪BI与DLI对接之前的准备工作。 操作步骤 (可选)在公有云管理控制台上方的“服务列表”中选择“大数据”中的“数据湖探索”,单击右上角的“常用链接”下载DLI JDBC驱动(例如:dli-jdbc-1.1.0-jar-with-dependencies-jdk1
您即将访问非华为云网站,请注意账号财产安全