检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Checkpoint。 单击右上角“保存”，保存作业和相关参数。 单击右上角“启动”，进入“启动Flink作业”页面。 在“启动Flink作业”页面确认作业规格和费用，单击“立即启动”，启动作业。 启动作业后，系统将自动跳转到Flink作业管理页面，在“状态”列中可以查看作业状态。
单击“自定义配置”。 在“自定义配置”中输入如下语句，先开启动态扩缩容功能，再设置作业优先级。 对于Flink作业，必须先设置flink.dli.job.scale.enable=true开启动态扩缩容功能，再设置作业优先级。 开启动态扩缩容的更多参数设置请参考开启Flink作业动态扩缩容。
Spark如何将数据写入到DLI表中 使用Spark将数据写入到DLI表中，主要设置如下参数： fs.obs.access.key fs.obs.secret.key fs.obs.impl fs.obs.endpoint 示例如下： import logging from operator
String 在 "specific-offset" 启动模式下，启动位点的 binlog 文件名。 scan.startup.specific-offset.pos 否 无 Long 在 "specific-offset" 启动模式下，启动位点的 binlog 文件位置。 scan.startup
队列属性 属性类型 属性名称 说明 取值范围 spark driver类型 最大spark driver实例数 队列能启动的最大spark driver数量。包含预先启动的spark driver和运行作业的spark driver。 当队列为16CUs时范围：2 当队列大于16CUs时范围：2-（CU数/16）
关联OBS桶中嵌套的JSON格式数据如何创建表 如果需要关联OBS桶中嵌套的JSON格式数据，可以使用异步模式创建表。 以下是一个示例的建表语句，展示了如何使用 JSON 格式选项来指定 OBS 中的路径： create table tb1 using json options(path
Flink Jar作业是否支持上传配置文件，要如何操作？ Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI； 在Flink jar作业的其他依赖文件参数中，选择创建的DLI程序包； 在代码中通过ClassName
参照Flink状态索引的特点，Hudi表超过一定数据量后，Flink作业状态后端压力很大，需要优化状态后端参数才能维持性能；同时由于Flink冷启动的时候需要遍历全表数据，大数据量也会导致Flink作业启动缓慢。因此基于简化使用的角度，针对大数据量的表，可以通过采用Bucket索引来避免状态后端的复杂调优。 如果B
ClassesLoaded JobManager自JVM启动以来加载的类的总数 flink_jobmanager_Status_JVM_ClassLoader_ClassesUnloaded JobManager自JVM启动以来卸载的类的总数 flink_taskmanager_
Flink作业重启后，如何判断是否可以从checkpoint恢复 什么是从checkpoint恢复？ Flink Checkpoint 是一种容错恢复机制。这种机制保证了实时程序运行时，遇到异常或者机器问题时能够进行自我恢复。 从checkpoint恢复的原则 通常当作业执行失败
mns），然后应用该策略重写数据。 创建一个REPLACE提交，并更新HoodieReplaceCommitMetadata中的元数据。 如何执行Clustering Spark SQL（设置如下参数，写数据时触发） hoodie.clustering.inline=true //
jdbc engine进程内存 默认为1g，建议改成5g以上加大jdbc engine进程内存使用 否 5g 快速启动kyuubi。 进入云服务器的根目录/bin执行以下命令启动kyuubi。 cd /bin ./kyuubi start restart 连接成功后，可以执行SQL查
如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度 操作场景 Spark作业在执行shuffle类语句，包括group by、join等场景时，常常会出现数据倾斜的问题，导致作业任务执行缓慢。 该问题可以通过设置spark.sql.shuffle
SQL作业如何指定表的部分字段进行表数据的插入 如果需要将数据插入到表中，但只想指定部分字段，可以使用INSERT INTO语句结合SELECT子句来实现。 但是DLI目前不支持直接在INSERT INTO语句中指定部分列字段进行数据插入，您需要确保在SELECT子句中选择的字段
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 返回DOUBLE类型的值。 示例代码 示例数据 为便于理解函数的使用方法，本文为您提供源数据，基于源数据提供函数相关示
如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中？ 在Flink 作业中，可以使用CREATE语句来定义Source表和Sink表，并指定它们的连接器类型以及相关的属性。 如果需要将数据写入到不同的Elasticsearch集群，您需要为每个集群配置不
分配权限 功能描述 授予用户或角色权限。 语法格式 1 GRANT (privilege,...) ON (resource,..) TO ((ROLE [db_name].role_name) | (USER user_name)),...); 关键字 ROLE：限定后面的role_name是一个角色。
Spark应用的Driver内存，参数配置例如2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必需带单位，否则会启动失败。 driverCores 否 Integer Spark应用Driver的CPU核数。该配置项会替换sc_type中对应的默认参数。
> 用户”。 单击“更多 > 下载认证凭据”，保存后解压得到用户的keytab文件与krb5.conf文件。 上传认证凭证到OBS桶。 关于如何创建OBS桶并上传数据，请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。 单击“创建”。
全组的不同实例默认网络互通；如果同虚拟私有云但是子网或安全组不同，还需配置路由规则及安全组规则。 配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 iii. 此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同，如果不同，需要修改工作空间的企业项目。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
