检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
is_sensitive 否 Boolean 是否设置为敏感变量。默认为“false”。 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。
指定目录的文件数量 storage_size 该目录的Size(bytes) storage_size(unit) 该目录的Size(KB) storage_path 指定目录的完整FS绝对路径 space_consumed 返回文件/目录在集群中占用的实际空间,即它考虑了为集群设置的复制因子
注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。
本例设置一条扩缩容策略,默认优先级为1。 1 时间段 首条扩缩容策略是默认策略,不能删除和修改时间段配置。 即设置00-24点的扩缩容策略。 00-24 最小CU 设置扩缩容策略支持的最小CU数。 16 最大CU 当前扩缩容策略支持的最大CU数。
返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 404 NotFound 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。
因而,可以通过如下方式优化: 增加JVM内存并增加缓存记录条数 维表设置索引,加快查询速度 父主题: Flink作业性能调优类
此函数也可以传入只有一个 numeric1 参数且不设置 Integer2 以使用。 如果未设置 Integer2 则 Integer2 为 0。 例如 42.324.truncate(2) 为 42.32,42.324.truncate() 为 42.0。 父主题: 内置函数
表中不在列名列表中的每一列,其值会设置为null。 如果没有指定列名列表,则query语句产生的列必须与将要插入的列完全匹配。
RESTORE TABLE [db_name.]table_name TO initial layout; 关键字 SET TBLPROPERTIES:设置表属性,开启多版本功能。 UNSET TBLPROPERTIES:取消表属性,关闭多版本功能。
BY orderdate; 创建一个新视图来替换已经存在的视图: CREATE OR REPLACE VIEW test AS SELECT orderkey, orderstatus, totalprice / 4 AS quarter FROM orders 创建一个视图的同时设置表属性
系统将根据设置的过滤条件,在作业列表显示符合对应条件的作业。 终止作业 在“Spark作业”页面,单击对应作业“操作”列中的“更多”>“终止作业”,可停止启动中和运行中的作业。 父主题: 使用DLI提交Spark作业
选择续费时长,并根据需要设置自动续费次数,单击“开通”。 图3 开通自动续费 父主题: 续费
请求示例 运行ID为131、130、138、137的作业,且设置作业支持从最近创建的保存点恢复。
当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《数据湖探索用户指南》。
图1 Flink作业配置参数 对于Flink Jar作业,您需要在代码中开启Checkpoint,同时如果有自定义的状态需要保存,您还需要实现ListCheckpointed接口,并为每个算子设置唯一ID。
Flink 1.15 Jar 程序,采用反向类加载机制(child-first),可通过优化参数设置某些依赖包由父类加载器加载:parent.first.classloader.jars=test1.jar,test2.jar Flink 1.15 Jar 系统内置jar包清单,请在
通过将非Connector的Flink依赖项(以flink-开头)和第三方库(如Hadoop、Hive、Hudi、Mysql-cdc)的作用域设置为provided,可以确保这些依赖项不会被包含在Jar作业中,从而实现最小化提交,避免依赖包与flink内核中依赖包冲突: 仅Flink
is_sensitive 否 Boolean 是否设置为敏感变量。 create_time 否 Long 创建时间。 update_time 否 Long 更新时间。
关于如何设置企业项目请参考《企业管理用户指南》。 说明: 开通了企业管理服务的用户可设置该参数绑定指定的项目。 cidr_in_vpc 否 String 队列的虚拟私有云(VPC)的网段。
multiLevelDirEnable:本例设置为true,表示查询该表时会迭代读取表路径中的所有文件和子目录文件,若不需要此项配置可以设置为false或不设置(默认为false); compression:当创建的OBS表需要压缩时,可以使用compression关键字来配置压缩格式