检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 新创建的队列需要运行作业后才可进行扩缩容。 创建队列步骤 创建队列的操作入口有三个,分别在“总览”页面、“SQL编辑器”页面和“队列管理”页面。 单击总览页面右上角“购买队列”进行创建队列。 在“队列管理”页面创建队列。
主键可以和列的定义一起声明,也可以独立声明为表的限制属性,不管是哪种方式,主键都不可以重复定义,否则 Flink 会报错。 有效性检查 SQL 标准主键限制可以有两种模式:ENFORCED 或者 NOT ENFORCED。 它申明了是否输入/出数据会做合法性检查(是否唯一)。Flink 不存储数据因此只支持
勾选该参数后,还需要选择“Checkpoint路径”。 “Checkpoint路径”:选择checkpoint保存路径。必须和应用程序中配置的Checkpoint地址相对应。且不同作业的路径不可一致,否则无法获取准确的Checkpoint。 单击右上角“保存”,保存作业和相关参数。 单击右上角“启动”,
PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION:分区。 LOCATION:分区路径。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path
LOG.info("Params: " + params.toString()); // Kafka连接地址 String bootstrapServers; // Kafka消费组 String kafkaGroup;
用的Flink弹性资源池。 设置MySQL和Kafka的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据MySQL和Kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功,否则表示未成功。 登录MySQL,并使用下述命令在flink库下创建orders表。
x中,刷新表时,只有当表本身被缓存时,才会触发引用该表的所有其他缓存的uncache操作。 Spark3.3.x:升级新版本引擎后不管表本身是否有缓存,只要刷新表,那么依赖该表的其他缓存都会执行uncache操作。 升级引擎版本后是否对作业有影响: DLI功能增强,保证表刷新操作能对缓存生效,提高程序健壮性。
weekofyear weekofyear函数用于返回指定日期是一年中的第几周,范围为0到53。 命令格式 weekofyear(string date) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 date 是 DATE或STRING 需要处理的日期。 格式: yyyy-mm-dd
作业的流图是否可编辑。“true”表示作业的流图可以编辑,“false”表示作业的流图不可以编辑。 has_savepoint 否 Boolean 作业是否有保存点。“true”表示作业有保存点,“false”表示作业没有保存点。 user_id 否 String 作业所属用户标识。 “show_detail”为“true”时独有。
apigateway WHERE service_id = 'ecs' Group BY http_method 或者 SELECT http_method FROM apigateway WHERE service_id = 'ecs' DISTRIBUTE BY http_method
作业的流图是否可编辑。“true”表示作业的流图可以编辑,“false”表示作业的流图不可以编辑。 has_savepoint 否 Boolean 作业是否有保存点。“true”表示作业有保存点,“false”表示作业没有保存点。 edge_group_ids 否 Array of Strings 边缘计算组ID列表。多个ID以逗号分隔。
partition_specs RENAME TO PARTITION partition_specs; 关键字 PARTITION:分区。 RENAME:重命名。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 注意事项
是否必选 说明 connector.type 是 connector类型,需配置为'gaussdb' connector.url 是 jdbc连接地址,格式为:jdbc:postgresql://${ip}:${port}/${dbName} 。 connector.table 是 读取数据库中的数据所在的表名
HERE子句条件的分区,适用于在处理具有大量分区的表时。 如果SQL查询中包含大量的嵌套left join操作,并且表有大量的动态分区时,这可能会导致在数据解析时消耗大量的内存资源,导致Driver节点的内存不足,并触发频繁的Full GC。 在这种情况下,可以配置该参数为fal
勾选该参数后,还需要选择“Checkpoint路径”。 “Checkpoint路径”:选择checkpoint保存路径。必须和应用程序中配置的Checkpoint地址相对应。且不同作业的路径不可一致,否则无法获取准确的Checkpoint。 单击右上角“保存”,保存作业和相关参数。 单击右上角“启动”,进入“启动Flink作业”页面。
ADD [IF NOT EXISTS] PARTITION partition_specs1 [LOCATION 'obs_path1'] PARTITION partition_specs2 [LOCATION 'obs_path2']; 关键字 IF NOT EX
语法格式 1 2 SHOW PARTITIONS [db_name.]table_name [PARTITION partition_specs]; 关键字 PARTITIONS:表中的分区。 PARTITION:分区。 参数说明 表1 参数描述 参数 描述 db_name Da
与其他云服务的关系 与对象存储服务(OBS)的关系 对象存储服务(Object Storage Service)作为DLI的数据来源及数据存储,与DLI配合一起使用,关系有如下四种。 数据来源:使用DLI服务提供API,将OBS对应路径的数据导入到DLI。 具体API请参考《导入数据》。
-1或大于0。默认值为“-1”,表示无限次数。 checkpoint_path 否 String 用户Jar中checkpoint的储存地址,不同作业路径需要保持不同。 runtime_config 否 String Flink作业运行时自定义优化参数。 job_type 否 String
SMN结果表 功能描述 DLI将Flink作业的输出数据输出到消息通知服务(SMN)中。 消息通知服务(Simple Message Notification,简称SMN)为DLI提供可靠的、可扩展的、海量的消息处理服务,它大大简化系统耦合,能够根据用户的需求,向订阅终端主动推送