检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作完成时间。 status String 扩缩容成功或者失败的状态。 fail_reason String 失败原因。 请求示例 GET https://{endpoint}/v3/{project_id}/elastic-resource-pools/{elastic_resour
execution_graph 否 String 作业执行计划。“show_detail”为“false”时独有。 update_time 否 Long 作业更新时间。“show_detail”为“false”时独有。 queue_name 否 String 队列名称。 edge_group_ids
Flink Jar作业是否支持上传配置文件,要如何操作? Flink Jar作业上传配置文件操作流程 自定义(JAR)作业支持上传配置文件。 将配置文件通过程序包管理上传到DLI; 在Flink jar作业的其他依赖文件参数中,选择创建的DLI程序包; 在代码中通过ClassName
jar包作业运行参数,多个参数之间空格分隔。 execution_graph 否 String 作业执行计划。 update_time 否 Long 作业更新时间。 user_name 否 String 用户名,当“show_detail”为“false”时独有。 duration 否 Long
创建DLI表关联CSS 功能描述 使用CREATE TABLE命令创建DLI表并关联CSS上已有的表。 Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险,优先推荐您使用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联
配置该参数。 空闲状态保留时长 用于清除GroupBy、RegularJoin、Rank、Depulicate等算子经过最大保留时间后仍未更新的中间状态,默认设置为1小时。 脏数据策略 选择处理脏数据的策略。支持如下三种策略:“忽略”,“抛出异常”和“保存”。 “脏数据策略”选择
Kafka源表 功能描述 创建source流从Kafka获取数据,作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件 Kafka是
约束与限制 弹性资源池约束限制 更多弹性资源池约束限制请参考弹性资源池使用约束限制。 表1 弹性资源池约束限制 限制项 说明 资源规格 当前弹性资源池最大的计算资源 32000CUs。 弹性资源池中可创建队列的最小CU: 通用队列:4CUs SQL队列:Spark SQL队列:8CUs;HetuEngine
cs的地址-->测试)。若能连通,则表示跨源已经绑定成功;否则表示未成功。 购买ecs集群,并下载5.5.2版本的confluent(https://packages.confluent.io/archive/5.5/)和jdk1.8.0_232,并上传到购买的ecs集群中,然后
exec.batch-lookup.enabled' 选项 ignore-retractions 否 false Boolean 连接器应忽略更新插入/撤回流模式下的收回消息。 key-column 否 无 String Redis 表schema的key 示例 从Kafka源表中读
cache被启用时,每个进程(即TaskManager)将维护一个缓存。Flink将优先查找缓存,只有当缓存未查找到时才向外部数据库发送请求,并使用返回的数据更新缓存。当缓存命中最大缓存行Lookup.cache.max-rows或当行超过最大存活时间Lookup.cache.ttl时,缓存中最先添
E和USERINFO。keyToExtract为可选参数,用于选取QUERY中的key对应的值。 select parse_url('https://www.example.com/index.html','HOST'); _col0 ---------- www.example
“从Checkpoint恢复”:需要同时勾选“开启Checkpoint”才可配置该参数。 空闲状态保留时长 用于清除GroupBy或Window经过最大保留时间后仍未更新的中间状态,默认设置为1小时。 脏数据策略 选择处理脏数据的策略。支持如下三种策略:“忽略”,“抛出异常”和“保存”。 “脏数据策略”选择
典型场景示例:配置DLI与内网数据源的网络联通 背景信息 DLI与内网数据源的网络联通通常指的是华为云内部服务的场景,例如DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。使用DLI提供的增强型跨源连接,采用对等连接的方式打通DLI与目的数据源的VPC网络,实现数据互通。
pyspark.python=python3 # 当前参数值为生产环境web地址 spark.dli.user.uiBaseAddress=https://console.huaweicloud.com/dli/web # 队列所在的region。 spark.dli.user.regionName=XXXX
置编码格式。 utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的驱动请从https://downloads.mysql.com/archives/c-j/选择5.1.48版本下载,从中获取mysql-connector-java-5
从Kafka读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为对汽车驾驶的实时数据信息进行分析,将满足特定条件的数据结果进行汇总。汽车驾驶的实时数据信息为数据源发送到Kafka中,再将Kafka数据的分析结果输出到DWS中。 例如,输入如下样例数据:
从Kafka读取数据写入到Elasticsearch 本指导仅适用于Flink 1.12版本。 场景描述 本示例场景对用户购买商品的数据信息进行分析,将满足特定条件的数据结果进行汇总输出。购买商品数据信息为数据源发送到Kafka中,再将Kafka数据的分析结果输出到Elasticsearch中。
* 如果找不到分区的偏移量,那么将会使用配置中的 auto.offset.reset 设置。 * 详情 https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh/docs/conn
从Kafka读取数据写入到RDS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为根据商品的实时点击量,获取每小时内点击量最高的3个商品及其相关信息。商品的实时点击量数据为输入源发送到Kafka中,再将Kafka数据的分析结果输出到RDS中。 例如,输入如下样例数据: