检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表时严重依赖parquet文件是否存在，如果当前Hudi表写的是log文件，采用Spark写入就会导致重复数据的产生。在批量初始化阶段 ，先采用Spark批量写入Hudi表，再用Flink基于Flink状态索引写入不会有问题，原因是Flink冷启动的时候会遍历所有的数据文件生成状态索引。
Flink1.15基础镜像内置了3.1.62版本的huaweicloud-sdk-core。 准备环境 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 Maven工程的pom.xml文件配置请参考JAVA样例代码中“pom文件配置”说明。 pom文件配置中依赖包
1.10以上版本，certifi，python-dateutil。 关于Python SDK的获取与安装请参考SDK获取与安装。 使用SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Toke
仅Spark引擎的SQL队列支持配置队列属性。 仅在队列创建完成后支持设置队列属性。 当前仅支持设置Spark driver相关队列属性。 不支持批量设置队列属性。 弹性资源池中的队列，当队列的最小CUs小于16CUs时，在队列属性中设置的“最大spark driver实例数”和“最大预拉起spark
Windows系统，支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具，版本要求使用2019.1或其他兼容版本。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 开发流程 DLI进行Spark
ssl.keystore keystore的存放路径，“flink.keystore”表示用户通过generate_keystore.sh*工具生成的keystore文件名称。 是 /opt/flink/usrlib/userData/flink.keystore security
及其以上版本。关于Java开发环境的配置请参考Java SDK环境配置。 关于Java SDK的获取与安装请参考SDK的获取与安装。 使用SDK工具访问DLI，需要用户初始化DLI客户端。用户可以使用AK/SK(Access Key ID/Secret Access Key)或Toke
interval 否 1s Duration 批量查找连接可以使用最大延迟来缓冲输入记录。批量查找连接可以使用最大延迟来缓冲输入记录。 lookup.batch.size 否 100L long 可以缓冲的最大输入记录数，以便进行批量查找连接。 lookup.batch 否 false
jobs createStreamSqlJob 更新Flink opensource sql作业 jobs updateStreamSqlJob 批量删除Flink作业 jobs deleteStreamJobs 停止Flink作业 jobs stopStreamJobs 提交Flink作业
返回提供的最大值。 least(value1, value2, ..., valueN) → [same as input] 返回提供的最小值。 批量比较判断：ALL，ANY和SOME 量词ALL，ANY和SOME可以参考以下方式，结合比较操作符一起使用： expression operator
相关组件都运行在容器中，通过下载DLI提供的自定义镜像，可以改变Spark作业和Flink作业的容器运行环境。例如，在自定义镜像中加入机器学习相关的Python包或者C库，可以通过这种方式方便地帮助用户进行功能扩展。 发布区域：全部 创建自定义镜像
仅提供开源connector。 开发与运维 监控、告警 支持对接华为云CES监控平台，支持对接华为云SMN告警系统，用户可通过邮件、短信、电话、第三方办公工具（webhook模式） 支持对接企业内部统一监控告警系统（prometheus）。 支持Flink作业速率、输入输出数据量、作业算子反压值
Windows系统，支持Windows7以上版本。 安装JDK JDK使用1.8版本。 安装和配置IntelliJ IDEA IntelliJ IDEA为进行应用开发的工具，版本要求使用2019.1或其他兼容版本。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 开发流程 DLI进行
tsdb-values”的个数相同。 多个tags请使用“;”分隔。 connector.batch-insert-data-num 否 表示一次性批量写入的数据量，即数据条数，值必须为正整数，默认值为8。 connector.tsdb-link-address 是 待插入数据所属集群的OpenTSDB连接地址。
停止Flink作业 stopFlinkJob - POST /v1.0/{project_id}/streaming/jobs/stop 批量删除Flink作业 deleteFlinkJobInBatch - POST /v1.0/{project_id}/streaming/jobs/delete
在OBS管理控制台页面通过配置桶的生命周期规则，可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。 具体操作请参考通过配置生命周期规则。 SQL编辑器页面可以批量执行SQL语句。 作业编辑窗口常用语法采用不同颜色突出显示。 支持单行注释和多行注释。以“--”开头，后续内容即为注释。 使用SQL编辑器创建并提交SQL作业
读hudi表task并行度。 read.streaming.enabled 是 false Boolean 设置 true 开启流式增量模式，false批量读。建议值为true read.streaming.start-commit 否 默认从最新 commit String Stream和B
buffer-count 3 否 缓存流加载数据的缓冲区计数。 sink.enable-delete TRUE 否 是否启用删除。此选项需要 Doris 表开启批量删除功能(Doris0.15+版本默认开启)，只支持 Unique 模型。 sink.properties.* -- 否 Stream Load
通用队列用于执行Spark作业、Flink OpenSource SQL作业和Flink Jar作业的队列。 适合适用于复杂数据处理、实时数据流处理或批量数据处理的场景。 弹性资源池使用场景 推荐使用弹性资源池队列，提高资源使用的灵活性和资源利用效率。本节介绍常见的弹性资源池的使用场景。 场
bulk-flush.max-actions 否 1000 Interger 每个批量请求的最大缓冲操作数。可以设置'0'为禁用它。 sink.bulk-flush.max-size 否 2mb MemorySize 每个批量请求的缓冲操作的内存中的最大大小。必须是MB粒度。可以设置'0'为禁用它。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
