检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
flink_version 否 String Flink版本。当用户设置“feature”为“basic”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用的DLI基础Flink镜像的版本。 operator_config 否 String 各算子并
时，可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前，需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的驱动请从https://downloads.mysql.com/archives/c-j/选择5.1.48版本下载，从中获取mysql-connector-java-5
DATE_FORMAT (order_time, 'yyyyMMdd') from orderSource; 配置作业运行参数： 选择队列，并配置Flink版本至少为1.15。 配置权限足够的委托。 配置OBS桶。 开启Checkpoint，使用Hudi时必须开启Checkpoint。 提交作业并检查Flink
企业级多租户 基于表的权限管理，可以精细化到列权限。 基于文件的权限管理。 高性能 性能 基于软硬件一体化的深度垂直优化。 大数据开源版本性能。 跨源分析 支持多种数据格式，云上多种数据源、ECS自建数据库以及线下数据库，数据无需搬迁，即可实现对云上多个数据源进行分析，构建企
数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2（即将下线）或2.4.5提交作业时，需要指定Module模块，名称为：sys.datasource.mongo。 如果选择Spark版本为3.1.1时，无需选择Module模块， 需在 'Spark参数（--conf)'
flink_version 否 String Flink版本。当用户设置“feature”为“basic”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用的DLI基础Flink镜像的版本。 operator_config 否 String 各算子并
支持消费UPDATE/DELETE消息。 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和passwor
数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2（即将下线）或2.4.5提交作业时，需要指定Module模块，名称为：sys.datasource.hbase。 如果选择Spark版本为3.1.1时，无需选择Module模块， 需在 'Spark参数（--conf)'
在Spark作业编辑页面配置作业参数信息： 队列：选择步骤2：创建弹性资源池并添加队列中创建的队列。 Spark版本：选择Spark引擎版本。本例选择3.3.1版本。 应用程序：选择步骤1：上传数据至OBS创建的程序包。 委托：请选择步骤4：创建自定义委托允许DLI访问DEW读
Parameters must be of the same type A：则考虑使用了array类型，但是array中各个字段的类型不统一，需要保持Redis中array中各个字段的类型统一。 Q：如果Flink作业的日志中有如下报错信息，应该怎么解决？ org.apache.flink
《数据湖探索API参考》>《创建批处理作业》。 如果选择Spark版本为2.3.2（即将下线）或2.4.5提交作业时，需要指定Module模块，名称为：sys.datasource.css。 如果选择Spark版本为3.1.1时，无需选择Module模块， 需在 “Spark参数（--conf)”
status”这一属性。 约束限制 表生命周期处于公测阶段，如果有需要请联系客服申请开通白名单。 表生命周期功能支持Hive、DataSource语法创建表、多版本表，暂不支持跨源表、Carbon表。 生命周期单位为天，取值为正整数。 生命周期只能在表级别设置，不能在分区级设置。为分区表指定的生命周期，适用于该表所有的分区。
批处理作业类型，只支持spark类型参数。 queue 否 String 批处理作业所在队列。 image 否 String 自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Spark镜像。
对于Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，更新被记录到增量文件，然后进行同步/异步compaction生成新版本的列式文件。Merge-On-Read表可减少数据摄入延迟，因而进行不阻塞摄入的异步Compaction很有意义。 如何执行Compaction
跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 如果JDBC结果表定义了主键，则连接器以
跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 所有 HBase 表的列簇必须定义为ROW类型，字段名对应列簇名（column
详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和passwor
资源足以支持作业的最小资源需求时，系统将自动减少作业所在节点的数量，确保作业高效运行，同时提高资源的利用效率。 当前仅Flink 1.12版本的作业支持开启动态扩缩容。 使用须知 在Flink作业进行动态扩缩容时如果队列资源被抢占，剩余资源不满足作业启动所需资源则可能存在作业无法正常恢复的情况。
k opensource sql作业，输入以下作业运行脚本，提交运行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE
跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 语法格式 create table jbdcSource
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
