检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
《数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2（即将下线）或2.4.5提交作业时，需要指定Module模块，名称为：sys.datasource.rds。 如果选择Spark版本为3.1.1时，无需选择Module模块， 需在 'Spark参数（--conf)'
Flink作业名称。 描述 Flink作业描述信息。 状态 Flink作业运行状态。 运行模式 默认独享模式。 Flink 版本 作业所选的Flink作业的版本。 所属队列 Flink作业所属的队列名称。 UDF Jar 配置UDF Jar参数时显示。 优化参数 作业添加了自定义参数配置时显示该参数。
in spark3.3 or later version.”怎么办？ 使用default创建DataSource表时引擎版本不低于Spark 3.3.1，如果引擎版本低于Spark 3.3.1则会提示上述错误信息，此时请切换使用Hive语法创建表。详细操作请参考使用Hive语法创建OBS表。
创建SQL作业的API执行超过时间限制，运行超时报错 问题现象 DLI上调用“提交SQL作业”API运行超时，报如下错误信息： There are currently no resources tracked in the state, so there is nothing to
实例名称 实例名称。 rds-demo 数据库引擎 MySQL MySQL 数据库版本 选用RDS for MySQL数据库时，请根据实际业务需求选择合适的数据库引擎版本。建议您选择当前可用的最高版本数据库，因其性能更稳定，安全性更高，使用更可靠。 8.0 实例类型 选择实例的主备类型。
详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和passwor
参考Kafka和Print创建flink opensource sql作业，输入以下作业运行脚本，提交运行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE
跨源认证简介及操作方法请参考跨源认证简介。 注意事项 创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 数据类型的使用，请参考Format章节。
in spark3.3 or later version.”怎么办？ 使用default创建DataSource表时引擎版本不低于Spark 3.3.1，如果引擎版本低于Spark 3.3.1则会提示上述错误信息，此时请切换使用Hive语法创建表。详细操作请参考使用Hive语法创建OBS表。
对接HBase 对接OpenTSDB 对接RDS 对接DWS 对接CSS 常见问题 了解更多常见问题、案例和解决方案 通用问题 怎样升级DLI作业的引擎版本？ 怎样排查DLI计费异常？ DLI Flink与MRS Flink有什么区别？ DLI的数据可存储在哪些地方？ 更多 SQL作业相关问题
ostname）与证书中的信息是否匹配。 否 false security.ssl.protocol 指定SSL/TLS连接时所使用的协议版本 否 TLSv1.2、TLSv1.3 security.ssl.encrypt.enabled Flink集群内部以及与其他组件之间通信时是否启用数据加密
k引擎可以用Bucket索引或者状态索引。 实时入湖都是需要分钟内或者分钟级的高性能入湖，索引的选择会影响到写Hudi表的性能。在性能方面各个索引的区别如下： Bucket索引 优点：写入过程中对主键进行hash分桶写入，性能比较高，不受表的数据量限制。Flink和Spark引擎
TIONED BY关键字后指定，不能像普通字段一样在表名后指定，否则将出错。 单表分区数最多允许200000个。 Spark 3.3及以上版本支持使用Hive语法的CTAS语句创建分区表。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 14
00013889元/小时/GB，实际存储1TB=1024GB，累计计费时长：2小时 0.28元 费用合计：51.48元。 欠费影响 图1描述了按需计费的DLI资源各个阶段的状态。购买后，在计费周期内资源正常运行，此阶段为有效期；当您的账号因按需资源自动扣费导致欠费后，账号将变成欠费状态，资源将陆续进入宽限期和保留期。
区域：选择与DLI服务相同的区域 项目：默认 可用区：默认 实例名称：kafka-dliflink 规格类型：默认 企业项目：default 版本：默认 CPU架构：默认 代理规格：选择对应的规格 代理数量：默认 存储空间：默认 容量阈值策略：默认 虚拟私有云，子网：选择1中创建的虚拟私有云和子网。
TIONED BY关键字后指定，不能像普通字段一样在表名后指定，否则将出错。 单表分区数最多允许200000个。 Spark 3.3及以上版本支持使用Hive语法的CTAS语句创建分区表。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 14
数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2.3.2（即将下线）或2.4.5提交作业时，需要指定Module模块，名称为：sys.datasource.hbase。 如果选择Spark版本为3.1.1时，无需选择Module模块， 需在 'Spark参数（--conf)'
是否执行自动clean。 true hoodie.cleaner.policy 要使用的清理政策。Hudi将删除旧版本的parquet文件以回收空间。 任何引用此版本文件的查询和计算都将失败。建议确保数据保留的时间超过最大查询执行时间。 KEEP_LATEST_COMMITS hoodie
的地址测试队列连通性。若能连通，则表示跨源已经绑定成功；否则表示未成功 创建flink opensource sql作业，并选择flink版本为1.12，选择保存日志，然后提交并运行，其SQL代码如下： CREATE TABLE kafkaSource ( order_id string
-->测试）。若能连通，则表示跨源已经绑定成功；否则表示未成功。 创建flink opensource sql作业，选择flink1.12版本，并提交运行，其代码如下： create table kafkaSource( id bigint, name string,
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
