检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何在一个Flink作业中将数据写入到不同的Elasticsearch集群中？ 在Flink 作业中，可以使用CREATE语句来定义Source表和Sink表，并指定它们的连接器类型以及相关的属性。 如果需要将数据写入到不同的Elasticsearch集群，您需要为每个集群配置不同的连接参数
job_id}/preview 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 job_id 是 String 作业ID。 表2 query参数 参数名称 是否必选 参数类型
TIMESTAMP_LTZ, INTERVAL, ARRAY, MULTISET, MAP, ROW, RAW 在SQL语法中这些类型用于定义表中列的数据类型。 父主题： SQL语法约束与定义
访问CSS的表。 跨源认证创建成功后，在创建访问CSS的表时只需关联跨源认证即可安全访问数据源。 例如在使用Spark SQL来创建访问CSS的表时使用es.certificate.name字段配置跨源认证信息名称，配置连接安全CSS集群。 创建完跨源认证，可以参考创建DLI表关联CSS使用Spark
通过控制台提交作业请参考《数据湖探索用户指南》中的“选择依赖资源参数说明”。 通过API提交作业请参考《数据湖探索API参考》>《创建批处理作业》中“表2-请求参数说明”关于“modules”参数的说明。 完整示例代码 1 2 3 4 5 6 7 8 9 10 11 12 13
看实时日志。 运行失败且超过1分钟(日志转储周期1分钟)，会在application_xx下生成运行日志。 另外，由于DLI服务端已经内置了Flink的依赖包，并且基于开源社区版本做了安全加固。为了避免依赖包兼容性问题或日志输出及转储问题，打包时请注意排除以下文件： 系统内置的依
数据定义语句DDL 创建源表 创建结果表 创建维表 Format 父主题： Flink Opensource SQL1.12语法参考
托信息的操作步骤。 DLI自定义委托场景 表1 DLI自定义委托场景 场景 委托名称 适用场景 权限策略 允许DLI按表生命周期清理数据 dli_data_clean_agency 数据清理委托，表生命周期清理数据、Lakehouse表数据清理使用。 该委托需新建后自定义权限，但
Schema演进语法说明 功能介绍 该能力用于支持Spark SQL对Hudi表的列进行Alter变更，使用该能力前必须开启Schema演进。 Schema演进支持的范围 Schema演进支持范围： 支持列（包括嵌套列）相关的增、删、改、位置调整等操作。 不支持对分区列做演进。
initcap initcap函数用于将文本字符串转换成首字母大写其余字母小写的形式。 命令格式 initcap(string A) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 A 是 STRING 待转换的文本字符串。 返回值说明 返回一个STRING类型字符串，字符串中每个单词首字母大写，其余变为小写。
资源相关API（废弃） 权限相关API（废弃） 队列相关API（废弃） 跨源认证相关API（废弃） 增强型跨源连接相关API（废弃） 模板相关API（废弃） 表相关API（废弃） SQL作业相关API（废弃） 上传数据相关API（废弃） 集群相关API（废弃） Flink作业相关API（废弃） 经典型跨源连接相关API（废弃）
扩容任务提交后，可以选择“作业管理 > SQL作业”，查看“SCALE_POOL”类型SQL作业的状态。 如果作业状态为“规格变更中”，表示弹性资源池规格正在扩容中。等待作业状态变为“已成功”表示当前变更操作完成。 弹性资源池缩容 系统默认最小CU值为16CU，即当弹性资源池的规格为16CU时，不能进行手动缩容。
Schema演进语法说明 功能介绍 该能力用于支持SparkSql对Hudi表的列进行Alter变更，使用该能力前必须开启Schema演进。 Schema演进支持的范围 Schema演进支持范围： 支持列（包括嵌套列）相关的增、删、改、位置调整等操作。 不支持对分区列做演进。 不
SDK开发指南指导您如何安装和配置开发环境、如何通过调用DLI SDK提供的接口函数进行二次开发。 Java、Python SDK功能矩阵请参见表1 表1 SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java SDK使用说明。 队列相关
执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 请求示例 无 响应示例 { "is_success": true, "message": "" } 状态码 状态码如表3所示。 表3 状态码 状态码 描述
window join 相同。 在流式查询中，与其他连续表上的关联不同，窗口关联不产生中间结果，只在窗口结束产生一个最终的结果。另外，窗口关联会清除不需要的中间状态。通常，窗口关联和 窗口表值函数 一起使用。而且，窗口关联可以在其他基于 窗口表值函数 的操作后使用，例如 窗口聚合，窗口 Top-N
数据定义语句DDL 创建源表 创建结果表 创建维表 父主题： Flink Opensource SQL1.10语法参考
将1下载的消费明细数据上传到已建好的OBS桶中。 在数据湖探索服务中创建表。 登录DLI控制台，左侧导航栏单击“SQL编辑器”，执行引擎选择“spark”，选择执行的队列和数据库。本次演示队列和数据库选择“default”。 下载的文件中包含时间用量等，按表头意义在DLI上创建表，具体可以参考如下示例，其中amount列为费用。
ues 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 elastic_resource_pool_name 是 String 弹性资源池名称。 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数说明 参数
cleanarchive on tableIdentifier/tablelocation; 参数描述 表1 参数描述 参数 描述 tableIdentifier Hudi表的名称。 tablelocation Hudi表的存储路径。 hoodie.archive.file.cleaner.policy
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
