检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义函数参数传递 操作场景 如果您的自定义函数需要在多个作业中使用,但对于不同作业某些参数值不同,直接在UDF中修改较为复杂。您可以在Flink OpenSource SQL编辑页面,自定义配置中配置参数pipeline.global-job-parameters,在UDF代码
自定义函数参数传递 操作场景 如果您的自定义函数需要在多个作业中使用,但对于不同作业某些参数值不同,直接在UDF中修改较为复杂。您可以在Flink OpenSource SQL编辑页面,自定义配置中配置参数pipeline.global-job-parameters,在UDF代码
在DLI使用Hudi提交Spark Jar作业 提交Spark jar作业的场景需要手动配置由LakeFormation提供元数据服务的Hudi锁实现类,请参照 Hudi锁配置说明。 登录DLI管理控制台,选择“作业管理 > Spark作业”,进入到Spark作业的界面。 提交Hudi相关的Spark
DLI SDK与API的对应关系 OBS授权 表1 OBS授权相关API&SDK的对应关系表 Class Method Java Method Python Method API Authorize OBS授权 authorizeBucket - POST /v1.0/{proj
Map函数和运算符 下表操作符: [] 描述:[]运算符用于从映射中检索与给定键对应的值。 select age_map['li'] from (values (map(array['li','wang'],array[15,27]))) as table_age(age_map);--
Kafka结果表 功能描述 DLI通过Kafka结果表将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统,具有高吞吐量、内置分区、支持数据副本和容错的特性,适合在大规模消息处理场景中使用。 前提条件
字符串函数 表1 字符串函数 SQL函数 描述 string1 || string2 返回 STRING1 和 STRING2 的连接。 CHAR_LENGTH(string) CHARACTER_LENGTH(string) 返回字符串中的字符数。 UPPER(string) 以大写形式返回字符串。
scala样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件