检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
字符串函数 表1 字符串函数 函数 返回类型 描述 string1 || string2 STRING 返回两个字符串的拼接 CHAR_LENGTH(string) CHARACTER_LENGTH(string) INT 返回字符串中的字符数量 UPPER(string) STRING
字符串函数 表1 字符串函数 函数 返回类型 描述 string1 || string2 STRING 返回两个字符串的拼接 CHAR_LENGTH(string) CHARACTER_LENGTH(string) INT 返回字符串中的字符数量 UPPER(string) STRING
提交SQL作业（推荐） 功能介绍 该API用于通过执行SQL语句的方式向队列提交作业。 作业包含以下类型：DDL、DCL、IMPORT、QUERY和INSERT。其中，IMPORT与导入数据（废弃）的功能一致，区别仅在于实现方式不同。 另外，用户可使用其他API来对作业进行查询和管理。具体操作有：
CREATE TABLE语句 功能描述 根据指定的表名创建一个表，如果同名表已经在 catalog 中存在了，则无法注册。 语法定义 CREATE TABLE [IF NOT EXISTS] [catalog_name.][db_name.]table_name ( {
scala样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的scala样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
Redis源表 功能描述 创建source流从Redis获取数据，作为作业的输入数据。 前提条件 创建该作业前，需要建立DLI和Redis的增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何
Redis维表 功能描述 创建Redis表作为维表用于与输入流连接，从而生成相应的宽表。 前提条件 要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
scala样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 CSS非安全集群 开发说明 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org
Redis结果表 功能描述 DLI将Flink作业的输出数据输出到Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。有关Redis的详细信息
pyspark样例代码 开发说明 支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
Hudi常见配置参数 本章节介绍Hudi重要配置的详细信息，更多配置请参考hudi官网：https://hudi.apache.org/cn/docs/0.11.0/configurations/。 提交DLI Spark SQL作业时，在SQL编辑器界面右上角的”设置”->”参数设置”中可以配置Hudi参数。
DLI对接LakeFormation 操作场景 LakeFormation是企业级一站式湖仓构建服务，提供元数据统一管理能力，支持无缝对接多种计算引擎及大数据云服务，便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。 在DLI的Spark作业和SQL作业场景，支持对接La
使用Spark作业访问DLI元数据 操作场景 DLI支持用户编写代码创建Spark作业来创建数据库、创建DLI表或OBS表和插入表数据等操作。本示例完整的演示通过编写java代码、使用Spark作业创建数据库、创建表和插入表数据的详细操作，帮助您在DLI上进行作业开发。 该功能公
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
