检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
EXISTS] function_name AS identifier [LANGUAGE JAVA|SCALA] 功能描述 创建一个用户自定义函数。 如果您需要了解创建自定义函数的步骤请参考自定义函数。 语法说明 IF NOT EXISTS 若该函数已经存在，则不会进行任何操作。
单击“新增”，可以添加不同优先级、时间段、“最小CU”和“最大CU”扩缩容策略。 本例配置的扩缩容策略如图2所示。 图2 添加队列时配置扩缩容策略 表4 扩缩容策略参数说明 参数名称 参数说明 配置样例 优先级 当前弹性资源池中的优先级数字越大表示优先级越高。本例设置一条扩缩容策略，默认优先级为1。 1
购买了套餐包时，按需使用过程中优先抵扣套餐包的额度，超过额度的使用量按照按需计费。 套餐包需结合重置周期使用，如重置周期为月，且按订购周期重置，即如果用户1月5日订购套餐包资源，之后每个月的5日同一时间重置套餐包资源。 父主题： 计费相关问题
注意事项 Hive方言只能用于操作Hive对象，并要求当前Catalog是一个HiveCatalog 。 Hive方言只支持db.table这种两级的标识符，不支持带有Catalog名字的标识符。更多信息请参考Apache Flink Hive Read & Write。 虽然所有Hiv
javahash(string a) STRING 返回hash值。 max_pt max_pt(<table_full_name>) STRING 返回分区表的一级分区中有数据的分区的最大值，按字母排序，且读取该分区下对应的数据。 ordinal ordinal(bigint <nth>, <var1>
javahash(string a) STRING 返回hash值。 max_pt max_pt(<table_full_name>) STRING 返回分区表的一级分区中有数据的分区的最大值，按字母排序，且读取该分区下对应的数据。 ordinal ordinal(bigint <nth>, <var1>
rowinarr[1].f2, `time`, `timestamp`, `map`, `map`['flink'], mapinmap, mapinmap['inner_map']['key'] from kafkaSource; result +I(1234567890
控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《创建批处理作业》。 如果选择spark版本为2
Jar作业时，可以在作业编辑页面，勾选“保存作业日志”参数，将作业运行时的日志信息保存到OBS。 勾选“保存作业日志”参数后，需配置“OBS桶”参数，选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态，需要单击“OBS授权”。 日志信息的保存路径为：“桶名/jobs/logs/作业id开头的目
描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表，如当手动在OBS上面添加分区目录时，再通过上述命令将该新增的分区信息刷新到元数据库中，通过“SHOW PARTITIONS
数据类型是数据的一个基本属性，用于区分不同类型的数据。不同的数据类型所占的存储空间不同，能够进行的操作也不相同。数据库中的数据存储在表中。表中的每一列都定义了数据类型，用户存储数据时，须遵从这些数据类型的属性，否则可能会出错。 DLI当前只支持原生数据类型。 父主题： 数据类型
务，提供了可靠且可扩展的托管消息队列，用于收发消息和存储消息。分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务，向用户提供可靠的全托管式的Kafka消息队列。 DLI支持创建输入流从DMS的Kafka获取数据，作为作业的输入数据。创建DMS Kafka输入流的语法与创建开源Apache
特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群，需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 注意事项 对接的Kafka集群不支持开启SASL_SSL。 语法格式 1 2 3 4 5
提供了可靠且可扩展的托管消息队列，用于收发消息和存储消息。 分布式消息服务Kafka是一款基于开源社区版Kafka提供的消息队列服务，向用户提供可靠的全托管式的Kafka消息队列。 DLI支持创建输入流从DMS的Kafka获取数据，作为作业的输入数据。 创建DMS Kafka输入流的语法与创建开源Apache
参数说明 参数 是否必选 默认参数 数据类型 说明 streaming-source.enable 否 false Boolean 是否启用流源。 注意： 请确保每个分区/文件都应该以原子方式写入，否则读取器可能会得到不完整的数据。 streaming-source.partition
thon SDK概述下载样例代码。 kind：资源包类型，当前支持的包类型分别为： jar：用户jar文件 pyfile：用户Python文件 file：用户文件 modelfile：用户AI模型文件 obs_jar_paths：对应资源包的OBS路径，参数构成为：{bucketName}
CREATE TABLE `di_seller_task_activity_30d`(`user_id` STRING COMMENT '用户ID') SORTED as parquet LOCATION 'obs://akc-bigdata/akdc.db/di_seller_task_activity_30d'
注意事项 显示与给定正则表达式或函数名匹配的函数。如果未提供正则表达式或名称，则显示所有函数。如果声明了USER或SYSTEM，那么将分别显示用户定义的Spark SQL函数和系统定义的Spark SQL函数。 示例 查看当前的所有函数。 1 SHOW FUNCTIONS; 父主题：
和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已创建OBS的桶。具体OBS操作可以参考《对象存储服务用户指南》。本指导中的OBS桶名都为“dli-test-021”。 已创建DLI的SQL队列。创建队列详细介绍请参考创建队列。 注意：创建队列时，队列类型必须要选择为：SQL队列。
创建函数 功能描述 DLI支持创建使用UDF和UDTF等自定义函数应用于Spark作业开发当中。 具体使用自定义函数端到端的开发指导可以参考：Spark SQL作业使用UDF和Spark SQL作业使用UDTF。 语法格式 1 2 3 4 5 CREATE FUNCTION [db_name
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
