检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
影响作业执行。 如需使用UDF热加载功能请提交工单开通白名单。 关键字 USING <resources>:需要加载的资源。可以是JAR、文件或者URI的列表。 OR REPLACE:支持自定义函数热加载功能。 如果创建自定义函数时不携带OR REPLACE,则需要注意以下场景:
影响作业执行。 如需使用UDF热加载功能请提交工单开通白名单。 关键字 USING <resources>:需要加载的资源。可以是JAR、文件或者URI的列表。 OR REPLACE:支持自定义函数热加载功能。 如果创建自定义函数时不携带OR REPLACE,则需要注意以下场景:
设置分区的路径:将分区表中的某个分区路径设置为用户指定的OBS路径。 重命名表分区:对分区表中的分区重新命名。 重命名表:对表重新命名。 恢复表分区:从文件系统中导出分区信息保存到元数据中。 显示所有分区:显示分区表中的所有分区。 查看其他用户具备的权限:查看其他用户或项目具备的当前数据库的权限。
仅在使用CSS类型的跨源认证时配置该参数。 es_auth_name和pwd_auth_name只能配置一个。 示例 该示例是从Kafka数据源中读取数据,并写入到Elasticsearch结果表中,其具体步骤如下: 参考增强型跨源连接,在DLI上根据Elasticsearch和Kafk
仅在使用CSS类型的跨源认证时配置该参数。 es_auth_name和pwd_auth_name只能配置一个。 示例 该示例是从Kafka数据源中读取数据,并写入到Elasticsearch结果表中,其具体步骤如下: 参考增强型跨源连接,在DLI上根据Elasticsearch和Kafk
删除分区:删除分区表中的任意分区。 设置分区的路径:将分区表中的某个分区路径设置为用户指定的OBS路径。 重命名表分区:对分区表中的分区重新命名。 恢复表分区:从文件系统中导出分区信息保存到元数据中。 显示所有分区:显示分区表中的所有分区。 只适用于“用户授权”的权限包括: 显示表:显示当前表。 View具体权限说明请参考表3。
name=*** Flink Jar作业示例。 环境准备 已安装和配置IntelliJ IDEA等开发工具以及安装JDK和Maven。 pom文件配置中依赖包 <properties> <flink.version>1.15.0</flink.version>
开始的毫秒数,long 值。 ARRAY 不支持 MAP / MULTISET 不支持 ROW 不支持 示例 该示例是从Kafka数据源中读取数据,并写入到HBase结果表中,其具体步骤如下(该示例中hbase的版本为1.3.1和2.2.3): 参考增强型跨源连接,在DLI上根据
开始的毫秒数,long 值。 ARRAY 不支持 MAP / MULTISET 不支持 ROW 不支持 示例 该示例是从Kafka数据源中读取数据,并写入到HBase结果表中,其具体步骤如下(该示例中hbase的版本为1.3.1和2.2.3): 参考增强型跨源连接,在DLI上根据
创建CDM迁移作业。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在“作业管理”界面,选择“表/文件迁移”,单击“新建作业”。 在新建作业界面,配置当前作业配置信息,具体参数参考如下: 图5 新建CDM作业作业配置 作业名称:自定义数据迁
创建CDM迁移作业。 登录CDM控制台,选择“集群管理”,选择已创建的CDM集群,在操作列选择“作业管理”。 在“作业管理”界面,选择“表/文件迁移”,单击“新建作业”。 在新建作业界面,配置当前作业配置信息,具体参数参考如下: 图5 新建CDM作业作业配置 作业名称:自定义数据迁
企业项目 对于已成功关联企业项目的用户,仅需在“企业项目”下拉框中选择目标项目。 default 购买数量 实例购买数量 1 只读实例 为了实现读取能力的弹性扩展,分担数据库压力,您可以在某个区域中创建一个或多个只读实例。 暂不购买 单击“立即购买”,进入规格确认页面。 单击“提交”,完成购买RDS
COMMENT:字段或表描述。 PARTITIONED BY:指定分区字段。 ROW FORMAT:行数据格式。 STORED AS:指定所存储的文件格式,当前该关键字只支持指定TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET几种格式。创建DLI表时必须指定此关键字。
COMMENT:字段或表描述。 PARTITIONED BY:指定分区字段。 ROW FORMAT:行数据格式。 STORED AS:指定所存储的文件格式,当前该关键字只支持指定TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET几种格式。创建DLI表时必须指定此关键字。
dependency_files 否 Array of Strings 用户已上传到DLI资源管理系统的资源包名,用户自定义作业的依赖文件。 executor_number 否 Integer 作业使用计算节点个数。 executor_cu_number 否 Integer 计算节点cu数。
JSON_VAL(message,'$.grade.dddd') from kafkaSource; 查看taskmanager的out文件的输出结果 +I[null, James, [80,85], [80,85], 85, null] 父主题: 内置函数
dependency_files 否 Array of Strings 用户已上传到DLI资源管理系统的资源包名,用户自定义作业的依赖文件。 tm_cus 否 int 单TM所占CU数。 tm_slot_num 否 int 单TM Slot数。 image 否 String
串,单位为毫秒。例如1679385600000,表示到期时间为2023-03-21 16:00:00。 示例 该示例是从Kafka数据源中读取数据,并写入Redis到结果表中,其具体步骤如下: 参考增强型跨源连接,根据Redis所在的虚拟私有云和子网创建相应的增强型跨源,并绑定所要使用的Flink弹性资源池。
串,单位为毫秒。例如1679385600000,表示到期时间为2023-03-21 16:00:00。 示例 该示例是从Kafka数据源中读取数据,并写入Redis到结果表中,其具体步骤如下: 参考增强型跨源连接,根据Redis所在的虚拟私有云和子网创建相应的增强型跨源,并绑定所要使用的Flink弹性资源池。
SQL作业进行实时计算的操作步骤。 操作流程 样例场景需要创建一个Flink OpenSource SQL作业,且该作业包含一个输入流和一个输出流。输入流用于从Kafka读取数据,输出流用于将数据写入到RDS中。操作流程如操作流程所示。 开始进行如下操作前,请务必参考准备工作完成必要操作。 表1 使用DLI提交SQL作业查询RDS