检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
约束与限制 作业相关约束限制 DLI支持的作业类型:Spark SQL、SparkJar、Flink SQL、Flink Jar DLI支持的Spark版本:Spark 3.3.1、Spark 3.1.1(EOM)、Spark 2.4.5(EOM)、Spark 2.3(EOS) DLI支持的Flink版本:Flink
password) .mode(SaveMode.Append) .save() SaveMode 有四种保存类型: ErrorIfExis:如果已经存在数据,则抛出异常。 Overwrite:如果已经存在数据,则覆盖原数据。 Append:如果已经存在数据,则追加保存。 Ign
Driver") .mode(SaveMode.Append) .save() SaveMode 有四种保存类型: ErrorIfExis:如果已经存在数据,则抛出异常。 Overwrite:如果已经存在数据,则覆盖原数据。 Append:如果已经存在数据,则追加保存。 Ign
如果想要访问DWS中自定义数据库,请在这个连接里将"postgres"修改为对应的数据库名字。 dbtable 指定在DWS关联的表名,或者"模式名.表名",例如:public.table_name。 user (已废弃)DWS的用户名。 password (已废弃)DWS集群的用户密码。 passwdauth
如果想要访问DWS中自定义数据库,请在这个连接里将"postgres"修改为对应的数据库名字。 dbtable 指定在DWS关联的表名,或者"模式名.表名",例如:public.table_name。 user (已废弃)DWS的用户名。 password (已废弃)DWS集群的用户密码。 passwdauth
配置DLI队列与内网数据源的网络联通 背景信息 DLI执行作业时如需访问外部数据源数据,如:DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。DLI增强型跨源连接,底层采用对等连接的方式打通与目的数据源的vpc网络,通过点对点的方式实现数据互通。
I访问资源。 前提条件 账号A已配置DLI云服务委托,且委托需包含DLI Datasource Connections Agency Access,具备访问和使用VPC、子网、路由、对等连接的权限。详细操作请参考配置DLI云服务委托权限。 作为资源所有者的账号A已创建共享VPC和子网,并指定资源使用者为账号B。
导入数据(废弃) 功能介绍 该API用于将数据从文件导入DLI或OBS表,目前仅支持将OBS上的数据导入DLI或OBS中。 当前接口已废弃,不推荐使用。 该API为异步操作。 导入数据时,可选择已存在的OBS桶路径或新建OBS桶路径,但只能指定一个OBS桶路径。 若需新建OBS桶,需遵守以下命名规则:
典型场景示例:配置DLI与内网数据源的网络联通 背景信息 DLI与内网数据源的网络联通通常指的是华为云内部服务的场景,例如DLI连接MRS、RDS、CSS、Kafka、DWS时,需要打通DLI和外部数据源之间的网络。使用DLI提供的增强型跨源连接,采用对等连接的方式打通DLI与目的数据源的VPC网络,实现数据互通。
string3]) 使用分隔符将 string1 拆分为键值对后返回一个 map。string2 是 pair 分隔符,默认为 ‘,’。string3 是键值分隔符,默认为 ‘=’。 pair 分隔符与键值分隔符均为正则表达式,当使用特殊字符作为分隔符时请提前进行转义,例如 <([{\^-=$
ACTIVE:已激活 DELETED:已删除 说明: 连接状态不区分大小写。 name 否 String 连接名。 tags 否 String 标签名列表。单个标签为k=v,多个标签以“,”分隔。示例tag1=v1,tag2=v2。 带入query参数的URL示例如下: GET /v2.
Of> <url>http://maven.demo.com:8082/demo/content/groups/public</url> </mirror> </mirrors> <profiles> <profile>
从Kafka读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为对汽车驾驶的实时数据信息进行分析,将满足特定条件的数据结果进行汇总。汽车驾驶的实时数据信息为数据源发送到Kafka中,再将Kafka数据的分析结果输出到DWS中。 例如,输入如下样例数据:
据保存到OBS。 具体API请参考《导出查询结果》。 与统一身份认证服务(IAM)的关系 统一身份认证服务(Identity and Access Management)为DLI提供了华为云统一入口鉴权功能。 具体操作请参考《创建用户并授权使用DLI》和《DLI自定义策略》。 与云审计服务(CTS)的关系
模式匹配,实现套牌车检测。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 INSERT INTO fake_licensed_car SELECT * FROM camera_license_data MATCH_RECOGNIZE ( PARTITION
模式匹配,实现套牌车检测。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 INSERT INTO fake_licensed_car SELECT * FROM camera_license_data MATCH_RECOGNIZE ( PARTITION
南》。 安装OBS Browser+。安装步骤请参考《对象存储服务工具指南》。 登录OBS Browser+。OBS Browser+支持AK方式登录,以及授权码登录两种登录方式。登录步骤请参考《对象存储服务工具指南》。 通过OBS Browser+上传数据。 在OBS Brow
PUT /my_test { "settings": { "number_of_shards": 1 }, "mappings": { "properties": { "productName": {
PUT /my_test { "settings": { "number_of_shards": 1 }, "mappings": { "properties": { "productName": {
进入模式选择界面,用户也可以直接输入模式或表空间名称。 本示例因为DWS集群上创建数据库和表中没有创建SCHEMA,则本参数为默认的“public”。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 说明: 该参数支持配置通配符(*),实现导