检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载OBS Browser+。下载地址请参考《对象存储服务工具指南》。 安装OBS Browser+。安装步骤请参考《对象存储服务工具指南》。 登录OBS Browser+。OBS Browser+支持AK方式登录,以及授权码登录两种登录方式。
表1 批作业SQL语法 语法分类 操作链接 数据库相关语法 创建数据库 删除数据库 查看指定数据库 查看所有数据库 创建OBS表相关语法 使用DataSource语法创建OBS表 使用Hive语法创建OBS表 创建DLI表相关语法 使用DataSource语法创建DLI表 使用Hive
注意事项 导入OBS表时,创建OBS表时指定的路径必须是文件夹,若建表路径是文件将导致导入数据失败。 仅支持导入位于OBS路径上的原始数据。 不建议对同一张表并发导入数据,因为有一定概率发生并发冲突,导致导入失败。 导入数据时只能指定一个路径,路径中不能包含逗号。
用户可以使用AK/SK(Access Key ID/Secret Access Key)或Token两种认证方式初始化客户端,具体操作请参考初始化DLI客户端 Java SDK列表 表1 Java SDK列表 类型 说明 OBS授权 介绍将OBS桶的操作权限授权给DLI的Java
下载OBS Browser+。下载地址请参考《对象存储服务工具指南》。 安装OBS Browser+。安装步骤请参考《对象存储服务工具指南》。 登录OBS Browser+。OBS Browser+支持AK方式登录,以及授权码登录两种登录方式。
Flink作业相关API(废弃) 查询作业监控信息(废弃) OBS授权给DLI服务 父主题: 历史API
DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表语法可以参考使用Hive语法创建OBS表。
bucket_name obs桶名称。 tbl_path Delta表在obs桶中的存储位置。 num 保留期时长 所需权限 SQL权限 表2 VACUUM所需权限列表 权限描述 表的UPDATE权限 细粒度权限:dli:table:update。
DLI系统提供了用于执行跨源作业的依赖模块,各个不同的服务对应的模块列表如下: CloudTable/MRS HBase: sys.datasource.hbase CloudTable/MRS OpenTSDB: sys.datasource.opentsdb RDS MySQL
使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 分组资源相关API(废弃)
使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
Flink作业委托场景开发指导 Flink Opensource SQL使用DEW管理访问凭据 Flink Jar 使用DEW获取访问凭证读写OBS 获取Flink作业委托临时凭证用于访问其他云服务 父主题: Flink作业开发指南
krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String keytab配置文件obs路径。 truststore_location 否 String truststore配置文件obs路径。
目前只支持:obs_adm、dis_adm、ctable_adm、vpc_netadm、smn_adm、te_admin。 具体含义如下: obs_adm:DLI获得访问和使用OBS的委托权限。
Connector列表 Connector概述 BlackHole ClickHouse DataGen Doris DWS Elasticsearch 对象存储OBS Hbase Hive Hudi JDBC Kafka MySql CDC Print Redis Upsert
说明: 程序包需提前上传至OBS服务中保存。 只支持选择文件。 disToDis.properties所在的OBS路径。 分组名称 选择“已有分组”:可选择已有的分组。 选择“创建新分组”:可输入自定义的组名称。 选择“不分组”:不需要选择或输入组名称。
krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String keytab配置文件obs路径。 truststore_location 否 String truststore配置文件obs路径。
jar包冲突,导致Flink提交失败 问题现象 Flink 提交失败,异常为: Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider
("fs.obs.secret.key", sk) sparkSession.conf.set("fs.obs.endpoint", enpoint) sparkSession.conf.set("fs.obs.connecton.ssl.enabled", "false") 通过