检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SDK功能矩阵 语言 功能 内容 Java OBS授权 介绍将OBS桶的操作权限授权给DLI的Java SDK使用说明。 队列相关 介绍创建队列、获取默认队列、查询所有队列、删除队列的Java SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询指定资源包、删除资源包的Java
参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 待描述的表所在的数据库名称。 table_name 是 String 待描述表的名称。
参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数名称 是否必选 参数类型 说明 kind 否 String 指定文件类型。包括以下文件类型:
参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 name 是 String 连接名称。 名称只能包含数字、英文字母、下划线。不能为空。
参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 connection_id 是 String 连接ID,用于标识跨源连接的UUID。 请求消息 无请求参数。 响应消息 表2
ols 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页的数量。默认为100。 name
数据所在的DIS所在区域。 ak 否 访问密钥ID(Access Key ID)。访问密钥获取方式请参见我的凭证。 sk 否 Secret Access Key,与访问密钥ID结合使用的密钥。访问密钥获取方式请参见我的凭证。 channel 是 DIS通道。 partition_key 否
用于对Kafka消息中key部分序列化和反序列化的格式。key字段由PRIMARY KEY语法指定。支持的格式如下: csv json avro 请参考Format页面以获取更多详细信息和格式参数。 key.fields-prefix 否 (none) String 为键格式的所有字段定义自定义前缀,以避免与值格式的字段发生名称冲突。
selectExpr("id", "name as name_test", "age+1").show() col 获取指定字段。不同于select,col每次只能获取一个字段,返回类型为Column类型,示例如下: 1 val idCol = jdbcDF.col("id") drop
用于对Kafka消息中key部分序列化和反序列化的格式。key字段由PRIMARY KEY语法指定。支持的格式如下: csv json avro 请参考Format页面以获取更多详细信息和格式参数。 key.fields-prefix 否 (none) String 为键格式的所有字段定义自定义前缀,以避免与值格式的字段发生名称冲突。
数据所在的DIS所在区域。 ak 否 访问密钥ID(Access Key ID)。访问密钥获取方式请参见我的凭证。 sk 否 Secret Access Key,与访问密钥ID结合使用的密钥。访问密钥获取方式请参见我的凭证。 channel 是 DIS通道。 partition_key 否
'tags' = 'TAG1,TAG2'); 关键字 表1 CREATE TABLE关键字描述 参数 描述 host OpenTSDB连接地址。 获取OpenTSDB连接地址需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 访问CloudTable OpenTSDB,填写OpenTSDB链接地址。
是否必选 说明 type 是 数据源类型,"user_defined"表示数据源为用户自定义数据源。 type_class_name 是 用户实现获取源数据的sink类名称,注意包含完整包路径。 type_class_parameter 是 用户自定义sink类的入参,仅支持一个string类型的参数。
'tags' = 'TAG1,TAG2'); 关键字 表1 CREATE TABLE关键字描述 参数 描述 host OpenTSDB连接地址。 获取OpenTSDB连接地址需要先创建跨源连接,管理控制台操作请参考增强型跨源连接。 访问CloudTable OpenTSDB,填写OpenTSDB链接地址。
是否必选 说明 type 是 数据源类型,"user_defined"表示数据源为用户自定义数据源。 type_class_name 是 用户实现获取源数据的sink类名称,注意包含完整包路径。 type_class_parameter 是 用户自定义sink类的入参,仅支持一个string类型的参数。
您可以使用该接口获取表的元数据描述信息。示例代码如下: private static void getTableDetail(Table table) throws DLIException { // 调用Table对象的getTableDetail方法获取描述表信息 //
selectExpr("id", "name as name_test", "age+1").show() col 获取指定字段。不同于select,col每次只能获取一个字段,返回类型为Column类型,示例如下: 1 val idCol = jdbcDF.col("id") drop
待操作的集群名称 > 服务 > ZooKeeper > 实例”,获取ZooKeeper角色实例的IP地址,为后续步骤做准备。 在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > kafka > 实例”,获取kafka角色实例的IP地址,为后续步骤做准备。 参考安装
待操作的集群名称 > 服务 > ZooKeeper > 实例”,获取ZooKeeper角色实例的IP地址,为后续步骤做准备。 在MRS Manager上,选择“集群 > 待操作的集群名称 > 服务 > kafka > 实例”,获取kafka角色实例的IP地址,为后续步骤做准备。 参考安装
sparkSession.sparkContext().addFile("obs://桶名/地址/truststore.jks"); // 获取当前工作目录的路径 String pathUser = System.getProperty("user.dir");