管理并行文件系统(Java SDK)-华为云

对象存储服务 OBS-列举并行文件系统内对象(Java SDK):代码示例

代码示例本示例用于列举examplebucket并行文件系统目录下的内容。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 import com.obs.services.ObsClient; import com.obs.services.exception.ObsException; import com.obs.services.model.*; import java.io.*; public class ListPosixObjects{ // 列举对象返回的最大数量 private static int maxKey = 1000; private static String bucketName = "examplebucket"; private static ObsClient obsClient; public static void main(String[] args) throws IOException, InterruptedException { // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全；本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量AC CES S_KEY_ID和SECRET_ACCESS_KEY_ID。 // 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html String ak = System.getenv("OBS_ACCESS_KEY_ID"); String sk = System.getenv("OBS_SECRET_ACCESS_KEY_ID"); // 【可选】如果使用临时AK/SK和SecurityToken访问OBS，同样建议您尽量避免使用硬编码，以降低信息泄露风险。 // 您可以通过环境变量获取访问密钥AK/SK/SecurityToken，也可以使用其他外部引入方式传入。 String securityToken = System.getenv("OBS_SECURITY_TOKEN"); // 您可以通过环境变量获取endPoint，也可以使用其他外部引入方式传入。 String endPoint = System.getenv("OBS_ENDPOINT"); // 创建ObsClient实例 try { obsClient = new ObsClient(ak, sk, endPoint); // 列举并行文件系统内的对象 ListObjectsRequest request = new ListObjectsRequest(bucketName); // 列举对象返回的最大数量 request.setMaxKeys(maxKey); // 建议设置[delimiter="/"]，只列举当前目录下的内容，不列举子目录 request.setDelimiter("/"); listObjects(request); } catch (ObsException e) { // 请求失败,打印http状态码 System.out.println("HTTP Code: " + e.getResponseCode()); // 请求失败,打印服务端错误码 System.out.println("Error Code:" + e.getErrorCode()); // 请求失败,打印详细错误信息 System.out.println("Error Message: " + e.getErrorMessage()); // 请求失败,打印请求id System.out.println("Request ID:" + e.getErrorRequestId()); System.out.println("Host ID:" + e.getErrorHostId()); } catch (Exception e) { // 其他异常信息打印 e.printStackTrace(); } } static void listObjectsByPrefix(ObjectListing result) throws ObsException { for (String prefix : result.getCommonPrefixes()) { System.out.println("Objects in folder [" + prefix + "]:"); ListObjectsRequest request = new ListObjectsRequest(bucketName); // 列举对象的最大数目，取值范围为1~1000，当超出范围时，按照默认的1000进行处理 request.setMaxKeys(maxKey); // 建议设置[delimiter="/"]，只列举当前目录下的内容，不列举子目录 request.setDelimiter("/"); // 按设置的对象前缀返回结果 request.setPrefix(prefix); listObjects(request); } } static void listObjects(ListObjectsRequest request) { ObjectListing result; do { result = obsClient.listObjects(request); for (ObsObject obsObject : result.getObjects()) { // 打印列举的对象名 System.out.println("\t" + obsObject.getObjectKey()); // 打印该对象的所有者 System.out.println("\t" + obsObject.getOwner()); } // 列举对象的起始位置 request.setMarker(result.getNextMarker()); // 递归列举文件夹 listObjectsByPrefix(result); } while (result.isTruncated()); } }

对象存储服务 OBS 管理并行文件系统(Java SDK)

对象存储服务 OBS-列举并行文件系统内对象(Java SDK):接口约束

接口约束您必须是并行文件系统拥有者或拥有列举并行文件系统内对象的权限，才能列举并行文件系统内对象。建议使用 IAM 或策略进行授权，如果使用IAM则需授予obs:bucket:ListBucket权限，如果使用策略则需授予ListBucket权限。建议使用IAM进行授权，配置方式详见使用IAM自定义策略。 OBS支持的region以及region与endPoint的对应关系，详细信息请参见地区与终端节点。

对象存储服务 OBS 管理并行文件系统(Java SDK)

对象存储服务 OBS-列举并行文件系统内对象(Java SDK):请求参数说明

请求参数说明表1 请求参数列表参数名称参数类型是否必选描述 request ListObjectsRequest 必选参数解释：获取并行文件系统内对象列表请求参数，详见ListObjectsRequest。表2 ListObjectsRequest 参数名称参数类型是否必选描述 bucketName String 必选参数解释：桶名。约束限制：桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。桶命名规则如下： 3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。禁止使用IP地址。禁止以“-”或“.”开头及结尾。禁止两个“.”相邻（如：“my..bucket”）。禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。默认取值：无 prefix String 可选参数解释：限定返回的对象名必须带有prefix前缀。约束限制：长度大于0且不超过1024的字符串。默认取值：无 marker String 可选参数解释：列举桶内对象列表时，指定一个标识符，从该标识符以后按对象名的字典顺序返回对象列表。约束限制：仅用于非多版本列举。取值范围：长度大于0且不超过1024的字符串。默认取值：无 maxKeys int 可选参数解释：列举对象的最大数目，返回的对象列表将是按照字典顺序的最多前maxKeys个对象。取值范围： 1~1000，当超出范围时，按照默认的1000进行处理。默认取值： 1000 delimiter String 可选参数解释：将对象名进行分组的分隔符。如果指定了prefix，从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes；如果没有指定prefix，从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes。例如，桶中有3个对象，分别为abcd、abcde、bbcde。如果指定delimiter为d，prefix为a，abcd、abcde会被分成一组，形成一条前缀为abcd的commonPrefix；如果只指定delimiter为d，abcd、abcde会被分成一组，形成一条前缀为abcd的commonPrefix，而bbcde会被单独分成一组，形成一条前缀为bbcd的commonPrefix。对于并行文件系统，不携带此参数时默认列举是递归列举此目录下所有内容，会列举子目录。在大数据场景下（目录层级深、目录下文件多）的列举，建议设置[delimiter=/]，只列举当前目录下的内容，不列举子目录，提高列举效率。取值范围：长度大于0且不超过1024的字符串。默认取值：无 encodingType String 可选参数解释：对响应中的部分元素进行指定类型的编码。如果 delimiter、marker、prefix、nextMarker 和 objectKey 包含xml 1.0标准不支持的控制字符，可通过设置 encodingType 对响应中的 delimiter、marker、prefix（包括commonPrefixes 中的 prefix）、nextMarker 和 objectKey 进行编码。取值范围：可选值为url。默认取值：无，不设置则不编码。

对象存储服务 OBS 管理并行文件系统(Java SDK)

对象存储服务 OBS-创建并行文件系统(Java SDK):代码示例

代码示例本示例用于新建名为examplebucket的并行文件系统。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 import com.obs.services.ObsClient; import com.obs.services.exception.ObsException; import com.obs.services.model.BucketTypeEnum; import com.obs.services.model.CreateBucketRequest; import com.obs.services.model.HeaderResponse; public class CreateBucket001 { public static void main(String[] args) { // 您可以通过环境变量获取访问密钥AK/SK，也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。 // 您可以登录访问管理控制台获取访问密钥AK/SK String ak = System.getenv("ACCESS_KEY_ID"); String sk = System.getenv("SECRET_ACCESS_KEY_ID"); // 【可选】如果使用临时AK/SK和SecurityToken访问OBS，同样建议您尽量避免使用硬编码，以降低信息泄露风险。 // 您可以通过环境变量获取访问密钥AK/SK/SecurityToken，也可以使用其他外部引入方式传入。 // String securityToken = System.getenv("SECURITY_TOKEN"); // endpoint填写桶所在的endpoint, 此处以华北-北京四为例，其他地区请按实际情况填写。 String endPoint = "https://obs.cn-north-4.myhuaweicloud.com"; // 您可以通过环境变量获取endPoint，也可以使用其他外部引入方式传入。 //String endPoint = System.getenv("ENDPOINT"); // 创建ObsClient实例 // 使用永久AK/SK初始化客户端 ObsClient obsClient = new ObsClient(ak, sk,endPoint); // 使用临时AK/SK和SecurityToken初始化客户端 // ObsClient obsClient = new ObsClient(ak, sk, securityToken, endPoint); try { // 创建并行文件系统成功 CreateBucketRequest request = new CreateBucketRequest(); request.setBucketName("examplebucket"); request.setBucketType(BucketTypeEnum.PFS); // 指定所属区域，location 需要与 endpoint的位置信息一致 request.setLocation("your_region"); HeaderResponse response = obsClient.createBucket(request); System.out.println("CreateBucket successfully"); System.out.println("StatusCode:" + response.getStatusCode()); System.out.println("RequestId:" + response.getRequestId()); } catch (ObsException e) { System.out.println("CreateBucket failed"); // 请求失败,打印http状态码 System.out.println("HTTP Code:" + e.getResponseCode()); // 请求失败,打印服务端错误码 System.out.println("Error Code:" + e.getErrorCode()); // 请求失败,打印详细错误信息 System.out.println("Error Message:" + e.getErrorMessage()); // 请求失败,打印请求id System.out.println("Request ID:" + e.getErrorRequestId()); System.out.println("Host ID:" + e.getErrorHostId()); e.printStackTrace(); } catch (Exception e) { System.out.println("CreateBucket failed"); // 其他异常信息打印 e.printStackTrace(); } } }

对象存储服务 OBS 管理并行文件系统(Java SDK)

对象存储服务 OBS-创建并行文件系统(Java SDK):功能说明

功能说明并行文件系统（Parallel File System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，提供毫秒级别访问时延，TB/s级别带宽和百万级别的IOPS，能够快速处理高性能计算（HPC）工作负载。作为对象存储服务的子产品，并行文件系统支持用户按照标准的OBS接口读取数据。也支持通过部署在弹性云服务器中的PFS客户端（obsfs工具），按照POSIX文件语义读写数据；通过obsfs用户可以将创建的并行文件系统挂载到云端Linux服务器上，并能像操作本地文件系统一样对并行文件系统内的文件和目录进行在线处理，包括：创建和删除文件/目录，重命名文件/目录，修改写文件等操作。您可以通过ObsClient.createBucket创建并行文件系统。开发过程中，您有任何问题可以在github上提交issue，或者在华为云对象存储服务论坛中发帖求助。

对象存储服务 OBS 管理并行文件系统(Java SDK)

对象存储服务 OBS-创建并行文件系统(Java SDK):接口约束

接口约束您必须拥有obs:bucket:CreateBucket权限，才能创建并行文件系统。建议使用IAM进行授权，配置方式详见使用IAM自定义策略。 OBS支持的region以及region与endPoint的对应关系，详细信息请参见地区与终端节点。不支持将已有的OBS桶修改为并行文件系统。并行文件系统暂不支持配额配置功能，默认无配额限制。同一账号下，可以创建多个桶，数量上限是100个（包括对象桶和并行文件系统，不区分地域），存储桶中的对象数量和大小没有限制。新创建并行文件系统的桶名在OBS中必须是唯一的。如果是同一个用户重复创建同一区域的同名桶时返回HTTP状态码200。除此以外的其他场景重复创建同名桶返回HTTP状态码409，表明桶已存在。用户删除并行文件系统后，需要等待30分钟才能创建同名桶和并行文件系统。并不是所有区域都支持创建多AZ并行文件系统，您可以在产品价格详情页面，查询指定区域是否支持多AZ。

对象存储服务 OBS 管理并行文件系统(Java SDK)

云服务器内容精选

管理并行文件系统(Java SDK)

7*24

备案

专业服务

退订

建议反馈

售前咨询热线