检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
S实现的HDFS协议不支持租约Lease机制(并发写同一个文件时将产生不可确定的状态),所以在flume场景下可以通过文件命名规则进行解决。 如sink文件的命名规则:hostname-sinkname作为文件的前缀,如果一个主机上部署了多个flume agent,不同的agent要有不同的sinkname。
try { // 文件上传 // localfile 为待上传的本地文件路径,需要指定到具体的文件名 PutObjectRequest request = new PutObjectRequest();
createPostSignature生成用于鉴权的请求参数。 准备表单HTML页面。 将生成的请求参数填入HTML页面。 选择本地文件,进行表单上传。 使用SDK生成用于鉴权的请求参数包括两个: policy,对应表单中policy字段。 signature,对应表单中的signature字段。 以
云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.getBucketLifecycle查看桶的生命周期规则。以下代码展示了如何查看桶的生命周期规则: // 创建ObsClient实例 var obsClient = new
try { // 文件上传 // localfile 为待上传的本地文件路径,需要指定到具体的文件名 PutObjectRequest request = new PutObjectRequest();
ject权限,才能获取上传进度。相关授权操作可参见典型权限场景配置案例。 OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 支持获取上传进度的接口包括:流式上传、文件上传、上传段、追加上传和断点续传上传。 如果ProgressStatus
使用Position参数指定追加上传的位置,且第一次追加上传的位置必须为0。 ObsClient.putObject上传的对象可覆盖ObsClient.appendObject上传的对象,覆盖后对象变为普通对象,不可再进行追加上传。 第一次调用追加上传时,如果已存在同名的普通对象,则会抛出异常(HTTP状态码为409)。
isTruncated); 列举文件夹中的所有对象 OBS本身是没有文件夹的概念的,桶中存储的元素只有对象。文件夹对象实际上是一个大小为0且对象名以“/”结尾的对象,将这个文件夹对象名作为前缀,即可模拟列举文件夹中对象的功能。以下代码展示如何列举文件夹中的对象: static OBSClient
createPostSignatureSync生成用于鉴权的请求参数。 准备表单HTML页面。 将生成的请求参数填入HTML页面。 选择本地文件,进行表单上传。 使用SDK生成用于鉴权的请求参数包括两个: Policy,对应表单中policy字段。 Signature,对应表单中的signature字段。 以
分段上传场景化示例(Java SDK) 分段上传的主要目的是解决大文件上传或网络条件较差的情况。 通过使用UploadPartRequest.setOffset和UploadPartRequest.setPartSize来设置每段的起始结束位置。 下面的示例代码展示了如何使用分段上传并发上传大文件。
getObjectAcl接口指定VersionId参数获取多版本对象的访问权限,接口定义请参见获取对象ACL(Node.js SDK)。 代码示例 本示例用于获取名为examplebucket桶下example/objectname 版本对象的ACL权限控制列表信息,对应的版本号是 G001117FCE89978B0000401205D5DC9A。
求参数等信息生成一个临时访问权限的URL,这个URL中会包含鉴权信息,您可以使用该URL进行访问OBS服务进行特定操作。在生成URL时,您需要指定URL的有效期。所有继承OBSBaseRequest的子类都能使用临时鉴权访问。 临时授权访问支持的操作以及相关信息见下表: 操作名 OBS
息体256-bit SHA256值转十六进制值,计算方式为Hex(SHA256Hash(<payload>),服务端会对携带此头域的请求计算其消息体的sha256值做校验(性能会有部分下降,在安全上推荐该算法),上传对象示例代码如下: 1 2 3 4 5 6 7 8
endpoint 无 是 华为云OBS的终端节点(Endpoint)。 fs.obs.access.key 无 是 华为云的AK(Access Key Id),需要具备访问OBS对应桶的权限。 fs.obs.secret.key 无 是 华为云的SK(Secret Access K
Content-Type用于指定Object的文件类型。内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。 常见的Content-Type 常见的Content-Type(MIME)列表如下:
Content-Type用于指定Object的文件类型。内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定文件类型,则根据文件的扩展名生成。如果文件没有扩展名,则文件类型的默认值application/octet-stream。 常见的Content-Type 常见的Content-Type(MIME)列表如下:
重命名桶中对象 OBS客户端(OBS Browser+)支持重命名桶中对象,您可以对单个对象重命名。 重命名的具体方法如下: 登录OBS Browser+。 如果未安装OBS Browser+,请先下载并安装。 在对象存储桶列表中,单击对象所在桶的桶名称。 在对象列表中,单击需要重命名对象操作列的。
细。 选择需要查看的时间,统计维度默认“按使用量”。 在筛选条件中选择“资源ID”,并输入步骤2中复制的桶名,单击图标即可搜索该桶的账单。 图1 明细账单 可以单击列表右侧的导出详细账单进行查看。 账单使用量类型与计费项对照关系 目前费用中心对象存储服务账单中的使用量类型与OBS
isTruncated); 列举文件夹中的所有多版本对象 OBS本身是没有文件夹的概念的,桶中存储的元素只有对象。文件夹对象实际上是一个大小为0且对象名以“/”结尾的对象,将这个文件夹对象名作为前缀,即可模拟列举文件夹中对象的功能。以下代码展示如何列举文件夹中的多版本对象: static OBSClient
8是OBSA的版本号。 如hadoop版本为3.1.x,则选择hadoop-huaweicloud-3.1.1-hw-53.8.jar。 增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令,命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。