检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上面代码中的 partEtags是进行上传段后保存的分段号和分段ETag值的列表,它必须是按分段号升序排列。 分段可以是不连续的。 并发分段上传 分段上传的主要目的是解决大文件上传或网络条件较差的情况。下面的示例代码展示了如何使用分段上传并发上传大文件: // 认证用的ak和sk
995%,远高于传统架构。 一般的企业自建存储服务器不会投入巨额的成本来同时保证介质、服务器、机柜、数据中心、区域级别的可靠性,一旦出现故障或灾难,很容易导致数据出现不可逆的丢失,给企业造成严重损失。 成本 即开即用,免去了自建存储服务器前期的资金、时间以及人力成本的投入,后期设备的维护交由OBS处理。
Service,OBS)提供的一种经过优化的高性能文件语义系统,旨在为基于对象存储服务作为统一数据湖存储的大数据场景提供解决方案。并行文件系统提供毫秒级别访问时延、TB/s级别带宽和百万级别的IOPS、高兼容性、高性能、高可扩展性、高可靠性的能力。 与对象桶的结构不同,并行文件系统访问路径中的每级目录
对象策略是桶策略针对对象的策略,选中对象后配置该对象的对象策略。对象策略的资源为选中的对象,对应的动作和条件为桶策略中针对对象的动作和条件。 操作步骤 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 在待操作的对象的后面,单击“更
lder01的上级目录是folder02,文件夹名长度是按照folder02/folder01/的字节数计算的。 单个斜杠(/)表示分隔并创建多层级的文件夹。 如果创建文件夹时弹出拒绝访问的错误提示,则有可能是如下几种情况导致的: 通过桶的ACL设置功能,限制了该桶的访问权限(如:该用户无桶的写入权限)。
实际业务场景下,您可能有不通过恢复而直接获取归档数据的诉求。如有时间要求,需要急速读取归档数据;或者在OBS与其他系统对接的情况下,因接口兼容问题,需要直接读取归档数据。 桶开启归档数据直读后,存储类别为归档存储的对象可以直接访问,无需提前恢复。开启直读后,下载和拷贝归档存储对象均会产生归档数据直读的数据读取流量费用,收费详情请参见产品价格详情。
HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击创建资源中创建的HPC型文件系统,进入文件系统详情页面。 进入页
用户通过分享的链接地址可访问对象数据。 前提条件 已经设置匿名用户对该对象的读取权限。 权限开启方法请参见对所有账号授予指定对象的读权限。 不能对已加密的对象进行共享。 操作步骤 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。
于查看各命令的帮助文档。以查询创建桶命令的帮助文档为例,详细的步骤如下: 使用obsutil help命令查看当前支持的所有命令列表。 根据命令列表中的文档说明,找到需要查看的命令缩写,例如创建桶命令缩写为mb。 使用obsutil help mb命令,查看mb命令的使用方式和详细功能,如下图:
server_callback,如下图: 设置了代理还是连接失败。 问题根因:可能是因为sdk的request.c的get_api_version函数中未设置代理。 解决办法: 可以参考sdk的request.c的 setup_curl函数中设置代理的方式在get_api_versi
CTS支持追踪的OBS管理事件和数据事件列表,请参见审计。 图1 云审计服务 操作步骤 登录管理控制台。 在管理控制台左上角单击图标,选择区域。 选择“服务列表>管理与监管>云审计服务”,进入云审计服务信息页面。 请参考云审计服务的配置追踪器,配置OBS的云审计。 表1 云审计服务支持的OBS管理事件操作列表
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI
BucketAlreadyExists 请求的桶名已经存在。桶的命名空间是系统中所有用户共用的,选择一个不同的桶名再重试一次。 409 Conflict BucketAlreadyOwnedByYou 发起该请求的用户已经创建过了这个名字的桶,并拥有这个桶。 409 Conflict
BucketAlreadyExists 请求的桶名已经存在。桶的命名空间是系统中所有用户共用的,选择一个不同的桶名再重试一次。 409 Conflict BucketAlreadyOwnedByYou 发起该请求的用户已经创建过了这个名字的桶,并拥有这个桶。 409 Conflict
BucketAlreadyExists 请求的桶名已经存在。桶的命名空间是系统中所有用户共用的,选择一个不同的桶名再重试一次。 409 Conflict BucketAlreadyOwnedByYou 发起该请求的用户已经创建过了这个名字的桶,并拥有这个桶。 409 Conflict
BucketAlreadyExists 请求的桶名已经存在。桶的命名空间是系统中所有用户共用的,选择一个不同的桶名再重试一次。 409 Conflict BucketAlreadyOwnedByYou 发起该请求的用户已经创建过了这个名字的桶,并拥有这个桶。 409 Conflict
前列表展示的统计信息。 (可选)单击“统计信息”下方的“导出”,可导出当前列表展示的全部统计信息或选中的统计信息。 (可选)在统计列表上方的选择框中,可根据属性筛选统计信息。 使用命令行工具obsutil 统计文件夹中的对象数量 obsutil不支持直接统计文件夹中的对象数量和大小,您可以进行列举对象。
对IAM用户组授予OBS所有资源的基本操作权限 对IAM用户组授予OBS所有资源的指定操作权限 对IAM用户组授予OBS指定资源的指定操作权限 对其他账号授权 对其他账号授予桶的读写权限 对其他账号授予桶的指定操作权限 对其他账号下的IAM用户授予桶和桶内资源的访问权限 对其他账号授予指定对象的读权限 对其他账号授予指定对象的指定操作权限
Cloudera CDH对接OBS 部署视图 安装版本 硬件:1Master+3Core(配置:8U32G,操作系统:CentOS 7.5) 软件:CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBS
通过“系统设置”设置OBS Browser+工具的参数。 支持设置任务运行的最大并发数为1~50。 支持设置上传和下载段的大小为9M~5120M。 支持设置OBS Browser+的语言切换。 支持设置工具的代理。 任务管理 任务管理器主要是对批量任务的执行状态进行展示,并提供暂停、删除、运行、查找等基本操作。