检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
同一个客户端可以挂载多个并行文件系统吗? 可以,且每一个挂载进程都是独立的。 obsfs挂载到华为云服务器ECS上时占用OBS流量还是云服务器ECS的流量? 该情况下占用OBS流量,不占用华为云服务器ECS的流量。 挂载的并行文件系统如何让其他用户访问? 一般情况下,只有执行挂载命令的用户有访问挂载目录的权限。
BS_SECURITY_TOKEN设置为token(可为空)。 如果希望通过ECS接口自动获取临时访问密钥,则只需要确保该ECS绑定了IAM对ECS的云服务委托,并给委托配置OBS权限。具体请参见在ECS上获取Security Key。 访问密钥查找流程 从.obsutilcon
TB/s级别带宽和百万级别的IOPS。 作为对象存储服务的子产品,并行文件系统支持用户按照标准的OBS接口读取数据。也支持通过部署在弹性云服务器中的OBSA,执行大数据场景业务。 应用场景 并行文件系统提供高兼容性、高性能、高可扩展性、高可靠性的能力。 主要的应用场景如下: 大
任意目录下都可以运行命令,您可以参考将obsutil设为系统内置命令。 更多操作 如果您需要在华为云的弹性云服务器(ECS)上使用obsutil,您可以参考在Linux ECS上使用obsutil通过内网访问OBS,配置内网访问以节省流量费用。 相关参考 如何快速使用obsutil请参见快速使用章节。
-北京四和华东-上海一各有一台ECS云服务器,两台云服务器都往华北-北京四的OBS桶存取数据。 用户操作 具体操作如下: 1、2023年7月1日00:00 UTC,华东-上海一的云服务器往华北-北京四的桶中上传了1000个总大小为1GB的标准存储对象(单AZ),以及1000个总大小为1GB的低频存储对象(单AZ)。
查询桶触发器(Python SDK) 功能说明 查询桶上绑定工作流触发器。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.getTriggerPolicy() 返回结果 表1 返回结果 类型
分类描述 1XX 信息,服务器收到请求,需要请求者继续执行操作,一般对客户调用函数不可见。 2XX 成功,操作被成功接收并处理。 3XX 重定向,需要进一步的操作以完成请求。 4XX 客户端错误,请求包含语法错误或无法完成请求。 5XX 服务器错误,服务器在处理请求的过程中发生了错误
删除桶触发器(Python SDK) 功能说明 删除在桶上绑定工作流触发器。 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 方法定义 WorkflowClient.deleteTriggerPolicy() 返回结果 表1 返回结果
错误码列表 错误码 描述 Obs.0000 网关或代理服务器验证失败,请输入正确的验证信息。 Obs.0001 服务端内部出错,请联系客服处理。 Obs.0002 网关或代理服务器出现错误,请联系客服处理。 Obs.0003 服务器繁忙,请稍后重试。 Obs.0004 请求的桶名已经
下列情况下(但不仅限于此)通常会导致数据上传失败而产生垃圾数据,因此需要清理这些碎片数据来释放空间。 网络条件较差,与OBS 对象存储的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 碎片管理功能可以清除由于对象上传失败而产生的垃圾数据。
分类描述 1XX 信息,服务器收到请求,需要请求者继续执行操作,一般对客户调用函数不可见。 2XX 成功,操作被成功接收并处理。 3XX 重定向,需要进一步的操作以完成请求。 4XX 客户端错误,请求包含语法错误或无法完成请求。 5XX 服务器错误,服务器在处理请求的过程中发生了错误
碎片管理 背景知识 OBS采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 文件上传失败或上传任务暂停后,都会有碎片存储在OB
来覆盖之前的内容。 对于上传日志、视频监控和视频直播等领域生成的实时视频流,使用以上上传方式,会存在软件架构复杂、客户端发送请求频繁造成服务器压力大、数据延时等问题。为了解决以上问题,可以使用追加写的方式上传对象,就是在指定桶内的一个对象尾追加上传数据,做到及时可读。当不存在相同对象键值的对象时,则创建新对象。
方式: 表1 OBS的3种服务端加密方式 对比维度 SSE-KMS (KMS 托管密钥的服务器端加密) SSE-OBS (OBS 托管密钥的服务器端加密) SSE-C (用户提供密钥的服务器端加密) 使用场景 密钥由经过安全认证的第三方硬件安全模块(HSM)产生,对密钥的关键操作
桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 父主题: 碎片管理
全性。OBS不限定客户端加密的技术。 用户可根据需要对对象进行服务端加密,使对象更安全的存储在OBS中。 需要上传的对象可以通过数据加密服务器提供密钥的方式进行服务端加密。用户首先需要在KMS中创建密钥(或者使用KMS提供的默认密钥),当用户在OBS中上传对象时使用该密钥进行服务端加密。
“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准
深度归档存储:适用于很少访问,访问频率低于归档存储,且对数据获取速率要求不高的业务场景。 更多详情请参见存储类别。 桶策略 私有 桶的读写权限控制。 私有:除桶ACL授权外的其他用户无桶的访问权限。 公共读:任何用户都可以对桶内对象进行读操作。 公共读写:任何用户都可以对桶内对象进行读/写/删除操作。
桶中不完整的数据称之为碎片。OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 上传失败而产生的碎片会存储在OBS中,你可以使用本
客户端加密简介(Java SDK) 客户端加密是指在传输数据前,使用您选择的加密方法与加密信息,在本地进行数据加密,再将加密后结果发送至OBS服务器,同时将加密方法与解密所需的必要辅助信息存储到对象元数据中。在下载时OBS SDK会依据您提供的密钥与存储在对象元数据中的解密辅助信息进行数据解密,直接返回解密后结果。