检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
CL读取权限。如果手动将日志投递用户组的桶写入权限和ACL读取权限关闭,桶的日志记录会失败。 OBS支持对桶的访问请求创建并保存访问日志记录,可用于进行请求分析或日志审计。 由于日志存储在OBS中也会占用用户的OBS存储空间,即意味着将产生额外的存储费用,默认情况下,OBS不会为用户的桶收集访问日志。
此时下载速度一定程度上可能会降低。 场景二:文件夹中的对象大小均匀。可能原因为数据已经下载完成,但是在写入磁盘时产生排队现象,造成显示下载变慢的假象,请客户排查客户端的写入速率等问题。 父主题: OBS Browser+和obsutil等工具相关
略进行权限访问控制。 授予指定账号桶读取权限和桶写入权限,用以共享桶数据或挂载外部桶。比如,账号A授予账号B桶读取权限及桶写入权限后,账号B就可以通过OBS Browser+挂载外部桶、API&SDK等方式访问到该桶。 授予日志投递用户组桶写入权限,用以存储桶访问请求日志。 OBS权限与IAM权限的关系
匿名用户通过URL访问对象 将对象权限设置为匿名用户读取权限,通过分享对象URL,匿名用户通过分享的链接地址可访问对象数据。 前提条件 已经设置匿名用户对该对象的读取权限。 权限开启方法请参见对所有账号授予指定对象的读权限。 不能对已加密的对象进行共享。 操作步骤 在OBS管理控制台左侧导航栏选择“桶列表”。
"savepath"; if (!File.Exists(dest)) { // 将对象的数据流写入文件中 response.WriteResponseStreamToFile(dest); }
生成单个对象下载链接的对象名,或批量生成对象下载链接的对象名前缀。 e 附加参数,可选 生成的对象下载链接的过期时间(单位:秒),最小值为60秒,默认为300秒。 r 附加参数,批量生成时必选 按指定的对象名前缀批量生成对象的下载链接。 exclude 附加参数,批量生成时可选 不包含对象的匹配模式,如:*
服务(Cloud Eye)监控自己的OBS桶,执行自动实时监控、告警和通知操作,帮助您实时掌握桶中所产生的请求、流量和错误响应等信息,并合理规划使用计划。 发布区域:全部 如何监控OBS? OBS的监控指标有哪些? OBS 2.0/3.0支持 审计 云审计服务(Cloud Trace
无 Tier String 否 参数解释: 恢复选项,用户可根据需求选择恢复选项,不同的恢复选项恢复耗时不同。 说明: 对于深度归档对象,大批量恢复建议使用标准恢复,且对象最终恢复时间受对象大小以及取回数据量的影响。 取值范围: Expedited:表示快速恢复对象,归档存储恢复耗时1~5
桶在创建时都会生成默认的桶ACL(Access Control List),桶ACL列表的每项包含了对被授权用户授予什么样的权限,如读取权限、写入权限等。用户只有对桶有相应的权限,才可以对桶进行操作,如创建、删除、显示、设置桶ACL等。 一个账号及账号下的所有IAM用户一共可创建
会以交互模式提示输入提取码; 提取码必须为6位。 r 附加参数,批量下载时必选 按指定的对象名前缀批量下载对象。 fr 附加参数,下载对象时可选 下载对象时生成结果清单文件。 flat 附加参数,批量下载时可选 批量下载时,不包含上一级父对象名前缀。 tempFileDir 附加参数,可选
删除碎片的不同方式 工具 方法 OBS控制台 OBS控制台提供图形化的碎片列表界面,您可以一键批量删除桶中所选中的碎片。 具体操作请参见清理碎片。 OBS Browser+ 您可以一键批量删除桶中所选中的碎片。也可以单击页面上方“删除所有”,清除所有碎片。 obsutil obsu
都会生成默认的桶ACL(Access Control List,访问控制列表),桶ACL的每项包含了对被授权用户授予什么样的权限,如读取权限、写入权限等。用户只有对桶有相应的权限,才可以对桶进行操作,如创建、删除、显示、设置桶ACL等。 一个账号及账号下的所有IAM用户可创建的桶
已经跟不上计算能力,企业希望存储系统能提供高吞吐的数据访问能力,充分发挥 GPU/NPU 的计算性能,包括训练数据的读取,以及为了容错做的检查点(以下简称Checkpoint)保存和加载。训练数据的读取要尽量读得快,减少计算对 I/O 的等待,而 Checkpoint主要要求高吞吐、减少训练中断的时间。
日志分析和公共事务分析统计等场景,向用户提供低成本、高性能、不断业务、无须扩容的解决方案。 海量数据存储分析的典型场景:PB级的数据存储,批量数据分析,毫秒级的数据详单查询等 历史数据明细查询的典型场景:流水审计,设备历史能耗分析,轨迹回放,车辆驾驶行为分析,精细化监控等 海量行
管理对象,包括上传、下载、删除和列举对象等。 支持上传单个或批量上传多个文件或文件夹。 支持分段上传大文件。 支持增量同步上传、下载和复制对象。 支持复制单个对象或按对象名前缀批量复制多个对象。 支持移动单个对象或按对象名前缀批量移动多个对象。 支持对失败的上传、下载、复制等任务进行恢复。
行该分段任务时会尝试通过对应的断点记录文件恢复任务。 r 附加参数,批量下载时必选 按指定的对象名前缀批量下载对象。 f 附加参数,批量下载时可选 强制操作,不进行询问提示。 j 附加参数,批量下载时可选 批量下载时的最大并发数,默认为配置文件中的defaultJobs。 说明:
obsClient.deleteObject("bucketname", "objectname"); 本示例仅用于删除单个对象,OBS批量删除对象,需自行遍历构建待批量删除对象的列表。 更丰富的删除功能,请参见删除对象。 父主题: 快速入门
"objectname", }; client.DeleteObject(request); 本示例仅用于删除单个对象,OBS批量删除对象,需自行遍历构建待批量删除对象的列表。 更丰富的删除功能,请参见删除对象。 父主题: 快速入门
行该分段任务时会尝试通过对应的断点记录文件恢复任务。 r 附加参数,批量下载时必选 按指定的对象名前缀批量下载对象。 f 附加参数,批量下载时可选 强制操作,不进行询问提示。 j 附加参数,批量下载时可选 批量下载时的最大并发数,默认为配置文件中的defaultJobs。 说明: