检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
归档日志文件 功能说明 将日志文件归档到本地,或归档到指定的桶。
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗?
华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。
系统策略 OBS Buckets Viewer 拥有该权限的用户可以执行列举桶、获取桶基本信息、获取桶元数据的操作。 系统角色 OBS ReadOnlyAccess 拥有该权限的用户可以执行列举桶、获取桶基本信息、获取桶元数据、列举对象(不包含多版本)的操作。
详情请参见使用OBS Browser+移动文件或文件夹或移动对象。 此外,您还可以使用对象存储迁移服务OMS实现OBS桶之间跨账号、跨区域以及同区域内的数据迁移。 OBS工具不支持在不同集群并行文件系统之间移动文件。 父主题: 桶和对象相关
通过控制台、API、SDK、OBS Browser+、obsutil、obsfs方式上传同名文件到OBS,会导致OBS内已有文件被覆盖。 如果您在生命周期规则中配置了定期删除文件的规则,OBS会根据生命周期的配置定期删除符合条件的文件。详情请参见生命周期管理。
请确认您已经熟悉OBS的基本概念,如桶(Bucket)、对象(Object)、访问密钥(AK和SK)、终端节点(Endpoint)和访问域名等。 使用OBS客户端进行接口调用成功后,均会返回包含响应头信息的SDK公共响应头实例(或其子类实例)。
MD5值校验通过后,会将该值设置为对象元数据x-obs-meta-md5chksum,用于下载或复制时校验MD5。 注意: 如果您的业务涉及加密场景,请勿使用该参数。 p 附加参数,可选 每个分段上传任务的最大并发数,默认为配置文件中的defaultParallels。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。
公网环境下如何提高上传大文件速度?(Java SDK) 在公网环境下对于超过100MB的大文件,建议通过分段上传方式上传。 分段上传是将单个对象拆分为一系列段分别上传,每个段都是对象数据的连续部分,您可以按照任意顺序上传段。
并行文件系统 并行文件系统挂载后,为何显示256T? 文件列表是否支持排序?
删除断点记录文件 功能说明 删除指定文件夹下的断点记录文件。
通过控制台、API、SDK、OBS Browser+、obsutil、obsfs方式上传同名文件到OBS,会导致OBS内已有文件被覆盖。 如果您在生命周期规则中配置了定期删除文件的规则,OBS会根据生命周期的配置定期删除符合条件的文件。详情请参见生命周期管理。
size_file 指定文件滚动大小(字节)。当文件大小达到设定的值时,会生成一个新的文件。 time_file 设置文件滚动周期(分钟)。当数据写入达到设定周期时,会生成一个新的文件。
在OBS中,用户操作的基本数据单元是对象。OBS Python SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 文本上传:使用字符串作为对象的数据源。 流式上传:使用包含“read”属性的可读对象作为对象的数据源。 文件上传:使用本地文件作为对象的数据源。
此文件数据是由shell解析,所以选项中包含空格或特殊字符会被忽略。
如何获取临时AK/SK和securitytoken请参考通过token获取临时访问密钥和securitytoken。
/logs', // 配置日志文件夹 'FileName' => 'eSDK-OBS-PHP.log', // 配置日志文件名 'MaxFiles' => 10, // 配置最大可保留的日志文件个数 'Level' => WARN //
排队处理:查询后仅返回任务ID,还需进一步调用查询视频解析任务接口才能获取到视频元数据。 同步处理:查询后将直接返回视频元数据。 metadata_outbucket 视频解析输出桶,用于保存解析后的视频。
已获取OBS和函数工作流的权限。 创建EG通知 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 在左侧列表页选择“基础配置 > 事件通知”,进入“EG通知”页签。 单击“创建”,进入事件网格控制台,创建事件订阅。