Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo高性能文件存储中,数据预热功能的具体操作请参考创建SFS Turbo 和
网络CDN和弹性云服务器ECS快速构建动静态分离的网站/应用系统。 终端用户浏览器和APP上的动态数据直接与搭建在华为云上的业务系统进行交互,动态数据请求发往业务系统处理后直接返回给用户。静态数据保存在OBS中,业务系统通过内网对静态数据进行处理,终端用户通过就近的高速节点,直接向OBS请求和读取静态数据。
追加写对象 功能介绍 追加写对象操作是指在指定桶内的一个对象尾追加上传数据,不存在相同对象键值的对象则创建新对象。 通过Append Object操作创建的Object类型为Appendable Object,而通过Put Object上传的Object是Normal Object。
单位:次 ≥ 0 counts 用户 桶 域名 1分钟 request_success_rate 请求成功率 该指标用于衡量存储服务的系统的可用性。非服务端错误请求(返回状态码为5xx)占总请求的百分比,计算方式: (1-5XX数量/总请求数量)*100% 单位:% ≥ 0,≤100
huaweicloud.com/usermanual-ca/ca_01_0003.html。 ak := os.Getenv("AccessKeyID") sk := os.Getenv("SecretAccessKey") // 【可选】如果使用临时AK/SK和Se
Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。
先规划存储容量,存储资源可线性无限扩展,用户永远不必担心存储容量不够用。在OBS上可以存储任何类型和大小的非结构化数据,多级可靠性架构以及服务端加密、日志管理、权限控制等功能,保障存储在OBS上的数据高度稳定和安全。在成本方面,OBS即开即用,免去了自建存储服务器带来的资金、时间
重命名对象 功能介绍 重命名对象操作是指将指定文件桶内的一个对象重命名为其他对象名。 目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。重命名对象操作为非幂等操作。 请求消息样式 POST /ObjectName?name=Name&rename
是否可以同时装两个不同站点的OBS Browser+工具? 不可以。 一个系统中只允许安装一个版本的OBS Browser+工具。 不同局点提供的OBS Browser+工具可能支持的功能不一致。 因此,如果您想使用某一个局点的OBS请下载相应局点的OBS Browser+工具。
数据传输和访问加密:传输数据时,OBS支持HTTPS/SSL协议;如果您需要更高安全性,可以开启服务端加密功能。 防止误删等操作:OBS控制台支持敏感操作保护,开启后执行删除桶等敏感操作时,系统会进行身份验证,进一步保证OBS配置和数据的安全性。OBS敏感操作清单请参见敏感操作。 父主题:
删除桶策略 功能说明 删除桶策略。 命令结构 Windows操作系统 obsutil bucketpolicy obs://bucket -method=delete [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统
查看命令帮助 功能说明 查看工具支持的命令,或查看某个具体命令的帮助文档。 命令结构 Windows操作系统 obsutil help [command] macOS/Linux操作系统 ./obsutil help [command] 运行示例 以Windows操作系统为例,运行obsutil
设置桶策略 功能说明 设置桶策略。 命令结构 Windows操作系统 obsutil bucketpolicy obs://bucket -method=put -localfile=xxx [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
获取桶策略 功能说明 获取桶策略。 命令结构 Windows操作系统 obsutil bucketpolicy obs://bucket -method=get [-localfile=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
列举失败结果清单文件 功能说明 按最后修改时间列举指定文件夹中cp命令及sync命令生成的失败结果清单文件。 命令结构 Windows操作系统 obsutil ls -failed [-limit=1000] [-o=xxx] macOS/Linux操作系统 ./obsutil ls
ak = os.getenv("AccessKeyID") sk = os.getenv("SecretAccessKey") # 【可选】如果使用临时AKSK和SecurityToken访问OBS,则同样推荐通过环境变量获取 # security_token = os.getenv("SecurityToken")
下载和安装obsutil 下载地址 针对不同操作系统,obsutil的下载地址如表1所示。 表1 下载地址 操作系统 软件包下载地址 SHA256校验和 Windows 64位 obsutil_windows64 46440850e63600b31888f2c7c8e79db99
日志级别 当系统出现问题需要定位且当前的日志无法满足要求时,可以通过修改日志的级别来获取更多的信息。SDK提供了代表日志级别的枚举常量以设置不同的日志级别,具体说明如下: 表1 LogLevel 常量名 原始值 说明 OFF off 关闭级别,如果设置为这个级别,日志打印功能将被关闭。
查询对象属性 功能说明 查询对象的基本属性。 命令结构 Windows操作系统 obsutil stat obs://bucket/key [-acl][-bf=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统
对于原本使用本地文件系统存储数据的用户,希望把数据存储在OBS上但不改变数据的访问方式,推荐使用s3fs。 s3fs是一款基于用户空间文件系统(Filesystem in Userspace,简称FUSE)的文件系统工具,支持您在Linux系统中,将OBS对象桶挂载到本地文件系统,让您能够
您即将访问非华为云网站,请注意账号财产安全