检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Authorization2 Authorization Range Date 创建用于数据回源的委托 在OBS控制台“创建数据回源规则”对话框,单击“查看委托”,进入“统一身份认证服务”控制台“委托”页面。 单击“创建委托”,进行委托创建。 输入“委托名称”。 “委托类型”选择“云服务”。
在“我的凭证”页面,单击左侧导航栏的“访问密钥”。 在“访问密钥”页面,单击“新增访问密钥”。 每个用户最多可创建两个有效的访问密钥。 在弹出的“新增访问密钥”对话框中,输入登录密码和对应验证码。 用户如果未绑定邮箱和手机,则只需输入登录密码。 用户如果同时绑定了邮箱和手机,可以选择其中一种方式进行验证。
存算分离,资源利用率高 GPU/NPU算力和SFS Turbo存储解耦,各自按需扩容,资源利用率提升。 2 SFS Turbo高性能,加速训练过程 训练数据集高速读取,避免GPU/NPU因存储I/O等待产生空闲,提升GPU/NPU利用率。 大模型TB级Checkpoint文件秒级保存和加载,减少训练任务中断时间。
对象”页面。 在左侧导航栏,单击“概览”,进入“概览”页面。 在“基础配置”区域下,单击“WORM保留策略”卡片,系统弹出“配置保留策略”对话框。 选择“配置”,保留策略默认为“合规模式”,输入默认保留期。 保留策略当前仅支持合规模式,即任何用户在保留期内都不能删除受保护的对象版本,或更改其保留模式。
符,需要客户端自行做编解码处理,可以采用URL编码或者Base64编码,服务端不会做解码处理。例如x-obs-meta-中文:中文 经URL编码后发送,“中文”的URL编码为:%E4%B8%AD%E6%96%87,则响应为x-obs-meta-%E4%B8%AD%E6%96%87:
bsutil工具,详见上传对象。 操作步骤 登录OBS Browser。 单击待上传文件或文件夹的桶。 单击“上传”,系统弹出“上传对象”对话框,如图1所示。 您可以选择文件上传,详见4;也可以选择文件夹上传,详见5。 图1 上传对象 单击“选择文件”,打开本地浏览框。选择待上传文件后,单击“打开”。
删除文件或文件夹 用户可根据需要删除已有文件或文件夹。 背景信息 删除文件夹时,文件夹内的文件也将同时被删除,请务必确认这些文件可以被删除。 删除无用的文件或文件夹可节省空间和成本。 用户上传到OBS的某些文件,可能需要定期删除,对于这类删除文件的场景,可通过OBS的生命周期管理
目录分享 如果您想将一个文件夹分享给其他人,同时希望能够指定有效期,OBS Browser+提供文件夹分享和授权码登录的功能,轻松为你完成数据分享。 首先,您登录OBS Browser+后,选择您要分享的目录右键或者单击操作栏的分享按钮。 然后,选择分享链接的有效期,并输入提取码
或您可以直接在左侧导航栏单击“基础配置>静态网站托管”,进入“静态网站托管”界面。 单击“配置静态网站托管”,系统弹出“配置静态网站托管”对话框。 打开“状态”开关。 “托管模式”选择“重定向请求”,如图1所示。在“重定向页面”中输入桶访问域名或URL。 图1 配置重定向请求 单击“确定”。
由于HTTP编码规范限制,无法发送非ASCII码字符,SDK会在发送请求时对您头域中的中文汉字进行url编码,发送编码后数据。如您设置的值content-disposition为attachment; filename="中文.txt",则对象元数据中存储的信息为attachment; file
由于HTTP编码规范限制,无法发送非ASCII码字符,SDK会在发送请求时对您头域中的中文汉字进行url编码,发送编码后数据。如您设置的值content-disposition为attachment; filename="中文.txt",则对象元数据中存储的信息为attachment; file
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
DataX对接OBS 概述 DataX是一个数据同步框架,实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDF
由于HTTP编码规范限制,无法发送非ASCII码字符,SDK会在发送请求时对您头域中的中文汉字进行url编码,发送编码后数据。如您设置的值content-disposition为attachment; filename="中文.txt",则对象元数据中存储的信息为attachment; file
Cloudera CDH对接OBS 部署视图 安装版本 硬件:1Master+3Core(配置:8U32G,操作系统:CentOS 7.5) 软件:CDH 6.0.1 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBS
单击页面右上角的用户名,并选择“我的凭证”。 在“我的凭证”页面,单击左侧导航栏的“访问密钥”。 在“访问密钥”页面,单击“新增访问密钥”。 在弹出的“新增访问密钥”对话框中,输入登录密码和对应验证码。 用户如果未绑定邮箱和手机,则只需输入登录密码。 用户如果同时绑定了邮箱和手机,可以选择其中一种方式进行验证。
我可以在线编辑OBS中的对象吗? OBS是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 一般情况下,OBS不支持在线编辑对象内容。可以把对象下载到本地,修改后再重新上传至OBS。 针对以下特殊场景,OBS支持在线对对象进行处理: 修改对象元数据
上传对象简介(Python SDK) 上传对象到指定桶中。在OBS中,用户操作的基本数据单元是对象。OBS Python SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 文本上传:使用字符串作为对象的数据源。 流式上传:使用包含“read”属性的可读对象作为对象的数据源。
统计文件夹中的对象数量和大小 如果您需要统计桶中文件夹的大小及其所含对象数量,可以使用文件夹统计功能。 统计文件夹大小会收取“列举桶内对象”接口的调用费用,详情请参考计费说明。 约束与限制 支持统计对象数量在100万以内的文件夹,对象数量超过100万的文件夹建议使用obsutil工具的列举对象命令进行统计。
约束与限制 本章介绍OBS的性能指标和使用限制。 访问带宽和QPS 表1 访问带宽和QPS限制 限制项 说明 带宽 单个华为云账号默认的读写(GET/PUT)带宽上限是16Gbit/s。如果带宽达到该阈值,请求会触发流控。 如果您的业务有更大的带宽需求,请提交工单申请。 每秒请求数(Query