检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
RITE权限,才可以在桶中上传对象。同一个桶中存储的对象名必须是唯一的。 为了确保数据在传输过程中没有遭到破坏,用户可以在请求消息头中加入Content-MD5参数,OBS收到上传数据后,会对数据进行MD5校验,如果不一致则返回出错信息。 该操作支持在创建Appendable对象
节点。 使用obsutil obsutil配置成功后,便可以在Linux ECS上直接通过内网访问OBS,进行基本的数据存取操作以及其他的高级设置操作。 常见的数据存储操作请参见: 上传对象 下载对象 详细使用指南请参见对象存储服务工具指南(obsutil)。 父主题: 在ECS上通过内网访问OBS
终端用户A通过浏览器或APP发出请求数据,经DNS解析转向CDN节点。 CDN节点从OBS桶中拉取数据,OBS返回数据。 数据返回至终端用户A。 终端用户B访问同一数据,通过浏览器或APP发出请求数据,经DNS解析转向CDN节点。 经过终端用户A的访问,CDN节点有缓存数据,直接返回所需数据至终端用户B。
情况下可直接读对象的内容、对象的元数据,请谨慎操作。 图1 修改公共权限 单击“编辑”可按照需求通过勾选相应权限对拥有者、匿名用户以及其他账号赋予目标对象的ACL权限。 不能对已加密的对象设置注册用户和匿名用户的ACL权限。 单击“导出”,可导出对象ACLs权限信息,包含用户类型、账号、对象访问权限和ACL访问权限。
max_retry_count HTTP/HTTPS连接异常时的请求重试次数。默认为3次。 [1,5] socket_timeout Socket层传输数据的超时时间(单位:秒)。默认为60秒。 [10, 60] connect_timeout 建立HTTP/HTTPS连接的超时时间(单位:秒)。默认为60秒。
终端用户A通过浏览器或APP发出请求数据,经DNS解析转向CDN节点。 CDN节点从OBS桶中拉取数据,OBS返回数据。 数据返回至终端用户A。 终端用户B访问同一数据,通过浏览器或APP发出请求数据,经DNS解析转向CDN节点。 经过终端用户A的访问,CDN节点有缓存数据,直接返回所需数据至终端用户B。
配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo
使用数据回源获取源站数据 一般情况下,当客户端访问OBS时,如果OBS中没有被访问的数据,将会返回404错误。OBS提供数据回源功能,可以在被请求的数据不存在时,通过回源规则从源站获取对应数据。 镜像回源 用户为桶定义镜像回源规则后,如果客户端访问OBS桶中不存在的资源,且该资源
Allow Non-modular includes in Framework Modules”设置成“Yes”。 在需要用到OBS服务的头文件中导入OBS软件包。 #import <OBS/OBS.h> 运行Command+B命令确认OBS.framework编译通过。 常见问题 Mac
AD等。 流量费用:源端下载数据时,会产生流量费用,流量由数据的实际大小决定,费用由源端数据所在云服务商收取;数据上传至华为云OBS不收取流量费用。 对象存储迁移服务暂不支持迁移多版本的对象存储数据。 OMS同样适用于OBS桶和并行文件系统桶之间的数据迁移。 迁移流程 迁移流程如
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
bucketpolicy obs://bucket -method=get -localfile=d:\temp\policy.json,指定导出桶bucket的桶策略至本地文件policy.json。 obsutil bucketpolicy obs://bucket -method=get
ntentType为“image/jpeg”。OBS支持的ContentType类型请参见对象元数据Content-Type介绍。 您可以通过管理控制台、API和SDK来设置对象元数据ContentType。 方案二:使用OBS自定义域名+CDN方式访问 方案优劣势及约束限制说明
的ContentType类型请参见对象元数据Content-Type介绍。 您可以通过管理控制台、API和SDK来设置对象元数据ContentType。 表1 修改对象元数据 工具 参考 管理控制台 配置对象元数据 API 修改对象元数据 SDK SDK参考的设置对象属性 方案二:使用OBS自定义域名+CDN方式访问
部门/项目之间数据共享 企业不同部门/项目之间需要共享的数据,本部门/项目允许其他部门/项目用户下载共享数据,禁止写删,以降低共享数据被误删、篡改的风险。 本文以部门A共享存储在example-bucket桶中的数据给部门B的用户下载为例,介绍如何以最小权限原则对共享数据进行权限控制
华为云MapReduce服务(MRS)是华为云提供的大数据服务,可以在华为云上部署和管理Hadoop系统,一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Ha
在备份业务节点,负责直接将备份数据存储至OBS。 OBS 在备份场景下OBS负责存储备份数据,桶是OBS中存储数据的容器,最终数据都存储在OBS桶中。 一个CommCell是一个备份管理域 ,是软件的逻辑组合 ,包含获取数据 、传输数据 、管理数据和信息的所有软件组件。 备份流程
OBS的数据冗余存储方式是什么? OBS采用Erasure Code(EC,纠删码)算法做数据冗余,不是以副本的形式存储。 在满足同等可靠性要求的前提下,EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶,在AZ内的节点间使用EC算法做数据冗余;“多AZ”的桶在AZ内
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离