检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
监控对象存储服务 使用场景 用户在使用OBS的过程中会不断发送PUT、GET类的请求,产生上传、下载流量,也可能会遇到服务端返回的错误响应。为使用户更好地掌握OBS桶的状态,华为云提供了云监控服务(Cloud Eye)。用户可使用云监控服务(Cloud Eye)监控自己的OBS桶
对于加密类型的对象如何使用URL进行下载?(Java SDK) 如果是SSE-KMS方式进行加密的对象,使用URL下载时服务端会自动解密。 如果对象是SSE-C方式进行加密的对象,由于解密需要设置请求头域,所以不能通过浏览器直接访问该对象。如果您是在编写代码来访问加密类型的对象,
流程简介 以下章节介绍如何使用OBS Browser来完成图1中所示的任务。 图1 OBS Browser快速入门 父主题: 入门
资源包是否必须购买?是否能指定给具体的桶使用? 资源包并不是必须要购买的,即使您没有购买也可以使用OBS服务,此时计费模式采用按需计费。但是购买资源包后,资源包可以抵扣使用OBS所产生的费用,相比不购买资源包采用按需计费的方式更优惠,因此推荐您按实际业务购买对应的资源包。 当前资
删除桶归档对象直读策略 设置镜像回源规则 获取镜像回源规则 删除镜像回源规则 设置DIS通知策略 获取DIS通知策略 删除DIS通知策略 设置在线解压策略 获取在线解压策略 删除在线解压策略 配置桶级默认WORM策略 获取桶级默认WORM策略 父主题: API
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
1及以后 Edge Edge 12及以后 Opera Opera 9.5及以后 Safari Safari 3.1及以后 父主题: OBS控制台使用相关
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
对象管理 对象概述 上传 下载对象 使用单链接限速限制下载流量 在线预览对象 管理对象 删除对象 管理文件夹
数据并将数据发送到存储系统中,具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash,例如≥7.10.2的版本,避免使用较老版本的logstash。 对接步骤 以logstash-7.10.2为例。 下载logstash-7
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
本文提供的成本预估费用仅供参考,资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
安装datax。 解压datax.tar.gz到/opt/datax目录。 在Github下载hadoop-huaweicloud:下载地址。(建议使用hadoop 2.8.3版本下最新版本的hadoop-huaweicloud版本,例如hadoop-huaweicloud-2.8.3-hw-53
port:指定HTTP端口。Presto使用HTTP来与外部和内部进行交流。 query.max-memory:查询能用到的最大总内存。 query.max-memory-per-node:查询能用到的最大单节点内存。 discovery-server.enabled:Presto使用Discovery
费用。 使用图片处理的方式 您可以使用两种方式访问图片处理。 通过管理控制台查看OBS中图片使用相应图片样式模板的图片预览效果。 用户可以在管理控制台图片处理界面通过按钮或编辑代码操作创建图片样式模板,在图片预览区域预览图片使用相应样式模板的效果,通过复制链接按钮获取使用样式后的图片URL进行使用。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
OBS存储资源包使用超量后是否会限制对桶的写入 不会限制。 OBS桶具有“无限容量”,超出存储资源包部分会自动转为按需计费,或者您可以升配资源包、继续叠加购买资源包。叠加购买资源包的方法,请参考资源包叠加购买。 升配资源包的方法,请参考资源包升配。 父主题: 计费相关
ue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.HeadObject来判断指定的对象是否存在。以下代码展示了如何使用: // 初始化配置参数 ObsConfig config = new ObsConfig();