检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
通过控制台快速使用OBS 控制台是网页形式的操作平台，提供更直观的界面操作，简单易上手。 本章节以上传对象至“test-example-bucket”桶为例，帮助您通过控制台快速使用OBS的基础功能，包括创建桶、上传对象、下载对象、分享对象。
打开日志文件obssdk.log文件，查看最近日志，可看到关键报错信息如下所示： 可按照以下步骤排查解决问题： 检查本地DNS服务器是否填写有误，查看windows平台的DNS服务配置步骤如下。
此外，对象存储服务OBS提供了OBSFileSystem插件（OBSA-HDFS），可与上层大数据平台无缝对接，实现业务零改造。
表1 下载列表 支持平台 软件包下载地址 SHA256校验和 Windows x32 OBSBrowserPlus-win32 1ad44933c34668cd24bb9460de48dc94045ab0b1b5830c5c8e06e01612bce1a5 Windows x64
日志分析(Java SDK) 日志开启方式 将OBS SDK包中的log4j2.xml文件放到classpath根目录； 或者调用Log4j2Configurator.setLogConfig直接指定log4j2.xml文件的路径。 您可以从OBS Java SDK的发布软件包中获取默认的日志配置文件
摄像头拍摄的监控视频通过公网或专线传输至华为云，在弹性云服务器ECS和弹性负载均衡ELB组成的视频监控处理平台将视频流切片后存入OBS，后续再从OBS下载历史视频对象传输到观看视频的终端设备。
删除桶(Java SDK) 功能说明 桶为空时，用户可以删除桶，以免占用桶数量配额。删除桶后需要等待30分钟才能创建同名桶。 华为云无法恢复用户主动删除的OBS数据。因此调用接口删除桶后，桶相关数据无法恢复，请谨慎操作。 开发过程中，您有任何问题可以在github上提交issue，
OBS可以作为其他云服务的数据分析学习的数据源，例如MapReduce服务 （MapReduce Service，MRS）， AI开发平台ModelArts等。
华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。
大数据场景下使用OBS实现存算分离 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与对象存储服务OBS的对接指导，以及HDFS数据迁移至对象存储服务OBS的方案。
FunctionGraph、OBS CDN日志定时转储解决方案 基于函数工作流 FunctionGraph帮助用户定时转储CDN服务产生的日志到指定对象存储桶中 FunctionGraph、CDN、OBS 无服务器告警推送 提供一种免开发、易使用、低成本的方式，自动推送华为云的资源告警信息到您常用的通讯平台或统一告警平台
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
修改写对象 功能介绍 修改写对象操作是指将指定文件桶内的一个对象从指定位置起修改为其他内容。 目前接口仅在并行文件系统支持，创建并行文件系统的方法详见请求示例：创建并行文件系统。 请求消息样式 PUT /ObjectName?modify&position=Position HTTP
OBS的数据冗余存储方式是什么？ OBS采用Erasure Code（EC，纠删码）算法做数据冗余，不是以副本的形式存储。 在满足同等可靠性要求的前提下，EC的空间利用率优于多副本。 数据冗余存储策略为“单AZ”的桶，在AZ内的节点间使用EC算法做数据冗余；“多AZ”的桶在AZ内节点间
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS为容量型存储
实施步骤 创建资源 基本配置 训练 例行维护 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题： 实施步骤
Windows Server 2016 Linux SUSE 11 Euler OS 2 CentOS 7 macOS macOS 10.13.4 工具优势 obsutil具有四大优势： 简单、易用； 无需安装，轻便小巧，即下即用； 同时支持Windows/Linux/macOS三大平台
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
