检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
log文件，查看最近日志，可看到关键报错信息如下所示： 可按照以下步骤排查解决问题： 检查本地DNS服务器是否填写有误，查看windows平台的DNS服务配置步骤如下。 在 "控制面板" 中，查看方式选择“类别”，依次单击"网络和Internet"、“网络和共享中心”和“更改适配器设置”。
下载OBS Browser+ 针对不同操作系统，OBS Browser+下载地址如表1所示。 表1 下载列表 支持平台 软件包下载地址 SHA256校验和 Windows x32 OBSBrowserPlus-win32 1ad44933c34668cd24bb9460de48d
Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts：AI开发平台，采用多机多卡分布式训练。 VPC：虚拟私有云和子网。 算法及数据：准备AI训练需要的算法及数据集，如Swin-Transformer算法，及ImageNet21K数据集。
问题定位简介 obsutil提供多种方式帮助用户自助进行日常问题分析和定位，具体方式及其说明如表1所示。您通常需要结合多种方式以准确定位问题。 表1 问题定位方式 方式 说明 日志文件 obsutil的日志文件分为工具日志和SDK日志，工具日志可以记录obsutil在运行过程中的
code，磁盘利用率大幅提升，数据存储空间需求远低于三副本。 此外，对象存储服务OBS提供了OBSFileSystem插件（OBSA-HDFS），可与上层大数据平台无缝对接，实现业务零改造。 OBSFileSystem的主要作用：提供HDFS文件系统的相关接口实现，让大数据计算引擎（Hive、Spar
OBS提供高并发、高可靠、低时延、低成本的海量存储系统，结合媒体处理MPC、内容审核Moderation和内容分发网络CDN可快速搭建极速、安全、高可用的视频在线点播平台。 OBS作为视频点播的源站，一般的互联网用户或专业的创作主体将各类视频文件上传至OBS后，通过Moderation对视频内容进行审核，并
把数据从第三方云厂商轻松、平滑地迁移至OBS。 大数据场景下使用OBS实现存算分离 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与对象存储服务OBS的对接指导，以及HDFS数据迁移至对象存储服务OBS的方案。 数据备份 使用备份软件实现本地数据备份至OBS
Service，CTS）等。 OBS可以作为其他云服务的数据分析学习的数据源，例如MapReduce服务 （MapReduce Service，MRS）， AI开发平台ModelArts等。
FunctionGraph、CDN、OBS 无服务器告警推送 提供一种免开发、易使用、低成本的方式，自动推送华为云的资源告警信息到您常用的通讯平台或统一告警平台 ECS、EVS、OBS、CES、SMN、FunctionGraph、DEW、VPC
wget后的URL参数是安装包的下载网址，您无需适配，只需要复制并运行上方提供的命令，直接下载即可。 您也可以在一台Windows计算机上下载到软件包后，通过常见的跨平台传输工具（比如WinSCP）传输至您的Linux运行机。 在软件包所在目录，执行以下解压命令。 tar -xzvf obsutil_linux_amd64
4 工具优势 obsutil具有四大优势： 简单、易用； 无需安装，轻便小巧，即下即用； 同时支持Windows/Linux/macOS三大平台； 配置多元化，性能优良。 使用场景 自动化备份归档等场景，比如定时上传本地数据至OBS。 支持通过OBS Browser+等其他工具不能
份策略，达到安全、高效的备份目的。 使用Commvault备份本地SAP HANA SAP HANA是基于内存计算技术的高性能实时数据计算平台，多应用于需要处理大量实时业务数据的企业。备份软件Commvault，与SAP HANA 、OBS无缝集成，支持在线数据库、日志的备份。当SAP
份策略，达到安全、高效的备份目的。 使用Commvault备份本地SAP HANA SAP HANA是基于内存计算技术的高性能实时数据计算平台，多应用于需要处理大量实时业务数据的企业。备份软件Commvault，与SAP HANA 、OBS无缝集成，支持在线数据库、日志的备份。当SAP
自动分级到OBS，释放高性能存储空间用于接收新的热数据。 访问冷数据时SFS Turbo从OBS自动加载数据提升访问性能。 5 多AI开发平台、生态兼容 pytorch、mindspore等主流AI应用框架，kubernetes容器引擎、算法开发场景通过文件语义访问共享数据，无需适配开发。
0的区别 OBS存在两代架构，分别为OBS 2.0 和OBS 3.0。当前新创建桶的版本为OBS3.0，该桶内的对象也存储到OBS3.0云存储平台，以前创建的桶仍保存在OBS2.0里。 OBS的基础特性和功能在OBS 3.0和OBS 2.0都支持。但一些新特性仅在OBS 3.0支持，
自定义域名开启CDN加速；如果您还未为桶配置自定义域名，那么可以配置CDN加速域名。 CDN加速适用的场景如下： 网站加速 门户网站、电商平台、资讯APP等静态资源（如：图片、文件）遇到访问量较大或访问用户分布在全球各地的情况，使用加速功能可以加快响应速度 文件下载加速 对于有文
站、工具下载、游戏客户端、APP商店等。 通过OBS提供音视频点播业务的应用或服务。例如：在线教育类网站、在线视频分享网站、互联网电视点播平台、音乐视频点播APP等。 约束与限制 只有桶版本号为3.0及以上的桶支持此方案。桶版本号可以在OBS控制台上，进入桶对象页面后单击“概览”，在“基本信息”中查看。
通过控制台快速使用OBS 控制台是网页形式的操作平台，提供更直观的界面操作，简单易上手。 本章节以上传对象至“test-example-bucket”桶为例，帮助您通过控制台快速使用OBS的基础功能，包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用OBS之前，您需要拥有
通过控制台快速使用OBS 控制台是网页形式的操作平台，提供更直观的界面操作，简单易上手。 本章节以上传对象至“test-example-bucket”桶为例，帮助您通过控制台快速使用OBS的基础功能，包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用OBS之前，您需要拥有
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
