正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用账号登录时,界面提示“账号或者密码错误” 在使用OBS Browser+过程中,如果使用账号登录时提示“登录认证失败,账号或者密码错误”,可能原因如下: 账号密码输入错误,请检查您的账号密码是否输入正确。 如果确认输入的账号密码无误,则可能的原因是您使用的账号为华为账号而非华
OBS在每个区域都提供独立的二级域名,访问OBS服务既可以使用OBS提供的域名,也可以使用自定义域名。 本文档所有示例和描述中使用的域名,均以华北-北京四(cn-north-4)区域的域名为例。实际使用过程中,请以业务的实际情况为准。 父主题: 使用前必读
Windows系统 前提条件 在使用本工具前,您需完成注册华为帐号并开通华为云,开通OBS,并创建一个可用的桶。 已下载obsftp工具。 工具下载地址:https://github.com/huaweicloud-obs/obsftp 在Windows上使用此工具前需要您先完成Python安装。
面向AI场景使用OBS+SFS Turbo的存储加速实践 方案概述 资源和成本规划 操作流程 实施步骤 常见问题
使用obsutil实现客户端跨区域复制 obsutil支持使用客户端跨区域复制模式进行复制,即通过数据流的方式从源桶直接复制数据到目标桶,且两个桶可以是任意两个OBS服务的桶;借助客户端跨区域复制模式即可实现相同账户下不同区域桶或不同账户间桶内对象的复制;跨账号复制对象具体步骤如下:
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
系统默认勾选“自动检测软件新版本”,每次登录OBS Browser时,都会自动检查软件当前版本是否为最新版本。用户仅需根据界面提示更新软件即可。 如果用户登录OBS Browser后,单击页面右上角的,选择“系统配置”并单击“其他”,取消勾选“自动检测软件新版本”,则可根据如下步骤手动更新OBS
源的计费模式。 按需计费 OBS服务默认为按需计费模式,即按实际使用的时长收费,以小时为单位,每小时整点结算,不设最低消费标准。详细信息请参见按需计费。 包年包月 您也可以通过包年包月(资源包)的方式,提前购买使用额度和时长,获取更多的优惠。超出资源包的部分自动转按需计费。详细信息请参见资源包概述。
全、可靠。OBS按照使用量付费,使得成本易于预测。 Commvault、爱数云备份服务(AnyBackup Cloud)等第三方备份软件,都支持对接OBS进行数据备份。通过这些备份软件,用户可以根据自身需求制定合适的备份策略,达到安全、高效的备份目的。 使用Commvault备份本地SAP
Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题: 大数据场景下使用OBS实现存算分离
支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
创建ObsClient实例 $obsClient = new ObsClient([ //推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险。 //您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
单击“上传”,并选择“添加文件”或“添加文件夹”,如图1所示。 图1 上传文件或文件夹 使用“添加文件”功能上传对象时,为了更好的体验,建议您最多同时选择100个文件进行上传,如果超过此限制,建议将多个文件放在文件夹中,然后使用“添加文件夹”功能进行上传。 如果上传文件时弹出“Service Un
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
初始化配置 使用obsutil之前,您需要配置obsutil与OBS的对接信息,包括OBS终端节点地址(Endpoint)和访问密钥(AK和SK)。获得OBS的认证后,才能使用obsutil执行OBS桶和对象的相关操作。 前提条件 已下载obsutil软件包,具体请参见下载和安装obsutil。
初始化obsfs 在使用obsfs之前,需要将访问密钥(AK和SK)信息写入密钥文件,方便在使用并行文件系统时对使用者的身份进行验证。 本章节以将访问密钥信息写入“/etc/passwd-obsfs”文件为例,介绍具体的操作步骤。 前提条件 已获取访问密钥(AK和SK),具体操作请参见资源准备。