检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
华为云MRS对接OBS 对接步骤 配置存算分离集群。 详细操作,请参见使用委托方式配置存算分离集群。 使用存算分离集群。 详细操作,请参见使用存算分离集群。 父主题: 对接大数据平台
可选 参数解释: 并行文件系统的ACL是否向并行文件系统内对象传递,作用于并行文件系统内所有对象。 取值范围: true:是,并行文件系统ACL向并行文件系统内对象传递。 false:否,并行文件系统ACL不向并行文件系统内对象传递,仅作用于并行文件系统。 默认取值: false
并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载,主要应用于大数据场景。
查询华为云算子模板详情 功能介绍 本接口用于按名称查询Action模板。 请求消息样式 GET /v2/actiontemplates/{template_name} HTTP/1.1 Host: obs.cn-north-4.myhuaweicloud.com Authorization:
限 场景介绍 本案例介绍如何通过IAM预置的与OBS相关的系统角色和策略,为华为云账号下的多个IAM用户或用户群组授予OBS所有资源的基本操作权限。预置的系统角色和策略所支持的权限如下表所示。 表1 OBS系统权限 系统角色/策略名称 描述 类别 Tenant Administrator
Windows系统 前提条件 在使用本工具前,您需完成注册华为帐号并开通华为云,开通OBS,并创建一个可用的桶。 已下载obsftp工具。 工具下载地址:https://github.com/huaweicloud-obs/obsftp 在Windows上使用此工具前需要您先完成Python安装。
OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点。 目前接口仅在并行文件系统支持,普通对象并行文件系统不支持,如何创建并行文件系统请参考创建并行文件系统(Java SDK)。 方法定义 obsClient.renameObject(RenameObjectRequest
Linux/Unix系统 前提条件 在使用本工具前,您需完成注册华为帐号并开通华为云,开通OBS,并创建一个可用的桶。 已下载obsftp工具。 工具下载地址:https://github.com/huaweicloud-obs/obsftp 通常Linux/unix系统已安装Pyth
查询华为云算子模板列表 功能介绍 本接口用于查询已有预置Action模板列表。 请求消息样式 GET /v2/actiontemplates/{template_name_prefix}?x-workflow-category={category}&x-workflow-prefix
并行文件系统 并行文件系统概述 并行文件系统支持的特性 并行文件系统约束限制 创建并行文件系统
并行文件系统 并行文件系统挂载后,为何显示256T? 文件列表是否支持排序?
Hadoop分布式文件系统(HDFS)使用三副本保存数据,磁盘空间利用率仅33%,单盘利用率低于70%。 方案架构 针对传统企业在大数据场景面临的问题,华为云提供了基于对象存储服务OBS作为统一数据湖存储的大数据存算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分
挂载并行文件系统失败 本文根据在挂载并行文件系统时遇到的不同现象,总结了常见挂载并行文件系统失败的可能原因及解决办法。 现象一:挂载并行文件系统时出现“The specified bucket does not exist”类似错误 问题定位: 待挂载并行文件系统不存在。 解决办法:
取消挂载并行文件系统 如果不再需要通过挂载方式访问OBS并行文件系统,或者需要对已挂载并行文件系统进行参数新增、修改或删除时,可以取消挂载并行文件系统。 取消挂载并行文件系统不会影响已保存至并行文件系统中的数据。 前提条件 待取消挂载的并行文件系统目前处于挂载状态。 操作步骤 打开命令行终端。
Browser是一款运行在Windows和Mac系统上的对象存储服务客户端,方便您在个人电脑上完成对象存储管理。 OBS Browser对PC机的规格要求如表1所示: 表1 OBS Browser对PC机的规格要求 规格项 规格要求 备注 操作系统 Windows 7 Pro SP1 32-bit
管理并行文件系统(Java SDK) 创建并行文件系统(Java SDK) 列举并行文件系统(Java SDK) 列举并行文件系统内对象(Java SDK) 修改写对象(Java SDK) 重命名对象(Java SDK) 截断对象(Java SDK)
obsutil适用于Windows、Linux和macOS三大主流的操作系统,在各操作系统上推荐使用的版本如表1所示。您可以单击这里获取到obsutil在不同操作系统上的下载地址及下载方法。 表1 obsutil推荐使用的操作系统版本 操作系统 推荐使用版本 Windows Windows 7 Windows
并行文件系统相关接口(Go SDK) 创建并行文件系统(Go SDK) 列举并行文件系统(Go SDK) 列举并行文件系统内对象(Go SDK) 重命名对象(Go SDK)
并行文件系统相关接口(Harmony SDK) 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。
* arm编译环境: NAME="EulerOS" VERSION="2.0 (SP8)" ID="euleros" ID_LIKE="rhel fedora centos" VERSION_ID="2.0" PRETTY_NAME="EulerOS 2.0 (SP8)" ANSI_COLOR="0;31"