检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用前需知(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 请确认您已经熟悉OBS的基本概念,如桶(Bucket)、对象(Object)、访问密钥(AK和SK)等。 您可以先参考OBS客户端通用示例,了解OBS
什么是并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,旨在为基于对象存储服务作为统一数据湖存储的大数据场景提供解决方案。并行文件系统提供毫秒级别访问时延、T
部门管理员和用户都属于IAM用户,需要使用企业账号创建,部门用户也可以使用部门管理员创建。本例中需要分别为A、B部门创建一个管理员,并根据各部门的实际用户数创建用户。 由于部门管理员需要执行创建用户、创建桶、配置桶策略等操作,因此需要将部门管理员加入“admin”用户组。部门用户在本例中不需要在IAM授
对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。 分段上传分为如下3个步骤: 初始化分段上传任务。 逐个或并行上传段。 合并段或取消分段上传任务。
询创建桶命令的帮助文档为例,详细的步骤如下: 使用obsutil help命令查看当前支持的所有命令列表。 根据命令列表中的文档说明,找到需要查看的命令缩写,例如创建桶命令缩写为mb。 使用obsutil help mb命令,查看mb命令的使用方式和详细功能,如下图: 摘要:
样式是将图片处理对图片设置的参数或界面操作设置保存成的一个集合。在对多张图片进行重复相同设置时,可以先创建一个图片样式,在不同的图片套用图片样式,就不需要进行重复的命令操作。 每个桶最多支持创建100个样式。 Exif信息 Exif(Exchangeable Image File)是“可交换
获取多版本对象权限(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 可以通过ObsClient.getObjectAcl接口指定VersionId参数获取多版本对象的访问权限,接口定义请参见获取对象ACL(Node
设置多版本对象权限(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 功能介绍 可以通过ObsClient.setObjectAcl接口指定VersionId参数设置多版本对象的访问权限,接口定义请参见设置对象ACL(Node
如何对OBS桶下面的文件夹进行权限控制? 可以创建自定义桶策略,允许对指定的对象前缀配置需要的权限,即通过对象前缀来控制指定的文件夹。 例如:配置前缀为abc/,则表示所配置权限对文件夹abc生效。 具体配置请参考自定义创建桶策略(可视化视图)。 父主题: 权限相关
开源的大数据组件对接。当您使用开源的大数据组件时,可参考支持的大数据组件简介完成与OBS对接。 (可选)如果您的数据仍存储在本地HDFS,需要先将数据迁移到华为云OBS中。详情请参见迁移HDFS数据至OBS。 父主题: 大数据场景下使用OBS实现存算分离
logging.bucket3 此Policy作用的目标桶,需根据用户需要设置的实际桶名修改。 219d520ceac84c5a98b237431a2cf4c2 账户的“账户ID”,需根据实际需要修改。“账户ID”可通过单击目标桶后的图标,在弹出的“基本信息”页面获取。 71f3901173
配置CDN回源,并购买回源流量包,计费未走回源流量包 请检查购买的回源流量包和CDN回源源站桶是否在同一区域。 登录控制台。 在顶部导航栏单击“资源 > 我的资源”,查看购买的资源包所在区域。 登录CDN控制台,在“域名管理”中查看CDN加速域名所配置的源站OBS桶域名,根据桶域名可以判断出回源源站桶所在的区域。
其他参数保持默认,单击“确定”。 对象上传后,您可以在对象列表页查看到已上传的对象。 步骤四:下载对象 当对象上传至桶后,您可以将对象下载至本地指定路径。 在对象列表页,找到已上传的对象,单击右侧的图标。 在对话框中选择存放文件或文件夹的本地路径后,单击“确定”。 对象下载后,您可以在本地指定路径下查看到下载的对象。
进入我的凭证 在“我的凭证”界面,API凭证页签中,查看账号名、账号ID、用户名、用户ID、项目名称、项目ID。 每个区域的项目ID有所不同,需要根据业务所在的区域获取对应的项目ID。 图2 查看账号名、账号ID、用户名、用户ID、项目名称、项目ID 调用API获取用户ID、项目ID
在弹出对话框中确认容量调整信息后,单击“是”。 在文件系统列表中查看文件系统调整后的容量信息。 OBS性能监控 您可以在CES云监控服务上监控SFS Turbo关联的OBS桶的性能使用情况,SFS Turbo和OBS之间的数据导入导出速度会受OBS服务的读写带宽上限QoS影响,默认
File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,TB/s级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。 作为对象存储服务的子产品,并行文件系统支持用户按
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
策略内容 选择“允许” 选择“对象存储服务 (OBS)” 勾选“选择所有操作” 选择“所有资源” 作用范围 默认为“全局级服务” 单击“确定”,完成自定义策略创建。 创建用户组并授权。 按照IAM文档指导,将前面步骤创建的自定义策略添加到用户组中。 将需要授权的IAM用户加入到创建的用户组中,授权完成。
Turbo HPC型文件系统。 图1 创建训练作业参数 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟到几小时不等。要查看训练作
OBS各区域终端节点列表 检查是否通过内网访问OBS。 检查方法参考如何判断是否内网访问OBS?。 对于大量小文件的上传、下载,主要受TPS(单位时间内处理文件个数)影响,而非带宽。 批量上传可以增加“-j”和“-p”等参数,并将参数值调高,观察传输速度是否提高。参考性能调优最佳实践