检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在文件系统列表中,单击创建资源中创建的HPC型文件系统,进入文件系统详情页面。 进入页签“绑定后端存储”,单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS目标”中,填写如下表所示参数。 表1 绑定OBS目标配置参数 参数 含义 限制 配置后可编辑 路径名称 SFS Turbo文件系统根目录下会以该
查看桶日志配置 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient->getBucketLogging查看桶日志配置。 本示例用于查看桶名为“bucketname”的日志配置。
obsutilconfig配置文件 -> 系统环境变量 -> ECS弹性云服务器中尝试获取可用的访问密钥。 配置方式 启用链式自动获取访问密钥功能。 将.obsutilconfig配置文件中的autoChooseSecurityProvider配置为true。 配置obsutil获取访问密钥的方法。
S支持CORS规范,允许跨域请求访问OBS中的资源。 调用删除桶的CORS配置接口,您可删除指定桶的跨域资源共享规则。 接口约束 您必须是桶拥有者或拥有删除桶的CORS配置的权限,才能删除桶的CORS配置。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:bucket
元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前支持系统定义的元数据和自定义元数据。 系统定义的元数据又分为两种类别:系统控制和用户控制。如Last-Modified日期等数据由系统控制,不可修改;如为对象配置的ContentLanguage,用户可以通过接口进行修改。
K是否匹配。 配置的权限不正确 请参考检查配置的权限是否正确。 配置了拒绝访问的权限 请参考检查是否配置了拒绝访问的权限。 配置了防盗链 请参考配置防盗链修改白名单Referer/黑名单Referer。 账户余额不足 请根据所需费用给账户充值后再进行操作。 检查配置的权限是否正确
资源成本及规划 最佳实践中涉及的资源如下: 表1 资源说明 资源 资源说明 弹性云服务器(ECS) Windows系统:需安装OBS Browser+ Linux系统:需安装obsutil 对象存储服务(OBS) OBS作为数据存储资源池,以减轻服务器负担。 须知: 确保待访问的OB
最后修改时间排序,支持前1000个文件按照时间排序。如果并行文件系统内文件数量超过5000条,文件列表按照英文单词在字典中的先后顺序进行排序,且只支持按文件名的前缀搜索。 图1 文件列表页 父主题: 并行文件系统
List相关配置,控制线程池参数corePoolSize fs.obs.list.threads.max 60 否 List相关配置,控制线程池参数maximumPoolSize fs.obs.list.workqueue.capacity 1024 否 List相关配置,控制线程池参数BlockingQueue的容量
更新配置文件 功能说明 更新配置文件(.obsutilconfig)中的部分配置信息,可更新的配置包括:endpoint、ak、sk、token。 关于配置文件(.obsutilconfig)中参数的详细说明,请参见配置参数说明。 命令结构 Windows操作系统 交互模式更新配置
如何对OBS进行访问权限控制? IAM权限和桶策略访问控制有什么区别? 在IAM配置OBS系统权限后仍然提示拒绝访问,请检查相应权限 给IAM用户配置了桶读写权限,登录控制台仍然提示拒绝访问,请检查相应权限 已配置OBS权限,仍然无法访问OBS(403 AccessDenied)
S支持CORS规范,允许跨域请求访问OBS中的资源。 调用获取桶的CORS配置接口,您可获取指定桶的跨域资源共享规则。 接口约束 您必须是桶拥有者或拥有获取桶的CORS配置的权限,才能获取桶的CORS配置。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:bucket
eSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。
求访问OBS中的资源。 调用设置桶的CORS配置接口,您可设置指定桶的跨域资源共享规则,以允许客户端浏览器进行跨域请求。如果原规则存在则覆盖原规则。 接口约束 您必须是桶拥有者或拥有设置桶的CORS配置的权限,才能设置桶的CORS配置。建议使用IAM或桶策略进行授权,如果使用IA
管理控制台是网页形式的。通过管理控制台,您可以使用直观的界面进行相应的操作。 桶操作 管理桶 配置跨区域复制 配置生命周期规则 绑定自定义域名 配置静态网站托管 配置跨域资源共享 配置防盗链 对象操作 管理对象 处理图片 并行文件系统操作 创建并行文件系统 06 SDK 对象存储服务提供Java、Python、C等
oud的安装和配置方法,完成OBS相关配置。 使用示例 以迁移HDFS上的“/data/sample”目录为例,执行以下命令查看HDFS文件系统上此目录下的文件与目录。 hadoop fs -ls hdfs:///data/sample 执行以下命令,将HDFS文件系统上“/da
据需要修改客户端初始化配置参数。 通过构造函数创建 永久访问密钥(AK/SK)创建OBS客户端代码如下: // 引入obs库 // 使用npm安装 const ObsClient = require("esdk-obs-nodejs"); // 使用源码安装 // var ObsClient
并行文件系统是否支持挂载到Windows服务器? 并行文件系统当前仅支持通过obsfs工具挂载至Linux服务器,暂不支持挂载至Windows服务器。 并行文件系统挂载至Linux服务器,具体请参见挂载并行文件系统。 父主题: OBS Browser+和obsutil等工具相关
约束: 当按前缀配置时,如果指定的前缀名与某条已配置的生命周期规则指定的前缀名存在包含关系,OBS会将两条规则视为同一条,而禁止您配置本条规则。例如,系统中已存在指定前缀名为“abc”的规则,则不允许再配置指定前缀以“abc”字段开头的规则。 如果已存在按前缀配置的生命周期规则,则不允许再新增配置到整个桶的规则。
为obsutil配置HTTP代理 您可以通过如下两种方式配置HTTP代理。 方式一,通过配置文件.obsutilconfig中的proxyUrl参数,示例:proxyUrl=http://username:password@your-proxy:8080; 方式二,通过系统环境变量HT