检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FS文件系统的相关接口实现,让大数据计算引擎(Hive、Spark等)可以将OBS作为HDFS协议的底层存储。 图2 存算分离方案中的OBSFileSystem OBS服务支持对象存储桶(对象语义)和并行文件系统(POSIX文件语义),在大数据场景下建议选择并行文件系统。并行文件
该类型记录集仅支持设置为“否”。 否 线路类型 解析的线路类型用于DNS服务器在解析域名时,根据访问者的来源,返回对应的服务器IP地址。 默认值为“全网默认”。 仅支持为公网域名的记录集配置此参数。 全网默认:默认线路类型,当未根据访问者来源设置解析线路时,系统会返回默认解析结果。 运营商线路解析:根据访问
SDK下载 SDK源码和API文档 OBS BrowserJS SDK最新版本源码:最新源码下载 OBS BrowserJS SDK历史版本下载地址:历史版本下载 OBS BrowserJS SDK API文档:OBS BrowserJS SDK API参考 兼容性 版本修订记录信息:ChangeLog。
workflowClient = WorkflowClient( access_key_id=os.getenv("AccessKeyID"), secret_access_key=os.getenv("SecretAccessKey"), server='https://your-endpoint'
命令结构 Windows操作系统 obsutil clear [checkpoint_dir] [-u] [-d] [-c] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil clear
Turbo”。 在文件系统列表中,单击要扩容的文件系统所在行的“容量调整”或“扩容”,弹出对话框。 图1 SFS Turbo HPC型容量调整 根据业务需要,在“新容量”文本框中重新设置文件文系统的容量。 在弹出对话框中确认容量调整信息后,单击“是”。 在文件系统列表中查看文件系统调整后的容量信息。
桶 桶(Bucket)是OBS中存储对象的容器。对象存储提供了基于桶和对象的扁平化存储方式,桶中的所有对象都处于同一逻辑层级,去除了文件系统中的多层级树形目录结构。 每个桶都有自己的存储类别、访问权限、所属区域等属性,用户可以在不同区域创建不同存储类别和访问权限的桶,并配置更多高级属性来满足不同场景的存储诉求。
obsClient.Close() } } 当应用程序部署在ECS服务器上且该ECS绑定了相关委托项时,可以采用以上方式从ECS服务器上自动获取临时访问密钥。 使用链式方式从系统环境变量及ECS上获取访问密钥创建OBS客户端的代码如下: 1 2 3 4 5
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户
如何查看桶内的文件夹大小? 可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du -limit=0命令,查询桶bucket-test下test文件夹的大小。
高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS
当第三方用户没有上传权限的时候,可以临时授权给第三方用户临时访问OBS服务,在授权有效期内实现对象上传。例如,部分企业拥有自己的用户管理系统,用户管理系统中的用户包括终端APP用户、企业本地用户等,这部分用户并不具有IAM用户的权限,通过授予其临时访问密钥来访问OBS。 授权方式有以下两种:
对深度归档存储对象执行DELETE类操作产生的请求费用。 并行文件系统GET类请求 pfs_get 请求费用 对并行文件系统执行GET类操作产生的请求费用。 并行文件系统PUT类请求 pfs_put 请求费用 对并行文件系统执行PUT类操作产生的请求费用。 并行文件系统DELETE类请求 pfs_delete
ttp头大小。可尝试设置系统环境变量解决。 以Windows 10 64位系统为例,步骤如下: 进入系统页面,路径为“Windows 设置 > 系统 > 关于”。 单击页面中“高级系统设置”,会弹出“系统属性对话框”,单击“环境变量”。 在用户变量或者系统变量中,单击“新建”,变
示例场景:每天21:30进入/root目录下,执行增量上传/src/src1文件夹到obs://bucket-test桶内。 前提条件 必须在Linux操作系统下,并且正常开启了crond(定时任务计划)服务。如果是windows用户请参考配置windows定时任务。 运行service crond
用于是否将此记录集关联至云服务资源实例。 否 线路类型 用于DNS服务器在解析域名时,根据访问者的来源,返回对应的服务器IP地址。 添加解析线路类型时,切记先添加默认线路类型,以保证网站可访问。 全网默认 TTL(秒) TTL指解析记录在本地DNS服务器的有效缓存时间。如果您的服务地址经常更换,建议TTL值设置相对小些,反之,建议设置相对大些。
传任务。 操作步骤 登录OBS Browser+。 选中待删除的桶,单击“删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。 单击确认框中的“是”后,删除该桶。 父主题: 桶的基本操作
GET:请求服务器返回指定资源,如获取桶列表、下载对象等。 PUT:请求服务器更新指定资源,如创建桶、上传对象等。 POST:请求服务器新增资源或执行特殊操作,如初始化上传段任务、合并段等。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器返回指定资源的概要,如获取对象元数据等。
桶是OBS全局命名空间,相当于数据的容器、文件系统的根目录,可以存储若干对象。以下代码展示如何新建一个桶: 桶的名字是全局唯一的,所以您需要确保不与已有的桶名称重复。 桶命名规则如下: 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。 禁止使用类IP地址。 禁止以“-”或“.”开头及结尾。
创建文件夹 功能说明 在指定桶内或本地文件系统中创建文件夹。 创建重名文件夹,不会报错,且文件夹内已存在的内容不发生变化。 命令结构 Windows操作系统 在指定桶内创建文件夹 obsutil mkdir obs://bucket/folder[/subfolder1/subfolder2]