检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在文件系统列表中,单击创建资源中创建的HPC型文件系统,进入文件系统详情页面。 进入页签“绑定后端存储”,单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS目标”中,填写如下表所示参数。 表1 绑定OBS目标配置参数 参数 含义 限制 配置后可编辑 路径名称 SFS Turbo文件系统根目录下会以该
SDK) 功能说明 元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前仅支持系统定义的元数据。系统定义的元数据又分为两种类别:系统控制和用户控制。 对指定桶中的对象发送HEAD请求,获取对象的元数据信息。 接口约束 您必须是桶拥有者或拥有获取对
为obsutil配置HTTP代理 您可以通过如下两种方式配置HTTP代理。 方式一,通过配置文件.obsutilconfig中的proxyUrl参数,示例:proxyUrl=http://username:password@your-proxy:8080; 方式二,通过系统环境变量HT
SDK) 功能说明 元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前仅支持系统定义的元数据。系统定义的元数据又分为两种类别:系统控制和用户控制。 对指定桶中的对象发送HEAD请求,获取对象的元数据信息。 接口约束 您必须是桶拥有者或拥有获取对
SDK) 功能说明 元数据(Metadata)为描述对象属性的信息,是一组名称值对,用作对象管理的一部分。 当前仅支持系统定义的元数据。系统定义的元数据又分为两种类别:系统控制和用户控制。 对指定桶中的对象发送HEAD请求,获取对象的元数据信息。 接口约束 您必须是桶拥有者或拥有获取对
桶内的文件夹路径,支持多级文件夹,以“/”分隔。 folder_url 在本地文件系统路径中创建文件夹时必选 本地文件系统中的文件夹路径,支持绝对路径和相对路径。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户
高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务,训练速度加快可以节省AI算力费用。 文件系统使用空间不足,可以扩容吗? SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS
您需要更高安全性,可以开启服务端加密功能。 防止误删等操作:OBS控制台支持敏感操作保护,开启后执行删除桶等敏感操作时,系统会进行身份验证,进一步保证OBS配置和数据的安全性。OBS敏感操作清单请参见敏感操作。 父主题: 数据安全、迁移和备份
Bad Request CustomDomainAreadyExist 配置了已存在的域。 已经配置过了,不需要再配置。 400 Bad Request CustomDomainNotExist 删除不存在的域。 未配置或已经删除,无需删除。 400 Bad Request EntityTooLarge
Bad Request CustomDomainAreadyExist 配置了已存在的域。 已经配置过了,不需要再配置。 400 Bad Request CustomDomainNotExist 删除不存在的域。 未配置或已经删除,无需删除。 400 Bad Request EntityTooLarge
ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一个用户可以同时拥有多个接入键标识。对象存储服务系统通过接入键标识识别访问系统的用户。 SK:Secret Access Key,安全接入键,用户在对象存储服务系统中的安全接入键,是用户访问对象存储服务系统的密钥,用户
利用crontab配置定时任务 操作场景 示例场景:每天21:30进入/root目录下,执行增量上传/src/src1文件夹到obs://bucket-test桶内。 前提条件 必须在Linux操作系统下,并且正常开启了crond(定时任务计划)服务。如果是windows用户请参考配置windows定时任务。
ttp头大小。可尝试设置系统环境变量解决。 以Windows 10 64位系统为例,步骤如下: 进入系统页面,路径为“Windows 设置 > 系统 > 关于”。 单击页面中“高级系统设置”,会弹出“系统属性对话框”,单击“环境变量”。 在用户变量或者系统变量中,单击“新建”,变
本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用obsutil命令行工具之前,您需要拥有一个华为账号并实名认证、为账号充值,然后下载并安装obsutil命令行工具,并获取访问密钥。
更新配置文件 功能说明 更新配置文件(.obsutilconfig)中的部分配置信息,可更新的配置包括:endpoint、ak、sk、token。 关于配置文件(.obsutilconfig)中参数的详细说明,请参见配置参数说明。 命令结构 Windows操作系统 交互模式更新配置
使用建议 对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败,建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名} 给目录配置生命周期规则,通过生命周期后台删除。
推荐使用的HarmonyOS版本:API 12及以上版本。 其他使用前须知 本文档是与OBS SDK配套的参考文档,为了您能更好的使用Harmony SDK,推荐前往下载与安装SDK(Harmony SDK)下载最新版本的Harmony SDK。 请确认您已经熟悉OBS的基本概念,如桶(Bucket)、对象(Ob
eSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。