检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
截断对象 功能介绍 截断对象操作是指将指定文件桶内的一个对象截断到指定大小。 目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。 请求消息样式 PUT /ObjectName?truncate&length=Length HTTP/1.1 Host:
只能在ECS/BMS中挂载使用,不能被操作系统应用直接访问,需要格式化成文件系统进行访问。 在ECS/BMS中通过网络协议挂载使用,支持NFS和CIFS的网络协议。需要指定网络地址进行访问,也可以将网络地址映射为本地目录后进行访问。 使用场景 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
为什么我运行了百万级别的任务后,感觉任务执行较慢? 这是因为: OBS Browser+中任务数量达到了百万级别及以上,系统会处于海量查找的状态中,对您机器的性能要求比较高。 建议您: 为了提升您的体验,建议清理历史任务数据。 清理方法是在任务管理窗口,选中已完成任务然后删除,如图1所示。
√ 并行文件系统 并行文件系统(Parallel File System)是OBS提供的一种经过优化的高性能文件系统,提供毫秒级别访问时延,以及TB/s 级别带宽和百万级别的IOPS,能够快速处理高性能计算(HPC)工作负载。您可以按照标准的OBS接口读取并行文件系统中的数据,也
查询账单时,为什么会有大量的公网流出流量? 根据账单的使用量类型来区分,OBS的公网流出流量主要包含标准存储公网流出流量、低频访问存储公网流出流量、归档存储公网流出流量、深度归档存储公网流出流量。 这几种公网流出流量产生的流量费用来源如下: 标准存储公网流出流量:通过互联网下载标
查询华为云算子模板列表 功能介绍 本接口用于查询已有预置Action模板列表。 请求消息样式 GET /v2/actiontemplates/{template_name_prefix}?x-workflow-category={category}&x-workflow-prefix
OBS会不会扫描我的数据用于其他用途? 不会。 系统对数据做的扫描仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),不会读取具体的内容。 父主题: 数据安全、迁移和备份
access_key_id=os.getenv("AccessKeyID"), secret_access_key=os.getenv("SecretAccessKey"), server='https://your-endpoint' ) # 查询工作流实例列表 try:
如果待下载的对象名匹配该参数,则跳过该对象的复制。 须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于对象全路径(含从根路径开始的对象前缀和对象名,例如,桶内对
管理”对话框中显示。 单击“确定” 在OBS Browser右上角,单击选择账号即可登录。 后续处理 OBS Browser的“系统配置”,请参见系统配置。 如果希望通过OBS Browser管理多个账号拥有的对象,可单击账号名,并选择“账号管理”添加多个账号信息。单击想要登录的
删除对象后无法恢复,请谨慎使用。 使用建议 对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败,建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名} 给目录配置生命周期规则,通过生命周期后台删除。
如果待上传的文件名匹配该参数,则跳过该文件的上传。 须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于文件全路径(含文件名和文件目录)。 该匹配模式不适用于文件夹。
如果待复制的对象名匹配该参数,则跳过该对象的复制。 须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于对象全路径(含从根路径开始的对象前缀和对象名,例如,桶内对
文件数据内容。 登录SFS管理控制台。 在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。 父主题: 基本配置
Browser更新的方法。 操作步骤 系统默认勾选“自动检测软件新版本”,每次登录OBS Browser时,都会自动检查软件当前版本是否为最新版本。用户仅需根据界面提示更新软件即可。 如果用户登录OBS Browser后,单击页面右上角的,选择“系统配置”并单击“其他”,取消勾选“自
服务论坛中发帖求助。 您可以通过调用truncate_object来对对象进行截断操作,truncate_object接口只适用于并行文件系统的桶,对象桶该接口不支持。 参数描述 字段名 类型 约束 说明 option 请求桶的上下文,配置option 必选 桶参数。 key char
为云对象存储服务论坛中发帖求助。 您可以通过rename_object来修改对象名和目录名,rename_object接口只适用于并行文件系统,对象桶该接口不支持。 参数描述 字段名 类型 约束 说明 option 请求桶的上下文,配置option 必选 桶参数。 key char
网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo HPC型文件系统 创建SFS Turbo文件系统,文件系统类型选择“HPC型”,操作指导请参考创建SFS Turbo文件系统。 创建OBS桶 创建OBS桶,存储类别为“标准存储”,桶策略为“私有”,操作指导请参考创建OBS桶。
obsutil工具本身的列举相关操作不支持直接将结果保存在本地文件,但是可以通过操作系统提供的重定向操作实现将列举结果从屏显的标准输出重定向到指定的本地结果文件中;以列举桶内对象为例: Windows操作系统(在命令行cmd下执行该重定向操作) obsutil ls obs://bucketName