检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
公网环境下如何提高上传大文件速度?(Java SDK) 在公网环境下对于超过100MB的大文件,建议通过分段上传方式上传。 分段上传是将单个对象拆分为一系列段分别上传,每个段都是对象数据的连续部分,您可以按照任意顺序上传段。
防盗链介绍 跨域资源共享(CORS) OBS支持在桶上配置跨域规则,允许或禁止某些网站的跨域请求。 CORS介绍 父主题: 安全
在文件系统列表中,单击创建的HPC型文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。 父主题: 基本配置
拖拽上传 OBS Browser+提供强大的拖拽上传功能,您可以将本地的一个或多个文件或者文件夹拖拽到对象存储的对象列表或者并行文件系统的对象列表中;同时您也可以将文件或文件夹拖拽到指定的目录上,这样可以上传到指定的目录中。拖拽上传可以轻松便捷地帮您把本地文件上传到OBS中。
当涉及多文件/文件夹任务时,如需确认失败任务的具体错误信息,可参考结果清单文件夹下的失败结果清单文件及日志路径下的日志文件; 为了避免结果清单文件过多影响批量操作的效率,建议定期对.obsutil_output文件夹下的结果清单文件归档备份至其他文件夹下; 父主题: 问题定位
对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败,建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名}。
SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。 单击确认框中的“是”后,删除该桶。 父主题: 桶的基本操作
而不是文件流形式。
使用OBS SDK上传超过5GB的大文件失败 OBS服务端上传对象接口有规格限制,单次可上传的最大文件为5GB,如果需要上传超过5GB的大文件,需要通过OBS服务端提供的分段上传接口实现。
并行文件系统基本操作 支持并行文件系统的基本操作,包括列举并行文件系统,查询并行文件系统的基本信息、并行文件系统ACL、碎片管理、删除并行文件系统等。 并行文件系统中对象基本操作 支持并行文件系统中对象的基本操作,包括新建文件夹,上传对象,列举对象、下载对象、删除对象等。
设置桶的CORS 配置 obsClient.SetBucketCors 设置桶的跨域资源共享规则,以允许客户端浏览器进行跨域请求。 获取桶的CORS 配置 obsClient.GetBucketCors 获取指定桶的跨域资源共享规则。
Windows Server 2019 Linux SUSE 11 Euler OS 2 CentOS 7 macOS macOS 10.13.4 工具优势 obsutil具有四大优势: 简单、易用; 无需安装,轻便小巧,即下即用; 同时支持Windows/Linux/macOS三大平台
加密密钥类型您还可以选择“共享密钥”,输入共享密钥ID,您上传的对象将使用其他用户共享的密钥进行加密。获取共享密钥ID,具体请参见查看密钥。 说明: 支持配置主项目和子项目下的共享密钥,但配置子项目下的共享密钥后,共享密钥的拥有者访问对象异常,桶所有者可正常访问。
加密密钥类型您还可以选择“共享密钥”,输入共享密钥ID,您上传的对象将使用其他用户共享的密钥进行加密。获取共享密钥ID,具体请参见查看密钥。 说明: 支持配置主项目和子项目下的共享密钥,但配置子项目下的共享密钥后,共享密钥的拥有者访问对象异常,桶所有者可正常访问。
桶是OBS全局命名空间,相当于数据的容器、文件系统的根目录,可以存储若干对象。
设置桶的CORS 配置 ObsClient.setBucketCors 设置桶的跨域资源共享规则,以允许客户端浏览器进行跨域请求。 获取桶的CORS 配置 ObsClient.getBucketCors 获取指定桶的跨域资源共享规则。
使用Commvault备份本地SAP HANA SAP HANA是基于内存计算技术的高性能实时数据计算平台,多应用于需要处理大量实时业务数据的企业。备份软件Commvault,与SAP HANA 、OBS无缝集成,支持在线数据库、日志的备份。
CDM方式示例:金融大数据咨询业务数据迁移 使用CDM将本地贸易统计数据导入到OBS,再使用数据湖探索(Data Lake Insight,DLI)进行贸易统计分析,帮助H咨询公司以极简、极低成本构建其大数据分析平台,使得该公司更好地聚焦业务,持续创新。
默认取值: 当该值为空时,默认为待上传的本地文件的同级目录。 checkSum bool 可选 参数解释: 是否校验待上传文件的内容,如果开启该参数,会在每次任务重新开始前对待上传文件进行校验,验证是否与任务初始化时使用文件为同一文件。