检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
背景信息 通过OBS管理控制台上传的文件有大小和数量限制,每次最多支持100个文件同时上传,总大小不超过5GB。如果只上传1个文件,则这个文件最大为5GB。
src1文件夹下的test3.txt文件至bucket-test桶的根目录,同步命令如下: .
使用Commvault备份本地SAP HANA SAP HANA是基于内存计算技术的高性能实时数据计算平台,多应用于需要处理大量实时业务数据的企业。备份软件Commvault,与SAP HANA 、OBS无缝集成,支持在线数据库、日志的备份。
多段相关接口说明(Node.js SDK) 对于较大文件上传,可以切分成段上传。用户可以在如下的应用场景内(但不仅限于此),使用分段上传的模式: 上传超过100MB大小的文件。 网络条件较差,和OBS服务端之间的链接经常断开。 上传前无法确定将要上传文件的大小。
设置桶的CORS配置 ObsClient.setBucketCors 设置桶的跨域资源共享规则,以允许客户端浏览器进行跨域请求。 获取桶的CORS配置 ObsClient.getBucketCors 获取指定桶的跨域资源共享规则。
创建桶 桶是OBS全局命名空间,相当于数据的容器、文件系统的根目录,可以存储若干对象。
拖拽上传 OBS Browser+提供强大的拖拽上传功能,您可以将本地的一个或多个文件或者文件夹拖拽到对象存储的对象列表或者并行文件系统的对象列表中;同时您也可以将文件或文件夹拖拽到指定的目录上,这样可以上传到指定的目录中。拖拽上传可以轻松便捷地帮您把本地文件上传到OBS中。
对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败,建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名}。
基于安全合规要求,华为云对象存储服务禁止使用OBS桶默认域名在线预览桶内对象,当您将文件上传至OBS桶后,OBS会使用桶的默认域名自动生成文件的访问地址,在浏览器访问该文件地址时,不会显示文件内容,而是以附件形式下载。
CDM通过创建定时作业,将用户自建存储服务器上的文件系统、数据库、对象存储等数据源与华为云OBS进行连接,从而实现定时、自动地将本地数据搬迁至OBS。 图1 CDM方式搬迁数据示意图 创建OBS桶 通过OBS控制台或OBS Browser+创建桶,用于存放原始数据。
在文件系统列表中,单击创建资源中创建的HPC型文件系统,进入文件系统详情页面。 进入页签“绑定后端存储”,单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS目标”中,填写如下表所示参数。
设置对象过期时间(Python SDK) 本示例用于上传文件流时通过header设置对象过期时间 obsClient = ObsClient(access_key_id=ak, secret_access_key=sk, server=server) try: # 读取文件流
使用建议 对于并行文件系统目录,大数据场景下(目录层级深、目录下文件多)的删除,可能会因超时而删除失败,建议使用: hadoop 客户端(嵌套OBS客户端插件OBSA)删除目录:hadoop fs - rmr obs://{并行文件系统名}/{目录名} 给目录配置生命周期规则,通过生命周期后台删除
Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
按https://桶名.域名/文件夹目录层级/对象名的方式进行拼接。 如果该对象存在于桶的根目录下,则链接地址将不需要有文件夹目录层级。 各区域对应的域名可以从这里的终端节点查看。
您可以根据实际需要通过修改log4j2.xml文件来配置日志文件权限。 父主题: 初始化(Java SDK)
SFS Turbo文件系统支持在线扩容,扩容过程中挂载文件系统可能失败,建议业务低峰期扩容。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
日志默认首先写入缓存(累积一定量后再写入文件),程序退出前调用obs.CloseLog()可同步缓存中的日志内容到日志文件。 父主题: 初始化(Go SDK)
日志默认首先写入缓存(累积一定量后再写入文件),程序退出前调用obs.CloseLog()可同步缓存中的日志内容到日志文件。 日志内容格式 SDK日志格式为:日志时间|打印日志所在的文件:行号|日志级别|日志内容。
s3fs s3fs是一款基于用户空间文件系统(Filesystem in Userspace,简称FUSE)的文件系统工具,支持您在Linux系统中,将OBS对象桶挂载到本地文件系统,让您能够像操作本地文件一样操作对象,实现数据的共享。