检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
云专线方式 每月大于100TB的数据量,需要实时在线上传 需要部署专线 根据专线带宽决定 根据专线距离以及带宽收费,具体参见云专线价格详情 您也可以使用备份软件实现本地数据备份至OBS。 场景二:迁移第三方云厂商数据至OBS 迁移第三方云厂商数据至OBS的方案如下,了解更多详见迁移第三方云厂商数据至OBS最佳实践:
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
22 23 24 25 # 引入模块 from obs import WorkflowClient # 创建WorkflowClient实例 workflowClient = WorkflowClient( access_key_id=os.getenv("AccessKeyID")
config配置文件指定的,一般将该配置文件放于工程编译生成的可执行文件所在目录。 日志级别 当系统出现问题需要定位且当前的日志无法满足要求时,可以通过修改日志的级别来获取更多的信息。其中DEBUG日志信息最丰富,ERROR日志信息最少。 具体说明如下: DEBUG:调试级别。 INFO:信息级别。
OBS允许您对桶设置生命周期规则,实现自动转换对象的存储类型、自动淘汰过期的对象,以有效利用存储特性,优化存储空间。针对不同前缀的对象,您可以同时设置多条规则。一条规则包含: 规则ID,用于标识一条规则,不能重复。 受影响的对象前缀,此规则只作用于符合前缀的对象。 最新版本对象的转换策略,指定方式为:
资源包叠加购买 当资源包即将到期、容量不足或有更大容量的资源包需求时,可以通过叠加购买实现资源包的容量扩大。 购买说明 在购买一个资源包后,可继续购买除特价体验资源包外的任意规格资源包。40GB存储包和50GB公网流出流量包为特价体验套餐包,每个用户在同一时间只能分别购买一次,套
xml文件放到classpath根目录; 或者调用Log4j2Configurator.setLogConfig直接指定log4j2.xml文件的路径。 您可以从OBS Java SDK的发布软件包中获取默认的日志配置文件log4j2.xml,并在该文件基础上进行修改定制。 日志路径 OBS Java
者调用Log4j2Configurator.setLogConfig直接指定log4j2.xml文件的路径。 您可以从日志分析章节获取更多关于SDK日志的信息。 您可以根据实际需要通过修改log4j2.xml文件来配置日志文件权限。 父主题: 初始化(Java SDK)
我可以使用标签做什么? 当为桶添加标签时,该桶上所有请求产生的计费话单里都会带上这些标签,从而可以针对话单报表做分类筛选,进行更详细的成本分析。例如:某个应用程序在运行过程会往桶里上传数据,我们可以用应用名称作为标签,设置到被使用的桶上。在分析话单时,就可以通过应用名称的标签来分析此应用的成本。
常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS
Configuration权限。默认情况下只有桶的所有者可以执行此操作,也可以通过设置桶策略或用户策略授权给其他用户。 请求消息样式 1 2 3 4 GET /?directcoldaccess HTTP/1.1 Host: examplebucket.obs.cn-north-4
管理已完成队列 前提条件 任务列表中存在已完成的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“已完成”按钮。 图1 已完成队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 建议定期清空“已完成任务”列表,请参考为
如果您在使用OBS的过程中需要更高规格的资源包,可以对当前资源包进行升配操作。 背景介绍 因为数据是持续增长的,资源包需要具备动态升配的能力,可以让用户轻松管理资源包。对于标准存储包(单AZ)、标准存储包(多AZ)、归档存储包,用户可以对其升配,但无法降配。 约束与限制 以下情况暂不支持资源包升配:
为一系列段分别上传。每个段都是对象数据的连续部分。您可以按照任意顺序上传段。如果其中某个段传输失败,可以重新传输该段且不会影响其他段。通过多线程并发上传同一对象的多个段,可大大提高传输效率。 具体代码样例可参见分段上传。您也可以使用SDK提供的断点续传上传接口进行大文件上传。 父主题:
列举桶 您可以通过列举桶查看已创建的桶列表。 注意事项 列举桶请求默认发生在华北-北京一,所以在统计请求费用时,ListAllMyBucketsOperation请求的费用会被划归到华北-北京一区域。 使用方式 OBS支持通过控制台、API、SDK、OBS Browser+、obsutil方式列举桶。
理操作时,需要调用OBS Browser内置数据库,数据库在运行时产生的二进制数据默认保存在Windows操作系统用户的个人文件夹下。 当Windows操作系统用户名包含非英文字符时,OBS Browser内置数据库无法识别数据保存路径,进而导致上传、下载、删除等任务无法添加至任
上传段 功能介绍 多段上传任务创建后,用户可以通过指定多段上传任务号,通过上传段接口为特定的任务上传段,从客户端上传新数据,了解完整的分段上传流程请参见分段上传。同一个对象的同一个多段上传任务在上传段时,上传的顺序对后续的合并操作没有影响,也即支持多个段并发上传。 请确保段大小范
请检查桶中是否设置了生命周期过期删除规则,符合规则的对象会被删除。 请检查桶是否授权了其他用户桶的写权限,被授权的用户都可以删除对象。如果您开启了日志记录功能,可以通过日志记录查询到删除对象的用户。 父主题: 产品咨询
搜索文件或文件夹 OBS Browser+支持按前缀搜索文件或文件夹。 操作步骤 登录OBS Browser+。 单击目标文件或文件夹所在的桶。 在对象管理页面右上角的搜索框中输入需要查找的文件或文件夹的前缀。 单击,如图1所示。 图1 搜索文件或文件夹 搜索到的文件或文件夹会显
OBS的数据存储在哪里? 在OBS上创建桶时,您可以指定一个区域。在该区域内,您的数据存储在多台设备上。 父主题: 产品咨询