检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
withRollingPolicy(rollingPolicy) .withBucketCheckInterval(1000L) .build(); 父主题: 对接大数据组件
Management Service,IMS),云审计服务(Cloud Trace Service,CTS)等。 OBS可以作为其他云服务的数据分析学习的数据源,例如MapReduce服务 (MapReduce Service,MRS), AI开发平台ModelArts等。
日志初始化(Harmony SDK) 功能说明 通过开启SDK日志功能,可将接口调用过程中产生的日志信息记录到日志文件,用于后续的数据分析或问题定位。 方法定义 1 ObsClient.initLog(logConfig: LogConfig) 参数描述 表1 LogConfig
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
碎片管理 背景知识 OBS采用分块上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。 文件上传失败或上传任务暂停后,都会有碎片存储
分享文件 操作场景 您可以使用文件分享功能,通过文件的临时URL将存放在OBS中的文件分享给所有用户。 约束与限制 通过OBS Browser分享的文件,有效期的范围为1分钟到30天。如果想要设置永久的权限,请通过桶策略或对象策略实现。 仅桶版本号为3.0的桶支持文件分享功能。桶
利用obsutil帮助命令查找工具功能 obsutil提供了帮助命令(help命令)用于查看各命令的帮助文档。以查询创建桶命令的帮助文档为例,详细的步骤如下: 使用obsutil help命令查看当前支持的所有命令列表。 根据命令列表中的文档说明,找到需要查看的命令缩写,例如创建桶命令缩写为mb。
日志初始化(Python SDK) 功能说明 通过开启SDK日志功能,可将接口调用过程中产生的日志信息记录到日志文件,用于后续的数据分析或问题定位。具体步骤如下: 找到OBS Python SDK开发包(github获取)中的log.conf文件。其内容格式如下: [LOGCONF]
通过OBS Browser+图形化工具快速使用OBS OBS Browser+是一款图形化工具,可以非常方便地让用户在本地对OBS的数据进行管理。 本章节以上传一个文件至“test-example-bucket”桶为例,帮助您快速通过OBS Browser+使用OBS的基础功能,
产品概述 OBS Browser已于2020年4月15日下线,相关功能已集成到新版客户端工具OBS Browser+中,请获取最新的OBS Browser+工具。给您带来不便敬请谅解。 OBS Browser是一款运行在Windows和Mac系统上的对象存储服务客户端,方便您在个人电脑上完成对象存储管理。
通过obsutil命令行工具快速使用OBS obsutil是一款命令行工具,对于熟悉命令行的用户,obsutil能在执行批量处理、自动化任务的场景中为您带来更优体验。 本章节以Linux操作系统为例,以上传一个文件至“bucket-test”桶为例,帮助您快速通过obsutil使
下载OBS Browser OBS Browser已于2020年4月15日下线,相关功能已集成到新版客户端工具OBS Browser+中,请获取最新的OBS Browser+工具。给您带来不便敬请谅解。 父主题: 入门
CDN下载 CDN下载简介 配置CDN下载
桶管理 桶管理方法介绍 添加桶 搜索桶 查看桶的基本信息 碎片管理 删除桶
日志记录 访问日志记录简介 配置日志记录
权限控制 概述 配置桶策略 配置对象策略 配置桶ACL 配置对象ACL
入门 流程简介 设置用户权限 登录OBS管理控制台 下载OBS Browser 创建访问密钥(AK和SK) 登录客户端 添加桶 上传文件或文件夹 下载文件或文件夹 删除文件或文件夹 删除桶
日志初始化(Go SDK) 功能说明 通过开启SDK日志功能,可将接口调用过程中产生的日志信息记录到日志文件,用于后续的数据分析或问题定位。您可以通过InitLog开启日志;CloseLog关闭日志并同步缓存中的日志内容到日志文件。 初始化方法 1 func InitLog(logFullPath
流程简介 以下章节介绍如何使用OBS Browser来完成图1中所示的任务。 图1 OBS Browser快速入门 父主题: 入门