检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
Service，IMS），云审计服务（Cloud Trace Service，CTS）等。 OBS可以作为其他云服务的数据分析学习的数据源，例如MapReduce服务 （MapReduce Service，MRS）， AI开发平台ModelArts等。
日志初始化(Harmony SDK) 功能说明 通过开启SDK日志功能，可将接口调用过程中产生的日志信息记录到日志文件，用于后续的数据分析或问题定位。 方法定义 1 ObsClient.initLog(logConfig: LogConfig) 参数描述 表1 LogConfig
日志初始化(Python SDK) 功能说明 通过开启SDK日志功能，可将接口调用过程中产生的日志信息记录到日志文件，用于后续的数据分析或问题定位。具体步骤如下： 找到OBS Python SDK开发包(github获取)中的log.conf文件。其内容格式如下： [LOGCONF]
日志初始化(Go SDK) 功能说明 通过开启SDK日志功能，可将接口调用过程中产生的日志信息记录到日志文件，用于后续的数据分析或问题定位。您可以通过InitLog开启日志；CloseLog关闭日志并同步缓存中的日志内容到日志文件。 初始化方法 1 func InitLog(logFullPath
基本一致，使用HDFS作为数据访问层的大数据分析框架可以通过OBSFileSystem插件（OBSA-HDFS）访问并行文件系统数据。 并行文件系统与OBS桶的功能差异详见支持的API列表。 应用场景 基于对象存储服务作为统一数据湖存储的大数据场景 并行文件系统使用方式 并行文件
在ECS/BMS中通过网络协议挂载使用，支持NFS和CIFS的网络协议。需要指定网络地址进行访问，也可以将网络地址映射为本地目录后进行访问。 使用场景 如大数据分析、静态网站托管、在线视频点播、基因测序和智能视频监控等。 如高性能计算、企业核心集群应用、企业应用系统和开发测试等。 说明： 高性能计算
OBS提供的DIS通知功能，主要面向大数据场景，要求OBS与数据接入服务（DIS）及其他大数据相关服务结合使用。 仅支持华东-上海一、华北-北京四、华南-广州区域。 当OBS桶中触发了对象上传、下载、删除等操作事件时，OBS将事件通知发送给DIS，再通过DIS通道将通知分发给下游的大数据处理服务，如数
通过Nginx反向代理访问OBS 本章节介绍如何通过在ECS上配置Nginx反向代理，实现通过固定IP地址访问OBS。 大数据场景下使用OBS实现存算分离 华为云存算分离大数据方案相比传统大数据方案，在同样的业务规模下所使用的计算资源、存储资源以及服务器数量都会有明显下降，同时资源利用率也能得到显著提升，可帮助企业降低业务综合成本。
Browser+的图形化界面可以非常方便地让用户在本地对OBS进行管理。 适用于在中小型企业中上传、下载和分享个人数据等场景。推荐非IT行业，如医疗、交通、教育等行业用户使用，方便对数据执行操作。 obsutil obsutil是一款用于访问管理OBS的命令行工具，可以对OBS进行常用的配置管理操
CDM方式示例：金融大数据咨询业务数据迁移 使用CDM将本地贸易统计数据导入到OBS，再使用数据湖探索（Data Lake Insight，DLI）进行贸易统计分析，帮助H咨询公司以极简、极低成本构建其大数据分析平台，使得该公司更好地聚焦业务，持续创新。 详细操作请参见金融大数据咨询业务数据迁移。
志审计以及细粒度的权限控制，保障数据安全可信。 千亿对象，千万并发：OBS通过智能调度和响应，优化数据访问路径，并结合事件通知、传输加速、大数据垂直优化等，为各场景下用户的千亿对象提供千万级并发、超高带宽、稳定低时延的数据访问体验。 图2 千亿对象，千万并发的数据访问体验 简单易用，便于管理：OBS支持标准REST
System）是对象存储服务（Object Storage Service，OBS）提供的一种经过优化的高性能文件语义系统，旨在为基于对象存储服务作为统一数据湖存储的大数据场景提供解决方案。 并行文件系统的详细介绍和使用说明，请参见并行文件系统。 父主题： 基本概念
删除对象 功能说明 删除指定的对象。 按指定的对象名前缀批量删除对象。 删除对象后无法恢复，请谨慎使用。 使用建议 对于并行文件系统目录，大数据场景下（目录层级深、目录下文件多）的删除，可能会因超时而删除失败，建议使用： hadoop 客户端（嵌套OBS客户端插件OBSA）删除目录：hadoop
如果需要一次性删除桶中大量文件，或者删除一些周期性的文件。可以通过生命周期功能，定期自动删除桶中对象，提高删除效率。 对于并行文件系统目录，大数据场景下（目录层级深、目录下文件多）的删除，可能会因超时而删除失败，建议使用： hadoop 客户端（嵌套OBS客户端插件OBSA）删除目录：hadoop
控制台配置简单的连接参数以及迁移任务，即可把数据从第三方云厂商轻松、平滑地迁移至OBS。 大数据场景下使用OBS实现存算分离 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与对象存储服务OBS的对接指导，以及HDFS数据迁移至对象存储服务OBS的方案。 数据备份
数据处理费用 当您使用图片处理功能时，对象存储服务OBS会收取相应的费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据处理费用 图片处理 被处理的原图片的实际大小。 具体请参见图片处理如何收费？ 按需计费 产品定价 详细的服务资费费率标准请参见产品价格详情中“对象存储服务”的内容。
自定义域名开启CDN加速；如果您还未为桶配置自定义域名，那么可以配置CDN加速域名。 CDN加速适用的场景如下： 网站加速 门户网站、电商平台、资讯APP等静态资源（如：图片、文件）遇到访问量较大或访问用户分布在全球各地的情况，使用加速功能可以加快响应速度 文件下载加速 对于有文
约束限制： 长度大于0且不超过1024的字符串。 默认取值： 无 max_uploads int 或 str 可选 参数解释： 列举分段上传任务的最大数目。 约束限制： 当该参数超出1000时，按照默认的1000进行处理。 取值范围： 1~1000，单位：个。 默认取值： 1000 delimiter
数据恢复费用 访问低频访问存储类别、归档存储类别和深度归档存储类别的对象时，会根据对象大小等产生额外的数据恢复费用。此项费用不管通过内、外网访问均会产生；如果使用外网访问，则会同时计入到公网流出流量费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据恢复费用 数据读取流量
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
