检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
企业数据权限控制最佳实践 部门公共数据权限管理 部门/项目之间数据共享 给业务部门授予独立的资源权限 业务部门之间桶资源隔离
获取自定义元数据(Java SDK) 功能说明 元数据(Metadata)为描述对象属性的信息,是一组键值对,用作对象管理的一部分。 本接口可以在下载对象成功后返回对象的自定义元数据。
CDM方式示例:金融大数据咨询业务数据迁移 使用CDM将本地贸易统计数据导入到OBS,再使用数据湖探索(Data Lake Insight,DLI)进行贸易统计分析,帮助H咨询公司以极简、极低成本构建其大数据分析平台,使得该公司更好地聚焦业务,持续创新。
获取自定义元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。
为什么OBS存储的数据丢失了? 如果您的OBS中存储的数据丢失了,请按照以下原因排查: 请检查桶中是否设置了生命周期过期删除规则,符合规则的对象会被删除。 请检查桶是否授权了其他用户桶的写权限,被授权的用户都可以删除对象。
False:不自动计算上传数据的MD5值。 默认取值: False md5 str 可选 参数解释: 待上传段数据的MD5值(经过Base64编码),是上传段数据内容的唯一标识,可以通过该值识别对象内容是否有变化。
获取桶元数据 功能介绍 对桶拥有读权限的用户可以执行查询桶元数据是否存在的操作。
API说明,请参见获取桶元数据。
大数据场景下使用OBS实现存算分离 本最佳实践主要提供华为云大数据存算分离方案中不同大数据平台和大数据组件与对象存储服务OBS的对接指导,以及HDFS数据迁移至对象存储服务OBS的方案。
并行文件系统 并行文件系统(Parallel File System)是对象存储服务(Object Storage Service,OBS)提供的一种经过优化的高性能文件语义系统,旨在为基于对象存储服务作为统一数据湖存储的大数据场景提供解决方案。
全部 × √ 自定义元数据 您可以添加、修改或删除桶中已上传对象的元数据。 全部 √ √ 桶配额 您可以设置桶空间配额,用以限制单个桶可存储的最大数据量,最大可设置为263-1,单位Byte(字节)。新创建的桶默认不限制配额。
同时,OBS桶为逻辑隔离,桶中数据量大小不会影响桶性能。 父主题: 产品咨询
表1 参数 描述 最大并行任务数 任务同时运行的最大数量,默认是3,取值范围是:1~50。 单任务最大并发数 每个任务的分段最大并发数,默认是3,取值范围是:1~50。 自动调整段大小 工具会根据源文件/对象大小自动设置每个分段任务的段大小,默认选中。
这种分层结构使并行文件系统的数据组织方式与HDFS基本一致,使用HDFS作为数据访问层的大数据分析框架可以通过OBSFileSystem插件(OBSA-HDFS)访问并行文件系统数据。 并行文件系统与OBS桶的功能差异详见支持的API列表。
对象 对象(Object)是OBS中数据存储的基本单位,一个对象实际是一个文件的数据与其相关属性信息(元数据)的集合体。用户上传至OBS的数据都以对象的形式保存在桶中。
数据处理 图片处理 Data+ 在线解压
数据直传OBS 将WordPress远程附件存储到OBS Web端通过PostObject接口直传OBS 移动应用直传 小程序直传OBS
数据管理 生命周期 桶清单 事件通知 使用镜像回源获取源站数据 静态网站托管 重定向请求 跨区域复制
数据安全 服务端加密 多版本控制 配置对象锁定(WORM)防止对象被更改或删除 配置CORS实现跨域访问OBS 配置防盗链防止非法流量盗用 配置双端固定实现VPC粒度的访问控制
OBS数据迁移 搬迁本地数据至OBS 使用备份软件实现本地数据备份至OBS 迁移第三方云厂商数据至OBS OBS之间数据迁移