检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的
本地数据磁盘并邮寄给华为云数据中心。 启动数据传输 华为云数据中心收到用户的磁盘并将磁盘挂载到物理服务器后,会短信通知用户填写访问密钥(AK和SK)来启动数据上传。数据传输完成后,用户可以通过DES控制台和OBS控制台两种途径查看传输结果。同时华为云数据中心也会将用户磁盘回寄给用户。
企业数据权限控制最佳实践 部门公共数据权限管理 部门/项目之间数据共享 给业务部门授予独立的资源权限 业务部门之间桶资源隔离
分段上传(Java SDK) 分段上传概述(Java SDK) 初始化分段上传任务(Java SDK) 上传段(Java SDK) 合并段(Java SDK) 分段上传场景化示例(Java SDK) 取消分段上传任务(Java SDK) 列举已上传的段(Java SDK) 列举分段上传任务(Java
文件上传 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 文件上传使用本地文件作为对象的数据源。以下代码展示了如何进行文件上传: // 认证用的ak和sk硬编码到代码中或者明文存
象管理的一部分。 本接口可以在下载对象成功后返回对象的自定义元数据。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是桶拥有者或拥有获取对象元数据的权限,才能获取自定义元数据。建议使用IAM或桶策略进行授权,
获取桶元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.GetBucketMetadata接口获取桶元数据。 本示例用于获取桶名为“bucketname”的元数据信息。
如果是当前桶名已存在,则更换桶名再创建。在OBS中,桶名必须是全局唯一的,即用户创建的桶不能与自己已创建的其他桶名称相同,也不能与其他用户(包括其他华为云账号)创建的桶名称相同。 用户删除桶后,立即创建同名桶或并行文件系统会创建失败,需要等待30分钟才能创建。 当创建桶提示“另外一个冲突的操
流式下载 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 以下代码展示了如何进行流式下载: // 初始化配置参数 ObsConfig config = new ObsConfig();
获取上传进度 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过PutObjectRequest.setProgressListener设置数据传输接口来获取上传的进度。示例代码如下:
获取自定义元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。以下代码展示了如何获取自定义元数据: // 创建ObsClient实例 var
迁移HDFS数据至OBS 操作场景 在华为云大数据存算分离方案中,对象存储服务OBS作为统一数据湖存储数据。如果用户数据仍存储在本地HDFS中,则需要先将HDFS的数据迁移至OBS。 用户可以使用以下迁移方案中的任意一种完成数据迁移,包括:Distcp方式迁移、CDM方式迁移和OMS方式迁移。
的存储类别、区域位置、跨域资源共享(CORS)规则、冗余策略等信息。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是桶拥有者或拥有获取桶元数据的权限,才能获取桶元数据。建议使用IAM或桶策略进行授权,如果使
数据迁移? 背景知识 对象存储服务OBS是华为云提供的稳定、安全、高效、易用的云存储服务,具备标准Restful API接口,可存储任意数量和形式的非结构化数据。 弹性文件服务SFS是华为云提供的按需扩展的高性能文件存储(NAS),可为云上多个弹性云服务器ECS,容器CCE&CCI,裸金属服务器BMS提供共享访问。
tent-Disposition、Content-Encoding。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 接口约束 您必须是桶拥有者或拥有下载对象的权限,才能下载对象。建议使用IAM或桶策略进行授权,如果使用IAM
跨区域复制 创建跨区域复制规则后,为什么对象没有复制到目标桶中? 删除对象操作会同步复制到跨区域复制的桶中吗?
Browser+图形化工具之前,您需要拥有一个华为账号并实名认证、为账号充值,然后下载并安装OBS Browser+图形化工具,并获取访问密钥。 注册华为账号并实名认证。 如果您已有华为账号,请忽略此步骤。如果您还没有华为账号,请执行以下操作: 注册华为账号并开通华为云。 参考个人账号如何完成实名
桶和对象相关 创建桶失败 上传对象失败 下载对象失败 删除桶失败 删除对象失败 通过URL访问对象失败 如何在浏览器中在线预览OBS中的对象? 我可以修改对象名称吗? 我可以在线编辑OBS中的对象吗? 如何获取对象访问路径? 我可以修改桶所在的区域吗? 如何修改桶所属的企业项目?
搬迁本地数据至OBS_DES Teleport方式 云专线(Direct Connect,DC) 搬迁本地数据至OBS_云专线方式 在ECS上实现通过华为云内网访问OBS 弹性云服务器(Elastic Cloud Server,ECS) 在ECS上通过内网访问OBS 通过IAM服务实现以下功能: