检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FS文件系统的相关接口实现,让大数据计算引擎(Hive、Spark等)可以将OBS作为HDFS协议的底层存储。 图2 存算分离方案中的OBSFileSystem OBS服务支持对象存储桶(对象语义)和并行文件系统(POSIX文件语义),在大数据场景下建议选择并行文件系统。并行文件
对于万级别的文件数量的批量上传,建议使用obsutil工具,详见上传对象。 操作步骤 登录OBS Browser。 单击待上传文件或文件夹的桶。 单击“上传”,系统弹出“上传对象”对话框,如图1所示。 您可以选择文件上传,详见4;也可以选择文件夹上传,详见5。 图1 上传对象 单击“选择文件”,打开本
上传/下载性能优化 OBS Browser+对大于50MB的文件/对象默认采用分段方式进行上传/下载,与分段任务相关的参数都在“系统设置”->“基础设置”中。 表1 参数 描述 最大并行任务数 任务同时运行的最大数量,默认是3,取值范围是:1~50。 单任务最大并发数 每个任务的
OBS的文件夹与文件系统的文件夹是否一样? 不一样。 OBS并没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。实际上在OBS内部是通过在对象的名称中增加“/”,将该对象在OBS管理控制台上模拟成一个文件夹的形式展现。 父主题: 产品咨询
务的不错选择。 obsutil工具指南 obsfs obsfs是OBS提供的一款基于FUSE的文件系统工具,主要用于将并行文件系统挂载至Linux系统,让用户能够在本地像操作文件系统一样直接使用OBS海量的存储空间。 obsfs工具指南 SDK SDK是对OBS服务提供的REST
Windows操作系统下,下载对象时发现本地和云上对象数量不一致 如果发现下载后本地文件和文件夹数量之和小于云上对象数量(OBS不区分文件或文件夹,统称为对象),并且当前操作系统是Windows,这个是因为Windows文件系统将文件和目录名称视为不区分大小写,FOO.txt和foo
管理”对话框中显示。 单击“确定” 在OBS Browser右上角,单击选择账号即可登录。 后续处理 OBS Browser的“系统配置”,请参见系统配置。 如果希望通过OBS Browser管理多个账号拥有的对象,可单击账号名,并选择“账号管理”添加多个账号信息。单击想要登录的
Browser是一款运行在Windows和Mac系统上的对象存储服务客户端,方便您在个人电脑上完成对象存储管理。 OBS Browser对PC机的规格要求如表1所示: 表1 OBS Browser对PC机的规格要求 规格项 规格要求 备注 操作系统 Windows 7 Pro SP1 32-bit
将数据存放在OBS中然后通过配置CDN加速,这样构造的业务系统可以在降低成本的同时,提高终端用户使用感受。 本方案适用于提供音视频点播服务的客户。例如:在线教育类网站、在线视频分享网站、互联网电视点播平台、音乐视频点播APP等。 方案架构 图4 视频点播加速架构图 客户在CDN控制台配置加速域名。 终
添加桶 桶是OBS中存储对象的容器。您需要先创建一个桶,然后才能在OBS中存储数据。 一个账号及账号下的所有IAM用户可创建的桶+并行文件系统的上限为100个。建议结合OBS细粒度权限控制能力,合理进行桶规划和使用。例如,建议在桶内根据对象前缀划分不同的目录,通过细粒度权限控制实
OBS性能优化建议 OBS按照对象名的UTF-8编码范围来进行分区管理,对系统进行水平扩展与动态负载均衡。如果用户在对象命名规则上使用了顺序前缀(如时间戳或字母顺序),可能导致大量对象的请求访问集中于某个特定分区,造成访问热点。热点分区上的请求速率受限,访问时延上升。 推荐使用随
sConfiguration.setSecureRandom()设置一个种子是真随机数的SecureRandom。 当操作系统没有足够的熵来生成随机数时(比如系统刚启动时),那么生成真随机数的SecureRandom可能会阻塞,直到足够的熵可用为止。建议同时通过相关措施补充熵(例
服务韧性 OBS提供五级可靠性架构,通过跨区域复制、AZ之间数据容灾、AZ内设备和数据冗余、存储介质的慢盘/坏道检测等技术方案,保障数据的持久性和可用性。 OBS的数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。 图1 五级可靠性架构保证数据稳定,业务可靠
如果已授予删除桶的权限,仍然无法删除桶,请单击下方提交工单链接寻求更多帮助。 提交工单 如果上述方法均不能解决您的疑问,请提交工单联系华为云客服为您解答。 父主题: 桶和对象相关
util工具来删除包含对象较多或目录层级较深的文件夹。具体请参见删除对象。 提交工单 如果上述方法均不能解决您的疑问,请提交工单联系华为云客服为您解答。 父主题: 桶和对象相关
创建桶是指按照用户指定的桶名创建一个新桶的操作。 默认情况下,一个用户可以拥有的桶的数量不能超过100个。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。 OBS支持在创建桶时指定桶的AZ类型,您可以开启或关闭多AZ。关闭多AZ时,桶内数据默认存储在单个AZ内;开启多AZ时,桶内数据冗余存
下载和安装obsutil 下载地址 针对不同操作系统,obsutil的下载地址如表1所示。 表1 下载地址 操作系统 软件包下载地址 SHA256校验和 Windows 64位 obsutil_windows64 46440850e63600b31888f2c7c8e79db99
不涉及 由第三方云厂商收取数据读取费用,具体以第三方云厂商提供的价格为准。 低成本、500TB以上的数据迁移请在华为云上提交工单或联系人工客服,根据您的业务模型,为您定制适合超大规模数据迁移的方案。 OMS方式 OMS是一种云上的对象数据迁移服务,具有安全、高效等优势。数据迁移时
中有两种元数据:系统定义的对象元数据和对象自定义元数据介绍。 您可以在上传对象时在OBS中设置对象元数据,也可以在上传对象后修改元数据。 元数据介绍 系统定义的对象元数据 系统定义的元数据又分为两种类别:系统控制和用户控制。 系统控制:如Last-Modified日期等数据由系统控制,不可修改。
对于存储类别为归档存储的桶中的文件,需要确认对象的状态为“已恢复”才能对其进行下载。 在对话框中选择存放文件或文件夹的路径后,单击“确定”。 如果目标路径下存在同名文件,系统会弹出“目标路径存在同名文件,请选择保存方式”,您可以选择“均保留”或者“覆盖”。 父主题: 入门