检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中,具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash,例如≥7.10.2的版本,避免使用较老版本的logstash。 对接步骤 以logstash-7
使用。 访问Maven中央仓库获取OBS Java SDK版本号。获取Bundle版本请访问链接,获取普通版本请访问链接,建议使用最新版本的SDK。例如,此处选择Bundle 3.23.9版本。 Bundle版本与普通版本源代码相同,区别在于 Bundle 版将所有三方依赖打包并
待恢复cold存储对象的版本号。 fs 附加参数,可选 是否使用并行文件系统的列举方式,如果桶是并行文件系统,推荐加上该参数。 注意: 该列举方式会因为目录结构,耗时会差别很大。 该参数开启后,会忽略marker和limit值,统计桶或者并行文件系统或者指定目录的大小。 Util
并行文件系统相关接口(Go SDK) 创建并行文件系统(Go SDK) 列举并行文件系统(Go SDK) 列举并行文件系统内对象(Go SDK) 重命名对象(Go SDK)
对深度归档存储对象执行DELETE类操作产生的请求费用。 并行文件系统GET类请求 pfs_get 请求费用 对并行文件系统执行GET类操作产生的请求费用。 并行文件系统PUT类请求 pfs_put 请求费用 对并行文件系统执行PUT类操作产生的请求费用。 并行文件系统DELETE类请求 pfs_delete
以下命令查看到该文件: Windows操作系统 dir macOS/Linux操作系统 ls -a 或 ls -al obsutil会对.obsutilconfig文件中的AK和SK进行加密以保护密钥安全。 注意:通过-i、-k、-e配置用户认证信息,linux操作系统的hist
FS文件系统的相关接口实现,让大数据计算引擎(Hive、Spark等)可以将OBS作为HDFS协议的底层存储。 图2 存算分离方案中的OBSFileSystem OBS服务支持对象存储桶(对象语义)和并行文件系统(POSIX文件语义),在大数据场景下建议选择并行文件系统。并行文件
已删除的数据是否可以恢复? 已删除的数据能否恢复取决于您是否开启了多版本控制功能: 桶开启了多版本控制功能时,删除的对象会保存到“已删除对象”列表中,您可以在“已删除对象”列表中恢复对象,详情请参见取消删除文件。 桶没有开启多版本控制功能时,删除对象时系统会完全删除数据,已删除的对象不可恢复。 父主题:
显示50个对象。 (可选)如果桶已开启了多版本控制功能,那么可以通过对象列表上方的“历史版本”开关来控制对象列表是否展示历史版本对象: 开关打开:对象列表展示当前版本对象和历史版本对象(包含已删除对象)。 开关关闭:对象列表仅展示当前版本对象。 使用API 列举桶内对象 使用SDK
参数说明 参数 约束 描述 s 附加参数,可选 以精简格式显示查询结果。 说明: 在精简格式下,返回结果只包含桶名。 sc 附加参数,可选 查询桶列表时同时查询桶的存储类型。 j 附加参数,可选,必须与sc参数搭配使用才有意义 查询桶存储类型时的最大并发数,默认为配置文件中的defaultJobs。
运行composer -V查看composer版本并确保composer已安装。 运行composer require obs/esdk-obs-php执行安装。 如果您的环境尚未安装composer,请参见Packagist官网安装; 如果您使用的是Windows操作系统,当运行comp
SDK下载 SDK源码和API文档 OBS .NET SDK最新版本源码:最新版本源码下载 OBS .NET SDK历史版本下载地址:历史版本下载 OBS .NET SDK API文档:OBS .NET SDK API参考
通过进程等方式调用obsutil时,无法实时查看回显信息。obsutil支持在进程运行结束后,根据不同的运行结果生成不同的返回码,具体的返回码及其含义如表1所示。您可以通过以下方式获取最近一次运行结果的返回码,然后根据返回码分析并处理问题。 macOS/Linux操作系统,执行以下命令获取最近一次运行结果的返回码:
truncateObject(); 相关链接 关于并行文件系统的更多说明,请参见什么是并行文件系统。 创建并行文件系统过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 创建并行文件系统常见问题请参见并行文件系统常见问题。 父主题: 并行文件系统相关接口(Harmony SDK)
产品优势 OBS与自建存储服务器对比 在信息时代,企业数据直线增长,自建存储服务器存在诸多劣势,已无法满足企业日益强烈的存储需求。表1向您详细展示了OBS与自建存储服务器的优劣势对比。 表1 OBS与自建存储服务器对比 对比项 OBS 自建存储服务器 数据存储量 提供海量的存储服
每次运行的唯一标识号,用于查找批量任务生成的结果清单文件。 如何查看对象的恢复状态? OBS支持使用控制台、OBS Browser+、API、SDK四种方式查询对象的恢复状态。 控制台:单击对象,进入对象详情页,如图4所示,在基本信息页签即可查看对象恢复状态。 图3 使用控制台查看对象恢复状态
拥有该权限的用户如果在控制台上列举对象失败,可能是因为桶中存在多版本对象。此时需要额外授予该用户列举多版本对象的权限(obs:bucket:ListBucketVersions),才能在控制台正常看到对象列表。 系统策略 推荐配置方法 IAM系统角色/策略 配置须知 按照本案例配置系统角色或策略后,如果通过控制台或OBS
OBS的持久性和可用性如何? OBS通过存储介质的慢盘/坏道检测、AZ内设备和数据冗余、AZ之间数据容灾、跨区域复制等技术方案,提供针对介质、服务器、机柜、数据中心和区域的多级可靠性保障。其数据持久性高达99.9999999999%(12个9),可用性高达99.995%,远高于传统架构。
已在同区域购买Linux操作系统的ECS,本文以CentOS系统为例。购买ECS方法 ECS已绑定EIP,EIP用于从公网下载必要的Nginx安装包。 实施步骤 在ECS上安装Nginx 此处以CentOS 7.6版本的操作系统为例。 登录用于搭建Nginx反向代理服务器的ECS。 使用wg
“最后修改时间”排序,支持前1000个文件按照时间排序。如果并行文件系统内文件数量超过5000条,文件列表按照英文单词在字典中的先后顺序进行排序,且只支持按文件名的前缀搜索。 图1 文件列表页 父主题: 并行文件系统