检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
校验数据完整性。 无 对象存储类型 对象的存储类型,不同的存储类型可以满足客户业务对存储性能、成本的不同诉求。默认与桶的存储类型保持一致,可以设置为与桶的存储类型不同。 无 对象自定义元数据 用户对上传到桶中对象的自定义属性描述,以便对对象进行自定义管理。 无 设置对象MIME类型
为指定桶打开桶日志功能,并配置日志存放的目标桶。桶日志功能开启后,桶的每次操作将会产生一条日志,并将多条日志打包成一个日志文件。日志文件存放到开启日志功能的桶中,也可以存放到其他您有权限的桶中,但需要和开启日志功能的桶在同一个region中。您还可以根据需要配置日志文件的访问权限,以及日志文件的文件名前缀。
已删除的数据是否可以恢复? 桶开启了多版本控制功能时,删除的对象会保存到“已删除对象”列表中,您可以在“已删除对象”列表中恢复对象,详情请参见取消删除文件。 桶没有开启多版本控制功能时,删除对象时系统会完全删除数据,已删除的对象不可恢复。 父主题: 产品咨询
配置运行环境 obsfs的运行环境依赖openssl-devel、fuse、fuse-devel等软件包,运行obsfs之前,您需要通过命令配置其依赖环境。 obsfs支持使用的libfuse版本为2.9.7,2.9.8或2.9.9。如果当前您的libfuse是其他版本,请参考libfuse安装指导进行安装。
1天转为低频访问对象。对象A的版本V1创建于1号,5号的时候又上传新的版本V2,此时V1成为历史版本,那么再过1天,7号的0点,V1就会迁移成低频访问对象了。(备注:对象过期后被删除或对象迁移的时间可能会有一定的延迟,一般不超过48小时。) 如果桶的多版本是Enabled或者Su
一个并行文件系统支持挂载到多台云服务器,但数据一致性需由您自行维护,避免出现多台云服务器同时对一个文件并发写入的情况。 桶级的桶策略和IAM策略对obsfs挂载方式生效,目录级的桶策略和IAM策略对obsfs挂载方式访问不生效。 前提条件 已成功获取obsfs,具体操作请参见下载并安装obsfs。
策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 重复恢复归档或深度归档存储对象时在延长恢复有效期的同时,也将会对恢复时产生的恢复费用进行重复收取。产生的标准存储类别的对象副本有效期将会延长,并且收取延长时间段产生的标准存储副本费用。 ObsClient
您可以在创建桶时指定桶的存储类别,也可以在创建后修改桶的存储类别。修改步骤如下: 登录OBS客户端。 在桶列表中选择待操作的桶,并单击右侧的,系统弹出“修改存储类别”对话框。 选择目标存储类别,并单击“确定”。 修改桶的存储类别后,不会影响已存储在桶内的对象的存储类别。 上传对象时,默认的对象存
rt_时间_TaskId.txt,该文件中有各失败任务的详细错误信息。 同时还可以参考util工具的日志信息查看工具执行过程中记录的错误信息,为定位问题建议指定日志级别为DEBUG级别,具体设置方式及日志路径设置方式可参考日志文件。 父主题: 常见问题
桶策略和ACL的关系 桶ACL和桶策略的映射关系 桶ACL用于授予桶基本的读写权限,桶策略高级设置中支持更多在桶上可以执行的动作。桶ACL是对桶策略的补充,除了限定的只能由桶ACL授予日志投递用户组权限外,更多时候桶策略可以替代桶ACL管理桶的访问权限。桶ACL访问权限和桶策略动作的映射关系如表1所示。
我可以上传同名对象到同一个文件夹中吗? 如果开启了多版本控制,上传对象时,OBS自动为每个对象创建唯一的版本号。上传同名的对象将以不同的版本号同时保存在OBS中。 如果未开启多版本控制,向同一个文件夹中上传同名的对象时,新上传的对象将覆盖原有的对象。 父主题: 桶和对象相关
使用并行文件系统时对使用者的身份进行验证。 本章节以将访问密钥信息写入“/etc/passwd-obsfs”文件为例,介绍具体的操作步骤。 前提条件 已获取访问密钥(AK和SK),具体操作请参见资源准备。 操作步骤 打开命令行终端。 执行以下命令,生成挂载所需的密钥文件。 对于2
为什么OBS存储的数据丢失了? OBS是否支持流量监控? OBS上传下载速率的影响因素有哪些? 对象存储与SAN存储和NAS存储相比较有什么优势? OBS的文件夹与文件系统的文件夹是否一样? OBS、EVS和SFS有什么区别? 如何判断是否内网访问OBS? 我的OBS桶性能是否会受其他用户业务的影响?
绍了每个接口的参数和使用方法。 要使用OBS BrowserJS SDK访问OBS服务的桶,必须配置该桶允许跨域请求(桶的CORS),推荐为桶的CORS配置的规则如下: 配置项 配置值 说明 AllowedOrigin * 允许任意请求来源。 说明: 也可以配置具体的域名或IP。
介绍了每个接口的参数和使用方法。 您可以通过ObsClient.headBucket接口判断该桶是否已存在。以下代码展示如何判断指定桶是否存在: // 创建ObsClient实例 var obsClient = new ObsClient({ // 认证用的ak和sk硬编
桶名 桶的名称。 区域 桶所在的区域。 存储类别 桶的存储类别,有标准存储、低频访问存储、归档存储三种类别。 存储用量 桶中存储的对象占用的存储空间。 桶的存储空间默认情况下是没有配额限制的,您也可以通过设置桶配额来设置桶的存储空间,详情请参见设置桶配额。 对象数量 桶中文件夹、当前版本文件和历史版本文件总和。
中加载的客户端Web应用程序与另一个域中的资源交互的方式。而在通常的网页请求中,由于同源安全策略(Same Origin Policy,SOP)的存在,不同域之间的网站脚本和内容是无法进行交互的。 日志记录 支持对桶的访问请求创建并保存访问日志记录,可用于进行请求分析或日志审计。
ACL中需要填写的所有者(Owner)或者被授权用户(Grantee)的ID,是指用户的账号ID,可通过OBS控制台“我的凭证”页面查看。 获取对象访问权限 您可以通过ObsClient.getObjectAcl获取对象的访问权限。以下代码展示如何获取对象访问权限: // 认证用的ak和s
S BrowserJS SDK访问桶前必须配置该桶的CORS。您可以通过OBS Console、OBS Browser或者除OBS BrowserJS SDK外的其他OBS SDK三种途径配置桶的CORS,推荐为桶的CORS配置的规则如下: 配置项 配置值 说明 AllowedOrigin