检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CCE,云专线 DC 图4 基因测序 智能视频监控 场景描述 OBS为视频监控解决方案提供高性能、高可靠、低时延、低成本的海量存储空间,满足个人/企业等各类视频监控场景需求,提供设备管理、视频监控以及视频处理等多种能力的端到端解决方案。 摄像头拍摄的监控视频通过公网或专线传输至华为云,在弹
当您使用开源的大数据组件时,可参考支持的大数据组件简介完成与OBS对接。 (可选)如果您的数据仍存储在本地HDFS,需要先将数据迁移到华为云OBS中。详情请参见迁移HDFS数据至OBS。 父主题: 大数据场景下使用OBS实现存算分离
此外,对象存储服务OBS提供了OBSFileSystem插件(OBSA-HDFS),可与上层大数据平台无缝对接,实现业务零改造。 OBSFileSystem的主要作用:提供HDFS文件系统的相关接口实现,让大数据计算引擎(Hive、Spark等)可以将OBS作为HDFS协议的底层存储。 图2 存算分离方案中的OBSFileSystem
大数据场景下使用OBS实现存算分离 方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
当该桶不支持用量统计时,“用量分析”卡片在此处不展示。 在“监控告警”下查看桶的告警类型及次数,单击右上角“告警详情”可进入“云监控服务-告警记录”页面查看详情,如下所示。 图3 桶的监控告警信息 当该桶不支持用量统计时,“监控告警”卡片在此处不展示。 在“域名信息”下查看桶的域名信
桶用量统计 OBS支持在对象存储控制台上查看所有桶或单个桶的存储、流量和请求的情况。 此功能需要在区域级项目配置云监控的权限策略ces:metricData:list,才能看到用量统计。配置方法请参见Cloud Eye自定义策略。 使用场景 OBS为您提供了如表1所示的几种统计分析项,帮助您了解如下信息:
Service)。对象存储服务提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。 您可以使用本文档提供的API对OBS进行相关操作,如创建、修改、删除桶,上传、下载、删除对象等。支持的全部操作请参见API概览。
流式上传、表单上传、多段上传在上传结束之后内容是固定的,只能读取,不能修改。如果Object内容发生了改变,只能重新上传同名的Object来覆盖之前的内容。 对于上传日志、视频监控和视频直播等领域生成的实时视频流,使用以上上传方式,会存在软件架构复杂、客户端发送请求频繁造成服务器压力大、数据延时等问题。为了解决以上问
访问OBS链接提示告警信息的原因和解决办法 已删除的数据是否可以恢复? 访问OBS域名失败,连接不上CA证书 为什么OBS存储的数据丢失了? OBS是否支持流量监控? OBS上传下载速率的影响因素有哪些? 对象存储与SAN存储和NAS存储相比较有什么优势? OBS的文件夹与文件系统的文件夹是否一样? OBS、EVS和SFS有什么区别?
Browser的数据,然后再重新登录OBS Browser,重新设置OBS Browser的相关信息。如果您想保留账号信息,再删除obs文件夹前,将文件里面的accounts、setting和temp另存。再次打开OBS Browser后,覆盖obs文件夹下的这3个文件。 父主题: 问题处理
可能原因四:对桶的操作,如设置桶ACL、设置生命周期,请求中均会携带消息体,会产生流量。 监控OBS流量 如果不清楚桶中流量是如何产生的,可以使用云监控服务对OBS的操作进行监控,参见监控对象存储服务。 桶内有剩余套餐,为什么仍然被按需收费? 更多关于已购买资源包却仍然被扣费的问
Turbo的存储加速方案的过程中,您可以进行采取以下运维措施,保证系统正常高效运行: SFS Turbo容量监控及告警。 SFS Turbo性能监控。 调整SFS Turbo数据淘汰策略。 SFS Turbo容量及性能扩容。 OBS性能监控。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。
如果想要将本地test文件夹上传OBS桶中,对应命令是: ./obsutil cp /test/ obs://bucket-test -r -f cp上传命令详解请参考上传对象。 更多上传场景请参考上传示例。 运行./obsutil cp obs://bucket-test/test.txt /temp/test1
安全 责任共担 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 认证证书
设置用户权限 创建IAM委托 通过CES服务监控桶的上传流量、下载流量、GET类请求次数、PUT类请求次数、GET类请求首字节平均时延、4xx异常次数和5xx异常次数。 云监控服务(Cloud Eye Service) Cloud Eye控制台监控指标 通过CTS服务收集OBS资源操作记录,便于日后的查询、审计和回溯。
不同资源包抵扣的费用不同,详见资源包概述。请确认是否已经购买了产生按需费用的计费项所对应的资源包。 如果未购买,产生按需计费为正常现象;如果已购买,请继续按照下面的思路排查。 判断资源包额度是否超出 如果当月使用量超出已购买资源包的额度,超出部分将自动转为按需计费。如何查看OBS资源包使用情况? 资源
详情请参见日志记录。 使用云监控服务对安全事件进行实时监控、告警 您在使用OBS的过程中会也可能会遇到服务端返回的错误响应,为使您更好地掌握OBS桶的状态,华为云提供了云监控服务(Cloud Eye)。您可使用该服务监控自己的OBS桶,执行自动实时监控、告警和通知操作,帮助您实时
多AZ的状态。开启多AZ后,数据冗余存储至多个AZ中。归档存储的桶不支持多AZ功能。 拥有者 桶的拥有者是指桶创建者的账号。 账号ID 桶的拥有者全局唯一标识,与“我的凭证”页面的“账号ID”相同。 创建时间 桶的创建时间。 “存储用量”和“对象数量”非实时数据,系统更新存在至少15分钟的延迟。 父主题: 桶管理
#指定hadoop的配置文件,注意core-site.xml需要按照https://github.com/huaweicloud/obsa-hdfs/tree/master/release/doc配置 hive.config.resources=/home/modules/hadoop-2
loadPartRequest.setOffset和UploadPartRequest.setPartSize来设置每段的起始结束位置。下面的示例代码展示了如何使用分段上传并发上传大文件。 1 2 3 4 5 6 7 8 9 10 11 12