检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
完成OBS相关配置。 使用示例 以迁移HDFS上的“/data/sample”目录为例,执行以下命令查看HDFS文件系统上此目录下的文件与目录。 hadoop fs -ls hdfs:///data/sample 执行以下命令,将HDFS文件系统上“/data/sample”目
监控 为什么OBS的云监控指标看不到5xx状态码统计数?
监控安全风险 OBS提供基于云监控服务CES的资源和操作监控能力,帮助用户监控账号下的OBS桶,执行自动实时监控、告警和通知操作。用户可以实时掌握桶中所产生的各类请求、流量、带宽、错误响应和存储用量等信息。 关于OBS支持的监控指标,以及如何创建监控告警规则等内容,请参见监控。
OBS是否支持流量监控? OBS支持流量监控功能: 通过OBS控制台的用量统计,能监控统计周期内的流量指标。查看方法,请参见查看用量统计。 通过云监控CES,能监控OBS包括流量指标在内的如下指标: 表1 OBS支持的监控指标(请求类) 指标ID 指标名称 指标含义 取值范围 测量对象
查看监控指标 云监控服务对OBS的监控指标进行实时监控,您可以在云监控服务控制台查看各项指标的详细监控数据。 查看OBS监控指标详情的方法,请参见查看云服务监控指标。 云监控服务对OBS的事件进行实时监控,您可以在云监控服务控制台查看事件监控的数据。请参见查看事件监控数据。 父主题:
对象存储服务监控指标说明 功能说明 本节定义了对象存储服务OBS上报云监控服务Cloud Eye的监控指标的命名空间,监控指标列表和维度,用户可以通过云监控服务提供的管理控制台或API接口来检索对象存储服务产生的监控指标和告警信息。 命名空间 SYS.OBS 监控指标 表1 OBS支持的监控指标(请求类)
使用CES监控OBS桶 监控对象存储服务 对象存储服务监控指标说明 父主题: 监控与日志
Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差别的:HDFS租约机制可以保证并发写同一个文件时不会产生一致性问题,但是OBS实现的HDFS协议不支持租约Lease机制(并发写同一个文件时将产
监控与日志 使用CES监控OBS桶 使用CTS审计OBS操作事件 使用桶日志记录OBS日志信息
为什么OBS的云监控指标看不到5xx状态码统计数? 目前OBS的云监控指标是根据用户请求的信息统计展示的。当用户出现某种请求类或存储类动作,OBS的云监控指标就会展示该请求类或存储类的指标。 例如:当用户的请求出现5xx服务端响应状态码时,那么在云监控中就可以看到5XX状态码个数的指标。
部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 并将OBSA-HDFS工具jar包(如hadoop-huaweicloud-3.1.1-hw-53.8.jar)上传到CDH各节点/opt/obsa-hdfs目录中。 hadoop-huaweicloud-x
BS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。 HDFS协议:Hadoop中定义了HDFS协议(通过FileSystem
在追踪器信息右侧,单击操作下的“删除”可以删除追踪器。删除追踪器对已有的操作记录没有影响,当您重新开通云审计服务后,依旧可以查看已有的操作记录。 父主题: 监控与日志
方的“下一步”。 选择授权范围方案时,选择“指定区域项目资源”,选择日志存储桶所在区域的项目,单击下方的“确定”完成委托创建。 父主题: 监控与日志
ySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源
runtime.properties 将druid-hdfs-storage加入druid.extensions.loadList。 配置Deep storage在OBS中的存储路径。 配置OBSA-HDFS插件。 在官方Github下载OBSA-HDFS插件:下载地址,然后拷贝到extens
每个桶默认最多绑定20个自定义域名,部分区域支持最多绑定30个自定义域名(如华南-广州),各区域支持绑定的最大值请以控制台自定义域名绑定页面的实际规格为准。 OBS自定义域名绑定暂时不支持HTTPS访问自定义域名,只支持HTTP访问自定义域名。 客户自定义域名绑定成功后,如果想使
5) 软件:Ambari:2.7.1.0,HDP:3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。 下载OBSA-HDFS工具的jar包(如hadoop-huaweicloud-3.1.1-hw-53.8.jar)到/mnt/obsjar目录。
SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满,会影响业务运行,您可以在CES云监控服务上监控SFS Turbo文件系统的容量使用情况,并创建告警规则,当容量使用率超过一定阈值,可以发送邮件、短信等告警到运维人员。当收到容量监控告警时,您需要及时清理SFS
如何对OBS桶下面的文件夹进行权限控制? 可以创建自定义桶策略,允许对指定的对象前缀配置需要的权限,即通过对象前缀来控制指定的文件夹。 例如:配置前缀为abc/,则表示所配置权限对文件夹abc生效。 具体配置请参考自定义创建桶策略(可视化视图)。 父主题: 权限相关