检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
tricData:list,才能看到用量统计。配置方法请参见Cloud Eye自定义策略。 使用场景 OBS为您提供了如表1所示的几种统计分析项,帮助您了解如下信息: 表1 用量统计说明 统计类别 统计项 说明 存储 存储总趋势 包含桶中所有对象的存储总量以及桶中的文件总个数趋势。
xml文件放到classpath根目录,或者调用Log4j2Configurator.setLogConfig直接指定log4j2.xml文件的路径。 您可以从日志分析章节获取更多关于SDK日志的信息。 您可以根据实际需要通过修改log4j2.xml文件来配置日志文件权限。 父主题: 初始化(Java SDK)
入门。 CTS支持追踪的OBS管理事件和数据事件列表,请参见审计。 图1 云审计服务 日志 出于分析或审计等目的,用户可以开启桶的日志记录功能。通过访问日志记录,桶的拥有者可以深入分析访问该桶的用户请求性质、类型或趋势。当用户开启一个桶的日志记录功能后,OBS会自动对这个桶的访问
介绍了每个接口的参数和使用方法。 使用OBS BrowserJS SDK对接OBS服务可能会遇到许多问题,您可以通过下面介绍的步骤进行问题分析和定位: 确保使用的是OBS BrowserJS SDK的最新版本,您可以从这里下载最新版本; 确保使用OBS BrowserJS SDK
Trace Service,简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录OBS的管理事件和数据事件用于审计。
log_to_console:true // 配置是否将日志打印到console }); 日志功能默认是关闭的,需要主动开启。 您可以从日志分析章节获取更多关于SDK日志的信息。 父主题: 初始化(Node.js SDK)
结束后,根据不同的运行结果生成不同的返回码,具体的返回码及其含义如表1所示。您可以通过以下方式获取最近一次运行结果的返回码,然后根据返回码分析并处理问题。 macOS/Linux操作系统,执行以下命令获取最近一次运行结果的返回码: echo $? Windows操作系统,执行以下命令获取最近一次运行结果的返回码:
该指标用于统计周期内平均每秒内网上传对象大小总和。 单位:字节/s ≥ 0 byte/s 用户 桶 域名 1分钟 cdn_bytes cdn回源带宽 该指标用于统计周期内cdn回源请求对象大小的每秒平均值,当前只统计公网流出。 单位:字节/s ≥ 0 byte/s 用户 桶 1分钟 download_traffic
跨区域复制流量包用于抵扣通过跨区域复制功能将源桶数据复制到另一个区域的目标桶时所产生的流出流量费用; 回源流量包用于抵扣使用OBS作为华为云CDN加速域名源站时,CDN向源站OBS获取文件产生的回源流量费用。 如果您的OBS存在公网流出流量、跨区域复制流量或回源流量,请确保已购买对应的流量包。
如果OBS桶开启了静态网站托管功能的同时要配置CDN加速,请在配置CDN加速域名时勾选“静态网站托管”,这样用户访问单个静态文件时就不会列出桶中所有文件列表。同时,请在CDN域名的源站配置页面勾选“静态网站托管”。具体请参见为什么OBS桶接入CDN后,访问域名会列出所有文件列表? 设置静态网站托管
OBS允许您对桶设置访问日志记录,设置之后对于桶的访问会被记录成日志,日志存储在OBS上您指定的目标桶中。 出于分析或审计等目的,用户可以开启日志记录功能。通过访问日志记录,桶的拥有者可以深入分析访问该桶的用户请求性质、类型或趋势。 当用户开启一个桶的日志记录功能后,OBS会自动对这个桶的访问
而帮助您对资源进行使用量分析或成本核算等。 对于OBS,标签用于标识桶,对OBS中的桶进行分类,从而帮助您对OBS资源进行相关分析等。 当为桶添加标签时,该桶上所有请求产生的计费话单里都会带上这些标签,从而可以针对话单报表做分类筛选,进行更详细的成本分析。例如:某个应用程序在运行
区域 桶所在的区域。 创建时间 桶的创建时间。 在“用量分析”下查看桶的存储、流量、请求信息,以及对应信息的月环比,如下所示。单击右上角的“查看用量分析”可进入“用量统计”页面查看详情。 图2 桶的用量分析 表2 桶的用量分析参数说明 参数 说明 存储 桶中存储的对象占用的总存储量
OBS允许您对桶设置访问日志记录,设置之后对于桶的访问会被记录成日志,日志存储在OBS上您指定的目标桶中。 出于分析或审计等目的,用户可以开启日志记录功能。通过访问日志记录,桶的拥有者可以深入分析访问该桶的用户请求性质、类型或趋势。 当用户开启一个桶的日志记录功能后,OBS会自动对这个桶的访问
通过不同策略控制OBS权限 数据上云 搬迁本地数据至OBS 迁移第三方云厂商数据至OBS 备份本地数据至OBS 内网访问 在ECS上通过内网访问OBS CDN加速 通过CDN加速访问OBS 静态网站托管 使用自定义域名托管静态网站 性能和安全 使用预签名URL方式访问OBS 性能优化最佳实践 02 购买
该指标用于统计周期内平均每秒内网上传对象大小总和。 单位:字节/s ≥ 0 byte/s 用户 桶 域名 1分钟 cdn_bytes cdn回源带宽 该指标用于统计周期内cdn回源请求对象大小的每秒平均值,当前只统计公网流出。 单位:字节/s ≥ 0 byte/s 用户 桶 1分钟 download_traffic
应用客户端每个请求都将向应用服务器申请预签名URL,该预签名URL有效期由应用服务器管理。具体流程如图1。 图1 移动应用访问OBS数据流程 角色分析如下: 应用客户端:即最终用户手机上的APP,负责向应用服务器申请包含预签名的URL,以及访问OBS完成数据上传或下载。 应用服务器:即提
详情中“对象存储服务”的内容。 假设某用户于2023年7月1日对15TB数据做图片处理。由于数据处理费用无适用的资源包,则按照按需计费方式分析如下。 0~10TB范围内的数据免费,因此该用户的数据处理费用为: 数据处理费用= (15TB - 10TB) * 1024 * 0.025元/GB
是否支持统计文件夹内的文件数目及大小 OBS Browser+不支持统计文件夹内的文件数目及大小,可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du