检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib 重启Hive集群。 父主题: 对接大数据平台
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
获取桶存量信息(Python SDK) 功能介绍 调用获取桶存量信息接口,可查询指定桶内的对象个数,以及对象占用空间的大小。 由于OBS桶存量是后台统计,因此存量会有一定的时延,不能实时更新,因此不建议对存量做实时校验。 接口约束 您必须是桶拥有者或拥有获取桶存量信息的权限,才能
获取桶元数据 功能介绍 对桶拥有读权限的用户可以执行查询桶元数据是否存在的操作。 请求消息样式 1 2 3 4 HEAD / HTTP/1.1 Host: bucketname.obs.cn-north-4.myhuaweicloud.com Date: date Authorization:
操作流程 大数据场景下使用OBS实现存算分离的操作流程如图1所示。 图1 操作流程 配置的核心是完成大数据平台与OBS对接,实现OBS作为大数据的统一数据湖存储。本文档提供三种主流大数据平台的对接指导,详情请参见支持的大数据平台简介。 (可选)OBS除了可以与主流大数据平台对接外
查询授权 功能介绍 本接口用于查询授权,查询由OBS服务自动帮助用户创建工作流运行时需要的函数服务权限,以及函数服务运行时的权限。该函数具有幂等性。 请求消息样式 GET /v2/workflow-authorization HTTP/1.1 Host: obs.cn-north-4
应用场景 大数据分析 场景描述 OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景,向用户提供低成本、高性能、不断业务、无须扩容的解决方案。 海量数据存储分析的典型场景:PB级的数据存储,批量数据分析,毫秒级的数据详单查询等
查询工作流详情 功能介绍 本接口用于根据工作流名称查询工作流详细信息。 请求消息样式 GET /v2/workflows/{graph_name} HTTP/1.1 Host: obs.cn-north-4.myhuaweicloud.com Authorization: authorization
format_exc()) # 关闭workflowClient workflowClient.close() 相关链接 关于查询工作流的API说明,请参见查询工作流。 查询工作流过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 父主题: 工作流管理
查询对象属性 功能说明 查询对象的基本属性。 命令结构 Windows操作系统 obsutil stat obs://bucket/key [-acl][-bf=xxx] [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统
获取桶存量信息(Go SDK) 功能介绍 调用获取桶存量信息接口,可查询指定桶内的对象个数,以及对象占用空间的大小。 由于OBS桶存量是后台统计,因此存量会有一定的时延,不能实时更新,因此不建议对存量做实时校验。 接口约束 您必须是桶拥有者或拥有获取桶存量信息的权限,才能获取桶存
format_exc()) # 关闭workflowClient workflowClient.close() 相关链接 关于查询工作流实例的API说明,请参见查询工作流实例。 查询工作流实例过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 父主题: 工作流实例管理
format_exc()) # 关闭workflowClient workflowClient.close() 相关链接 关于查询桶触发器的API说明,请参见查询桶触发器。 查询桶触发器过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 父主题: 触发器策略管理
查询桶属性 功能说明 查询单个桶的基本属性,包括桶的默认存储类型、桶的区域、桶的版本号、桶是否支持文件接口、桶的可用区、桶中对象数量、桶的存储用量以及桶的配额。 命令结构 Windows操作系统 obsutil stat obs://bucket [-acl] [-bf=xxx]
format_exc()) # 关闭workflowClient workflowClient.close() 相关链接 关于查询工作流列表的API说明,请参见查询工作流列表。 查询工作流列表过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 父主题: 工作流管理
如何查看桶内的文件夹大小? 可以使用obsutil列举对象命令,指定前缀为需要查看的文件夹进行列举。 以Linux操作系统为例,运行./obsutil ls obs://bucket-test/test/ -du -limit=0命令,查询桶bucket-test下test文件夹的大小。
志审计以及细粒度的权限控制,保障数据安全可信。 千亿对象,千万并发:OBS通过智能调度和响应,优化数据访问路径,并结合事件通知、传输加速、大数据垂直优化等,为各场景下用户的千亿对象提供千万级并发、超高带宽、稳定低时延的数据访问体验。 图2 千亿对象,千万并发的数据访问体验 简单易用,便于管理:OBS支持标准REST
云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录OBS的管理事件和数据事件用于审计。
查询工作流实例列表 功能介绍 本接口用于查询用户工作流的实例列表。 请求消息样式 GET /v2/workflowexecutions?x-workflow-next-marker={marker}&x-workflow-limit={limit}&x-workflow-grap
format_exc()) # 关闭workflowClient workflowClient.close() 相关链接 关于查询工作流实例列表的API说明,请参见查询工作流实例列表。 查询工作流实例列表过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 父主题: 工作流实例管理