检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。 响应结果: 字段名 描述 Parallel 请求中的-p参数。 Jobs
OBS支持通过ACL对表1所示用户或用户组授予桶的访问权限。 表1 OBS支持的被授权用户 被授权用户 描述 特定用户 ACL支持通过账号授予桶/对象的访问权限。授予账号权限后,账号下所有具有OBS资源权限的IAM用户都可以拥有此桶/对象的访问权限。 当需要为不同IAM用户授予不同的权限时,可以通过桶策略配置。
对所有账号授权 对所有账号授予桶的公共读权限 对所有账号授予指定目录的读权限 对所有账号授予指定对象的读权限 向所有账号临时分享对象 父主题: 典型场景配置案例
结束后,根据不同的运行结果生成不同的返回码,具体的返回码及其含义如表1所示。您可以通过以下方式获取最近一次运行结果的返回码,然后根据返回码分析并处理问题。 macOS/Linux操作系统,执行以下命令获取最近一次运行结果的返回码: echo $? Windows操作系统,执行以下命令获取最近一次运行结果的返回码:
践。 原理介绍 客户端直接访问OBS:由于文件只存储在一个区域,距离文件存储区域较远的用户访问OBS时,响应速度可能会比较慢。 客户端使用CDN加速访问OBS:当客户端发起访问请求时,会首先通过CDN查找对此域名响应速度最快的CDN节点,并查询此节点是否有缓存客户端请求的内容。如
新上传同名的Object来覆盖之前的内容。 对于上传日志、视频监控和视频直播等领域生成的实时视频流,使用以上上传方式,会存在软件架构复杂、客户端发送请求频繁造成服务器压力大、数据延时等问题。为了解决以上问题,可以使用追加写的方式上传对象,就是在指定桶内的一个对象尾追加上传数据,做
让这些资源能被多个网站共享。 CORS配置会在两分钟内生效。 OBS系统提供的默认配置为根域名跨域访问允许所有域访问,会使客户端存在被攻击的风险。 客户端可通过在自己的桶内创建配有自己规则的crossdomain.xml,并在其flash代码中添加Security.loadPo
Data+ Data+已下线,如果需要使用数据处理服务,可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 配置Data+ 自定义函数开发规范 预置模板参数说明 Data+最佳实践 父主题: 数据处理
对象管理 对象概述 上传 下载对象 使用单链接限速限制下载流量 在线预览对象 管理对象 删除对象 管理文件夹
上传 上传概述 流式上传(PUT上传) 表单上传(POST上传) 多段上传 断点续传 追加写对象 授权第三方上传 查看上传进度 使用上传回调获取对象信息 父主题: 对象管理
客户端加密简介(Python SDK) 客户端加密是指在传输数据前,使用您选择的加密方法与加密信息,在本地进行数据加密,再将加密后结果发送至 OBS 服务器,同时将加密方法与解密所需的必要辅助信息存储到对象元数据中。在下载时 OBS SDK 会依据您提供的密钥与存储在对象元数据中
生命周期 生命周期概述 使用生命周期删除和转换对象存储类别的规则 配置生命周期规则 生命周期配置示例 生命周期元素说明 父主题: 数据管理
log_to_console:true // 配置是否将日志打印到console }); 日志功能默认是关闭的,需要主动开启。 您可以从日志分析章节获取更多关于SDK日志的信息。 父主题: 初始化(Node.js SDK)
删除对象 删除OBS桶中的对象 取消删除对象 清理碎片 父主题: 对象管理
并行文件系统 并行文件系统概述 并行文件系统支持的特性 并行文件系统约束限制 创建并行文件系统
使用单链接限速限制下载流量 使用场景 为了避免因为客户端访问OBS内的对象时占用较大的带宽,而影响其他应用的网络带宽。您可以使用OBS单链接限速功能,通过限制下载的流量,保证其他应用的网络带宽。 本章将介绍以下限速方式 通过SDK请求限速 通过对象URL限速 通过签名URL限速 通过Header头域携带限速
com 桶配置为静态网站托管时,桶的静态网站访问域名。 HTTPS HTTP 自定义域名 已通过工信部备案的域名 你可以为桶配置用户自定义的域名,通过用户自定义的域名访问桶。 HTTP 基于安全合规要求,自2023年12月30日起,华为云禁止使用path请求方式访问OBS桶(pat
授权第三方上传 使用场景 当第三方用户没有上传权限的时候,可以临时授权给第三方用户临时访问OBS服务,在授权有效期内实现对象上传。例如,部分企业拥有自己的用户管理系统,用户管理系统中的用户包括终端APP用户、企业本地用户等,这部分用户并不具有IAM用户的权限,通过授予其临时访问密钥来访问OBS。
运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。 父主题: 桶管理