检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive支持ZSTD压缩格式 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC,RCFile,TextFi
zstd压缩算法有什么优势? 问: zstd压缩算法有什么优势? 答: ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式。 具体详细请参考https://github.com/L-Angel/compress-demo。
Hive支持ZSTD压缩格式 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC、RCFile、TextFi
检查源路径(文件)或目标路径(文件)是否存在。 检查文件类型是否正确,确保文件以正确的压缩格式结尾。 启用sudo权限或修改目录文件权限属性。 父主题: 解压文件
解压文件 没有找到解压文件 原生命令Compress-Archive打包时包含反斜杠“\” 部署应用中断 权限不够 参数含反斜杠“\”(特例) 环境下没有主机 环境不存在 windows主机部署应用失败 使用sudo权限执行报错 部署进程被第三方杀毒软件拦截 路径不合法 在Centos上安装软件提示网络故障
-128。 环境 选择当前资源类型为主机集群的环境,作为部署对象。 解压文件 指定待解压文件的路径和解压目录。 控制选项 配置是否启用该操作。 失败后继续运行:当前步骤部署失败后,应用是否继续部署后续的步骤。 使用sudo权限执行:配置是否使用sudo权限部署该步骤。 若在部署过
使用ZSTD_JNI压缩算法压缩Hive ORC表 操作场景 ZSTD_JNI是ZSTD压缩算法的native实现,相较于ZSTD而言,压缩读写效率和压缩率更优,并允许用户设置压缩级别,以及对特定格式的数据列指定压缩方式。 目前仅ORC格式的表支持ZSTD_JNI压缩方式,而普通
HiLens Studio中如何解压缩文件? HiLens Studio基于Linux系统,使用Linux解压缩命令即可实现解压缩文件。 父主题: HiLens Studio使用
文件备份概述 文件备份功能当前处于受限使用状态。 文件备份简介 云备份服务提供了文件备份功能,支持为云上服务器和本地文件目录进行备份,无需再以整机或整盘的形式进行备份。云上服务器可以是华为云服务器,也可以是第三方云厂商的云服务器。当文件数据发生人为误删除、文件故障等事件时,可将数据恢复到任意备份时间点。
创建文件系统 功能介绍 创建文件系统 URI PUT / 请求参数 表1 请求Header参数 参数 是否必选 参数类型 描述 Authorization 是 String 签名信息 Date 是 String 请求时间 x-obs-bucket-type 是 String 通过此消息头明确创建文件系统。
上传文件或文件夹 上传文件操作可将本地文件或文件夹存储至OBS,对象的存储类别默认与桶的存储类别一致。 背景信息 OBS Browser+使用分段上传功能上传文件。通过分段上传功能,OBS Browser+支持上传最大为48.8TB的单个文件。 文件或文件夹名称长度不能超过102
OBS的文件夹与文件系统的文件夹是否一样? 不一样。 OBS并没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。实际上在OBS内部是通过在对象的名称中增加“/”,将该对象在OBS管理控制台上模拟成一个文件夹的形式展现。 父主题: 产品咨询
快速卸载 快速卸载前请确认OBS桶中无文件,否则会导致删除失败。 解决方案部署成功后,单击该方案堆栈后的“删除”。 图1 一键卸载 在弹出的删除堆栈确认框中,输入Delete,单击“确认”,即可卸载解决方案。 图2 删除堆栈确认 父主题: 实施步骤
在对象存储服务(OBS)上创建一个目标桶,企业业务系统从该桶中获取解压后的文件; 在函数工作流服务(FunctionGraph)上创建一个Python语言的解压函数,当有压缩包上传到OBS服务上的源桶时,自动触发该函数解压文件并保存到目标桶。 在统一身份认证服务(IAM)上创建一个委托,用于授
必填 OBS桶名称,全局唯一,用于存放解压缩后的文件。取值范围:3~63个字符,支持小写字母、数字、中划线(-)、英文句号(.)。 decompressed-files-bucket-demo 登录华为云解决方案实践,选择"无服务器文件解压",跳转至该解决方案一键部署界面,单击一键部署,进入选择模板界面。
附录 名词解释 基本概念、云服务简介、专有名词解释: 对象存储服务OBS:对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。 函数工作流FunctionGraph:Function
实施步骤 准备工作 快速部署 开始使用 快速卸载
-bucket-demo”,上传zip压缩包: 图2 上传压缩文件 选择用于存放结果的“decompressed-files-bucket-demo”桶,即可获取zip压缩包内解压缩后的文件: 图3 获取解压缩后的文件 通过华为云SDK使用 企业业务系统可通过华为云提供的SDK服
修订记录 表1 修订记录 发布日期↵ 修订记录↵ 2022-10-30 第一次正式发布。↵ 2023-03-09 修订实施步骤。
资源和成本规划 该解决方案主要部署如下资源,以下花费仅供参考,具体请参考华为云官网价格详情,实际收费以账单为准: 表1 资源和成本规划 华为云服务 计费说明 每月花费(调用1000次) 对象存储服务 OBS 区域:华北-北京四 存储空间:数据存储(多AZ存储) 默认存储类别:标准存储