检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataX对接OBS 概述 DataX是一个数据同步框架,实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDF
转至6。 在“策略内容”下配置策略,如图所示。 选择“允许”。 选择云服务,勾选“弹性文件服务(SFSTurbo)”。 选择“操作”,勾选只读操作“sfsturbo:shares:showShareNic”、“sfsturbo:shares:listShareNics”,勾选写操
拥有该权限的用户拥有除IAM外,其他所有服务的所有执行权限。 系统角色 无 Tenant Guest 拥有该权限的用户拥有除IAM外,其他所有服务的只读权限。 系统角色 无 OBS Administrator 拥有该权限的用户为OBS管理员,可以对账号下的所有OBS资源执行任意操作。 系统策略
收取。产生的标准存储类别的对象副本有效期将会延长,并且收取延长时间段产生的标准存储副本费用。 例如:您在昨天执行了一次恢复操作,有效期设置为7天,在今天同一时间又执行了一次恢复操作,有效期设置为8天,那么该归档存储对象的有效期为8天,收取的费用包含:两次恢复的费用,以及一个标准存储对象副本9天的费用。
Many)功能,即一次写入多次读取,实现对象在用户指定的时间段内不能被删除和篡改。目前OBS支持桶级和对象级的WORM功能,提供合规模式一种对象锁定模式。 使用场景 OBS提供合规模式的WORM功能,合规模式是指如果您给一个对象应用了WORM,那么任何用户在指定时间内都不能覆盖或删除受保护的对象版本,包括账号中的根用户。
获取自定义元数据 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 下载对象成功后会返回对象的自定义元数据。 本示例用于下载桶名为“bucketname”里,名称为“objectn
数据处理费用 当您使用图片处理功能时,对象存储服务OBS会收取相应的费用。 计费说明 资费项 计费项 含义 适用的计费模式 数据处理费用 图片处理 被处理的原图片的实际大小。 具体请参见图片处理如何收费? 按需计费 产品定价 详细的服务资费费率标准请参见产品价格详情中“对象存储服务”的内容。
您可以通过deleteObjects批量删除对象。 每次最多删除1000个对象,并支持两种响应模式:详细(verbose)模式和简单(quiet)模式。 详细模式:返回的删除成功和删除失败的所有结果,默认模式。 简单模式:只返回的删除过程中出错的结果。 以下代码展示了如何进行批量删除对象: static
如果桶中只有静态网站文件,则配置桶策略为“对象只读”,使桶内所有文件能被公开访问。 单击“权限控制>桶策略”。 单击“创建”。 配置桶策略信息。 图2 配置对象只读权限 表2 配置公共读策略参数配置说明 参数 说明 策略配置方式 可视化视图:采用可视化界面配置,操作简单。 JSON视图:代码模式配置,采用JSON语法格式进行配置。
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
选择桶策略模板。详细参数说明请参见桶策略。 图1 选择公共读模板 图2 选择公共读写模板 图3 选择桶只读模板 图4 选择桶读写模板 图5 选择目录只读模板 图6 选择目录读写模板 图7 选择对象只读模板 图8 选择对象读写模板 表1 桶策略模板 被授权用户 授权资源 模板名称 模板动作 高级设置
cp obs://src-bucket obs://dst-bucket -f -r -crr 要使用跨区域复制模式,必须指定-crr参数;如果设置了该参数,必须确保更新了配置文件中客户端跨区域复制的相关配置信息,具体可参考更新配置文件。 复制时源桶对应的配置信息为配置文件中的:a
授予OBS桶中某个对象或某类对象的读权限。 推荐配置方法 对单个IAM用户授予资源级别权限,推荐使用桶策略。 配置须知 本案例预置的“对象只读”模板允许指定IAM用户对桶内指定对象执行以下权限: GetObject:获取对象内容、获取对象元数据 GetObjectVersion:
设置图片效果 设置亮度 此功能支持控制台图形界面模式和代码编辑模式使用,也支持通过接口调用模式使用。 具体的参数说明如表1所示。 操作名称:bright 表1 亮度参数说明 参数 取值说明 代码样例 value 调整图片亮度,取值范围为[-100,100]。 原始的亮度值为0。亮度从-100至100递增。
格式转换与渐进显示 格式转换 此功能在控制台图形界面模式和代码编辑模式使用,也支持通过接口调用模式使用。可以将原图转换为支持的图片格式,具体说明如表1所示。 支持的原图格式:jpg、jpeg、png、bmp、webp、gif、tiff。 支持输出的目标图格式:jpg、png、bmp、webp。
对象的详细过期信息。 约束限制: 无 取值范围: 当对象单独设置了对象lifecycle,过期时间以对象lifecycle为准,该消息头用expiry-date描述对象的详细过期信息;如果对象没有设置对象lifecycle,设置了桶级别lifecycle,过期时间以桶级别lifecycl
设置缩略 此功能支持控制台图形界面模式和代码编辑模式使用,也支持通过接口调用模式使用。通过resize操作能够使图片按照一定规则进行缩放,支持按照指定宽高和比例进行缩放。 关于长短边:长边是指原尺寸与目标尺寸的比值大的那条边,短边同理。例如原图为400px*200px,缩放为100px*100px,由于
去除图片元信息 此功能支持在控制台代码编辑模式和接口调用模式使用。 通过此操作可以去除图片元信息。 操作名称:strip 示例 去除图片元信息。 https://e-share.obs.cn-north-1.myhuaweicloud.com/example.jpg?x-imag
设置水印 公共参数 此功能在控制台图形界面模式和代码编辑模式使用,也支持通过接口调用模式使用。 可以将文字内容或另一张图片设置为原图的水印。 添加水印中的文字内容和字体或图片水印路径均需使用用于URL传输的Base64编码。标准的Base64编码并不适合直接放在URL里传输。用于
为什么会有碎片产生? 桶中不完整的数据称之为碎片,通常是由于数据上传失败而产生的。 OBS采用分段上传的模式上传数据,在下列情况下(但不仅限于此)通常会导致数据上传失败而产生碎片。 网络条件较差,与OBS的服务器之间的连接经常断开。 上传过程中,人为中断上传任务。 设备故障。 突然断电等特殊情况。