检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
之间进行大规模数据复制的工具,它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。它把文件和目录的列表作为map任务的输入,每个任务会完成源列表中部分文件的拷贝。 配置指南 参考Hadoop对接OBS中hadoop-huaweicloud的安装和配置方法,完成OBS相关配置。
被授权用户:所有账号 授权资源 资源范围:指定对象 资源路径:*(*表示桶内所有对象) 授权操作 动作范围:模板配置 模板:对象只读 单击“创建”,完成桶策略创建。 权限配置信息可以在桶策略列表查看。 图3 查看桶策略列表权限配置信息 验证:在浏览器输入本桶的访问域名,结果显示为重定向的桶或重定向的URL。
无,如果不赋值则默认获取所有桶和并行文件系统列表。 表2 BucketType 可选值 说明 OBJECT 对应类型为对象存储桶。 POSIX 对应类型为并行文件系统(POSIX)。 返回结果说明 表3 返回结果 参数类型 描述 表4 说明: 该接口返回是一个Promise类型,
os.Getenv("AccessKeyID") sk := os.Getenv("SecretAccessKey") // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。
初始化概述(Java SDK) 完成SDK安装之后,您还需要进行初始化工作,初始化工作主要包括两方面,一方面客户端的创建和配置,另一方面是SDK日志配置。 表1 初始化概述 初始化任务 子任务 是否必选 说明 创建并配置客户端 创建客户端 是 OBS客户端是使用Java SDK访问OBS服务的必备
String sk = System.getenv("SECRET_ACCESS_KEY_ID"); // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。 // 您可以通过环境
ACCESS_KEY_ID, secret_access_key: process.env.SECRET_ACCESS_KEY, // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。
源桶和目标桶的多版本控制状态必须保持一致。 一个源桶的跨区域复制只能有一个目标桶和IAM委托,后面创建的规则中的目标桶和IAM委托会覆盖已创建规则的目标桶和委托。 根据业务规划配置跨区域复制规则,参数的详细说明如表1所示。 表1 跨区域复制规则参数 参数 说明 状态 选择启用或者禁用当
否 Int 表示重试的间隔时间,单位秒。 取值区间:[0, 86400] 是>=0的整型。 max_retry 否 Int 表示最大重试次数,没有设置时默认为3,等于0时表示不重试。 取值区间:[0, 10] >=0的整型。 next_state 否 String 表示下一个st
该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 表2 响应元素 名称 参数类型 说明 count Int 列表条数。 action_templates Array of ActionTemplateItem Action模板信息。 表3 ActionTemplateItem参数说明
归档存储适用于很少访问(平均一年访问一次)数据的业务场景,例如:数据归档、长期备份等场景。归档存储安全、持久且成本极低,可以用来替代磁带库。为了保持成本低廉,数据恢复时间可能长达数分钟到数小时不等。 深度归档存储(受限公测)适用于长期不访问(平均几年访问一次)数据的业务场景,其成本相比归
**kwargs) 接口参数 表3 请求参数列表 参数 描述 建议值 access_key_id 参数解释: 访问密钥中的AK。 默认取值: 空字符串,表示匿名用户 N/A secret_access_key 参数解释: 访问密钥中的SK。 默认取值: 空字符串,表示匿名用户 N/A server
通过互联网从OBS下载标准存储类型的数据所产生的流出流量。 恢复低频访问存储、恢复归档存储和深度归档存储类别的对象后,下载该对象产生的公网流出流量,只能按需计费。 说明: 只要通过互联网下载OBS的数据,无论是否成功,均会产生公网的流量。 下载低频访问存储、归档存储和深度归档存储类别的对象
OBS允许您对桶配置不同的存储类型,桶中对象的存储类型默认将与桶的存储类型保持一致。不同的存储类型可以满足客户业务对存储性能、成本的不同诉求。桶的存储类型分为三类,见下表: 类型 说明 OBS Android SDK对应值 标准存储 标准存储拥有低访问时延和较高的吞吐量,适用于有大量热点对象(平均一个月多次)
Response<ListBucketsOutput> 表1 请求参数列表 参数名称 参数类型 是否必选 描述 input ListBucketsInput 必选 参数解释: 获取并行文件系统列表接口入参,详情参考ListBucketsInput。 表2 ListBucketsInput 参数名称
<Size>size</Size> <ObjectNumber>number</ObjectNumber> <StandardSize>standardsize</StandardSize> <StandardObjectNumber>standardnumber</StandardObjectNumber>
策略后,用户B就拥有了对象x的控制权。 返回结果 表3 返回结果 参数类型 描述 表4 说明: 该接口返回是一个Promise类型,需要使用Promise、async/await语法处理。 参数解释: 接口返回信息,详见表4。 表4 Response 参数名称 参数类型 描述 CommonMsg
禁止“.”和“-”相邻(如:“my-.bucket”和“my.-bucket”)。 同一用户在同一区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。 本示例创建的桶的访问权限默认是私有读写,存储类型默认是标准类型,区域位置是默认区域华北-北京一(cn-north-1)。 使用
算和存储能力,这种方式导致的如表1所示的几个关键问题,已成为企业数字化转型的阻碍。 表1 传统企业在大数据场景面临的关键问题 序号 关键问题 详细描述 1 多集群数据共享难 企业数据往往分别存储在IDC多个集群,存在如下问题: 无全局视图,数据只能在集群内部使用。 拷贝是跨集群数据共享的唯一途径,数据拷贝耗时长。
视频解析输出桶中存放视频的具体目录。 例如:输入abc或abc/,均表示视频存放在abc文件夹下,如果文件夹不存在,会自动新建。输出路径为空表示存放在桶的根目录。 抽帧截图 模板作用:用于新建视频截图任务。该模板实际调用的是MPC服务的新建截图任务接口。 表4 抽帧截图属性配置说明 属性类别 参数名称 参数说明