检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
对IAM用户组授予OBS所有资源的指定操作权限 场景介绍 本案例介绍如何为华为云账号下的多个IAM用户或用户群组授予OBS所有资源的指定操作权限。 推荐配置方法 IAM自定义策略 配置须知 按照本案例配置后,可以正常通过API或SDK完成权限所允许的操作,但如果通过控制台或OBS
{ Console.WriteLine("Message: {0}", ex.Message); } 由于 HTTP 编码规范限制,无法发送非 ASCII 码字符,SDK 会在接收响应时使用 url 解码规则解码响应头中的信息。如您的元数据存储的 content-disposition
[INFO]: http.go:287|Do http request cost 2597 ms 日志级别 当系统出现问题需要定位且当前的日志无法满足要求时,可以通过修改日志的级别来获取更多的信息。SDK提供了代表日志级别的枚举常量以设置不同的日志级别,具体说明如下: 常量名 原始值
则会抛出异常(HTTP状态码为409)。 追加上传返回的ETag是当次追加数据内容的ETag,不是完整对象的ETag。 单次追加上传的内容不能超过5GB,且最多支持10000次追加上传。 追加上传成功后,可通过 NSDictionary *temp = [response headers];NSString*
对象所在的桶、对象名、对象属性、对象输入流等。 通过操作对象输入流可将对象的内容读取到本地文件或者内存中。 由于 HTTP 编码规范限制,无法发送非 ASCII 码字符,SDK 会在接收响应时使用 url 解码规则解码响应头中的信息,。如您的元数据存储的 content-disposition
对象所在的桶、对象名、对象属性、对象输入流等。 通过操作对象输入流可将对象的内容读取到本地文件或者内存中。 由于 HTTP 编码规范限制,无法发送非 ASCII 码字符,SDK 会在接收响应时使用 url 解码规则解码响应头中的信息,。如您的元数据存储的 content-disposition
单位:% ≥ 0,≤100 用户 桶 接口 1分钟 request_break_rate 请求中断率 该指标用于衡量因客户端中断请求而导致请求失败的情况。客户端中断请求的数量占总请求数的百分比,计算方式: (客户端中断请求数量/总请求数量)*100% 单位:% ≥ 0,≤100 用户
如果您在宽限期内仍未支付欠款,那么就会进入保留期,资源状态变为“已冻结”。保留期内不能访问及使用按需资源,但对存储在OBS中的数据仍予以保留。 保留期到期后,如果您仍未支付账户欠款,那么OBS中存储的数据将被删除,数据无法恢复。 图1 按需计费OBS资源生命周期 华为云宽限期和保留期详情和时长规则详见:宽限期保留期。
消删除”文件,而非彻底删除。具体步骤请参见相关操作。 如果删除的是不带“删除标记”的版本,则会彻底删除该历史版本。即使后续该文件找回后,也无法恢复这个被彻底删除的历史版本。 前提条件 OBS桶的多版本控制功能已启用。启用方法请参见多版本控制。 待找回的文件在“已删除对象”列表中,
in.close(); 如果指定的范围无效(比如开始位置、结束位置为负数,大于文件大小),则会返回整个对象。 由于 HTTP 编码规范限制,无法发送非 ASCII 码字符,SDK 会在接收响应时使用 url 解码规则解码响应头中的信息,。如您的元数据存储的 content-disposition
HPC型文件系统。 图2 关联SFS Turbo 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。 一个SFS Turbo文件系统最多可关联1个网络。 父主题: 基本配置
保持成本低廉,数据恢复时间可能长达数分钟到数小时不等。 归档存储的对象正在恢复的过程中,不允许暂停或删除恢复任务。 对象状态为恢复中的对象不能再次恢复。 操作步骤 登录OBS Browser+。 单击待恢复文件所在的桶,进入对象列表页面。 选中待恢复文件,单击“更多”->“恢复对象”,如下图1所示。
指定对象过期时间,单位是天。过期之后对象会被自动删除。 示例:x-obs-expires:3 约束限制: 设置的天数计算出的过期时间不能早于当前时间,如10天前上传的对象,不能设置小于10的值。 取值范围: 大于0的整数值。 默认取值: 无 x-obs-tagging String 否 参数解释:
|OBS_LOGGER|wrapper,59|listBuckets cost 56 ms| 日志级别 当系统出现问题需要定位且当前的日志无法满足要求时,可以通过修改日志的级别来获取更多的信息。其中DEBUG日志信息最丰富,ERROR日志信息最少。 具体说明如下: DEBUG:调
支持变更为包年包月(资源包)计费模式。 变更计费模式 适用场景 适用于可预估使用周期的场景,价格比按需计费模式更优惠,对于长期使用者,推荐该方式。 按需计费适用于具有不能中断的短期、突增或不可预测的场景,例如请求、数据读取、图片处理等。 查看账单中计费项的计费模式 您可以通过查看账单,明确每一个收费项的计费模式是按需还是包年包月(资源包抵扣):
新安装SDK时,请务必删除已安装的esdk_obs_python-<versionId>-*.egg文件夹。 如果按照上述步骤安装完成后仍无法加载SDK的模块,请直接将OBS Python SDK中src文件夹的绝对路径,加入到Python的模块搜索的路径集(sys.path列表)中。
资源包购买完成后可以直接使用OBS,无需绑定,系统会根据资源包和桶属性自动匹配。当资源包和桶属性一致时,会自动使用资源包抵扣对应的计费项,无法抵扣的计费项将按需计费。 购买指引 图1向您介绍了各个OBS资源包的购买场景,帮助您明确在不同的场景下应该购买哪些OBS资源包。 图1 OBS资源包购买指引
SetObjectAclInput 参数名称 参数类型 是否必选 描述 Bucket string 必选 参数解释: 桶名。 约束限制: 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。 桶命名规则如下: 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。 禁止使用IP地址。
抛出异常(HTTP状态码为409)。 每次追加上传返回的ETag是当次追加数据内容的ETag,不是完整对象的ETag。 单次追加上传的内容不能超过5GB,且最多支持10000次追加上传。 追加上传成功后,可通过AppendObjectResponse.NextPosition获取