检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。
关于并行文件系统和专属对象存储的计费说明,请参考产品价格详情。 计费项 OBS计费项由存储费用、请求费用、流量费用、数据恢复费用和数据处理费用组成,如图1所示。 图1 OBS计费项一览 计费模式 OBS提供按需计费和包年包月两种计费模式,用户可以根据实际需求选择资源的计费模式。
参考设置对象元数据(Harmony SDK)章节,设置对象的访问权限为公共读。 参考如何获取对象URL章节,获取对象的URL提供给匿名用户。 匿名用户通过浏览器打开获取的URL,可访问到该对象。 父主题: 常见问题(Harmony SDK)
当用户获取此对象或查询此对象元数据时,加入的自定义元数据将会在返回的消息头中出现。 约束限制: 如果请求携带了此头域,那么响应的消息中应该包含此消息头。 所有自定义元数据大小的总和不超过8K。单个自定义元数据大小的计算方式为:每个键和值的UTF-8 编码中的字节总数。
管理对象(Node.js SDK) 设置对象元数据(Node.js SDK) 获取对象元数据(Node.js SDK) 设置对象ACL(Node.js SDK) 获取对象ACL(Node.js SDK) 列举桶内对象(Node.js SDK) 删除对象(Node.js SDK) 批量删除对象
授权操作 动作范围:自定义配置 选择动作: ListBucket(列举桶内对象,获取桶元数据) PutObject(可用作于PUT上传,POST上传,上传段,初始化上传段任务,合并段) 单击右下角的“创建”,完成桶策略创建。 权限配置信息可以在桶策略列表查看。
format(resp.header)) else: print('errorCode: %s, errorMessage: %s', resp.errorCode, resp.errorMessage) return "ERROR" # 获取转码命令元数据
授权操作 动作范围:自定义配置 选择动作: ListBucket(列举桶内对象,获取桶元数据) PutObject(可用作于PUT上传,POST上传,上传段,初始化上传段任务,合并段) 单击右下角的“创建”,完成桶策略创建。 权限配置信息可以在桶策略列表查看。
下载对象 对象下载简介 流式下载 范围下载 获取下载进度 限定条件下载 重写响应头 获取自定义元数据 下载归档存储对象 断点续传下载 图片处理
SDK) 获取对象元数据(Harmony SDK) 设置对象ACL(Harmony SDK) 获取对象ACL(Harmony SDK) 恢复归档或深度归档存储对象(Harmony SDK)
您可以从日志分析章节获取更多关于SDK日志的介绍。 如果不设置日志文件存放的目录,日志文件默认存放于SD卡的logs目录下。 父主题: 初始化
AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险 # 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html ak = os.getenv
下载对象 对象下载简介 流式下载 范围下载 异步下载 获取下载进度 限定条件下载 重写响应头 获取自定义元数据 下载归档存储对象 断点续传下载 图片处理
0, sizeof(put_file_object_callback_data)); // 打开文件,并获取文件长度 content_length = open_file_and_get_length(file_name, &data); // 设置回调函数
管理文件夹 创建文件夹 分享文件夹 统计文件夹中的对象数量和大小 父主题: 对象管理
华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。
Distcp方式迁移 Hadoop Distcp(Distributed copy)主要是用于Hadoop文件系统内部或之间进行大规模数据复制的工具,它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。
单击对象列表中的“mountain.jpg”,进入文件详情页面。 单击“图片预览”页签,您可以在此页面预览使用该图片样式的图片效果。 图3 图片预览 单击“复制链接”,按钮提示“复制成功”时,即可获取到图片文件的访问地址来使用图片。 父主题: 图片处理
请确认您已经熟悉OBS的基本概念,如桶(Bucket)、对象(Object)、访问密钥(AK和SK)、终端节点(Endpoint)和访问域名等。 使用OBS客户端进行接口调用成功后,均会返回包含响应头信息的SDK公共响应头实例(或其子类实例)。
MD5值校验通过后,会将该值设置为对象元数据x-obs-meta-md5chksum,用于下载或复制时校验MD5。 注意: 如果您的业务涉及加密场景,请勿使用该参数。 p 附加参数,可选 每个分段上传任务的最大并发数,默认为配置文件中的defaultParallels。