检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
g是对象内容的唯一标识,可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A,下载对象时ETag为B,则说明对象内容发生了变化。ETag只反映变化的内容,而不是其元数据。上传的对象或复制操作创建的对象,都有唯一的ETag。 约束限制: 当对象是服务端加密的对象时,ETag值不是对象的MD5值。
长度大于0且不超过1024的字符串。 默认取值: 无 NewObjectKey string 必选 参数解释: 修改后的目标对象名称。对象名是对象在并行文件系统中的唯一标识。对象名是对象在并行文件系统中的完整路径,路径中不包含并行文件系统名。 例如,您对象的访问地址为examplebucket
在公网环境下,对于超过100MB的大文件,建议通过分段上传方式上传。 分段上传是将单个对象拆分为一系列段分别上传,每个段都是对象数据的连续部分,您可以按照任意顺序上传段。如果其中某个段传输失败,可以重新传输该段且不会影响其他段。通过多线程并发上传同一对象的多个段,可大大提高传输效率。
SDK) 如果想让对象被匿名用户访问,可通过以下三步完成。 参考设置对象ACL章节,设置对象的访问权限为公共读。 参考如何获取对象URL章节,获取对象的URL提供给匿名用户。 匿名用户通过浏览器打开获取的URL,可访问到该对象。 父主题: 常见问题(Java SDK)
Browser+中任务数量达到了百万级别及以上,系统会处于海量查找的状态中,因批量恢复的对象数量较多,browser+在这种数量级的恢复请求下,获取真实的恢复状态会很慢,实际恢复请求已经成功。建议通过服务端或者其他途径进行查询对象的实际状态,browser+上的恢复任务,后续会自动同步到已完成列表。 父主题:
InterfaceResult Object 操作成功后的结果数据,当Status大于300时为空。 - RequestId String OBS服务端返回的请求ID。 Id2 String OBS服务端返回的请求ID2。 其他字段 请查阅对应章节的返回结果列表。 处理公共结果对象的代码示例如下: // 引入obs库
具备访问OBS权限的sk。 bucket OBS的桶名称。 size_file 指定文件滚动大小(字节)。当文件大小达到设定的值时,会生成一个新的文件。 time_file 设置文件滚动周期(分钟)。当数据写入达到设定周期时,会生成一个新的文件。 prefix 指定文件存储的目录,例如“
对当前账号下多个IAM用户或用户群组授权 对IAM用户组授予OBS所有资源的所有操作权限 对IAM用户组授予OBS所有资源的基本操作权限 对IAM用户组授予OBS所有资源的指定操作权限 对IAM用户组授予OBS指定资源的指定操作权限 对IAM用户组授予OBS指定文件夹的指定操作权限 父主题: 典型场景配置案例
域名源站时,CDN向源站OBS获取文件产生的回源流量费用。 公网流出流量包用于抵扣通过互联网从OBS下载数据到本地所产生的公网流出流量费用。 不同场景产生的流量类型如下: 用户在控制台执行对象下载和其他查询类操作(列举对象、获取桶或对象的元数据等),或者在公网使用工具、SDK不经
PUT上传和POST上传有什么区别? PUT上传中参数通过请求头域传递;POST上传则作为消息体中的表单域传递。 PUT上传需在URL中指定对象名;POST上传提交的URL为桶域名,无需指定对象名。两者的请求行分别为: PUT /ObjectName HTTP/1.1 POST / HTTP/1
如果想对象可以被匿名用户,可通过以下三步完成。 参考设置对象元数据(Harmony SDK)章节,设置对象的访问权限为公共读。 参考如何获取对象URL章节,获取对象的URL提供给匿名用户。 匿名用户通过浏览器打开获取的URL,可访问到该对象。 父主题: 常见问题(Harmony SDK)
count int 参数解释: 满足条件的运行实例个数 取值范围: 大于等于0的整型数。 默认取值: 无 nextMarker str 参数解释: 用于标明本次请求列举到的最后一个工作流实例。后续请求可以指定nextMarker等于该值来列举剩余的工作流实例。 约束限制: 如果isT
为什么SDK源码中包含acs.amazonaws.com关键字? OBS SDK 为了兼容访问aws s3服务,在源码中会包含acs.amazonaws.com关键字的固定格式。 SDK仅作常量使用,不会向该格式有其他处理,也不会对其访问。 SDK会自动兼容该场景,用户可不感知。例如:Go SDK。 父主题:
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
8是OBSA的版本号。 如hadoop版本为3.1.x,则选择hadoop-huaweicloud-3.1.1-hw-53.8.jar。 增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令,命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。
创建跨区域复制规则后,为什么对象没有复制到目标桶中? 跨区复制规则没有开启“同步历史对象”功能的时候,桶中已有的对象不会复制到目标桶中。 新上传的对象存储类别为归档存储。 跨区域复制不保证时效性,配置跨区域复制规则后,可能会出现对象不会立即进行复制的情况,请耐心等待。 父主题: 跨区域复制
在华为云首页右上角,单击“控制台”。 在右上角的用户名中选择“我的凭证”。 图1 进入我的凭证 在“我的凭证”界面,API凭证页签中,查看账号名、账号ID、用户名、用户ID、项目名称、项目ID。 每个区域的项目ID有所不同,需要根据业务所在的区域获取对应的项目ID。 图2 查看账号名、账号I
无法搜索到桶中对象或对象不存在返回403 无法搜索到桶中对象,可能是由于您输入的搜索名称不正确: OBS管理控制台和OBS Browser+支持通过前缀搜索对象,例如,您搜索“test”,搜索结果为以前缀为“test”的对象。 如果您输入的不是待搜索对象名称的前缀,则搜索不到对象。例如,您待搜索对象名称为“t