检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS总览页数据不一致的原因是什么? 背景 进入OBS总览页的步骤如下: 登录管理控制台。 单击左上角的,选择“存储 > 对象存储服务 OBS”,进入桶列表页。 单击左侧导航栏的“总览”,进入OBS总览页面。 在“总览”页可以查看某个区域或全部区域下所有OBS资源的使用情况,包括
如果该值不为空且不以“/”结尾,则工具会自动为该值末尾加上“/”作为源对象名前缀。 请参考同步复制示例理解该参数的使用方式。 dryRun 附加参数,可选 测试模式运行,不执行实际的复制操作。 crr 附加参数,可选 复制时使用客户端跨区域复制模式,从通过数据流的方式从源桶直接复制数据到目标桶,且两个桶可以是任意两个OBS服务的桶。
SDK功能矩阵 Java、Python、C、.NET、Node.js、Android SDK对OBS各接口的支持情况请参见表1。 iOS、PHP、Go、BrowserJS、Harmony SDK对OBS各接口的支持情况请参见表2。 表1 OBS SDK功能矩阵1 接口类型 接口名
迁移第三方云厂商数据至OBS 有大量数据在第三方云厂商对象存储上的用户,需要先将第三方云厂商上的对象数据下载到本地,再通过OBS控制台、客户端等工具上传到OBS,整个过程耗时又耗力,容易存在漏传、误传等问题。 针对迁移第三方云厂商的对象数据至OBS的场景,华为云提供OMS服务。通
设置桶的网站配置 功能介绍 OBS允许在桶内保存静态的网页资源,如.html网页文件、flash文件、音视频文件等,当客户端通过桶的Website接入点访问这些对象资源时,浏览器可以直接解析出这些支持的网页资源,呈现给最终用户。典型的应用场景有: 重定向所有的请求到另外一个站点。
附加参数,复制对象时可选 复制对象时生成结果清单文件。 flat 附加参数,批量复制时可选 批量复制时,不包含上一级父对象名前缀。 dryRun 附加参数,可选 测试模式运行,不执行实际的复制操作。 crr 附加参数,可选 复制时使用客户端跨区域复制模式,以通过数据流的方式从源桶直接复制数据到目标桶,且两个桶可以是任意两个OBS服务的桶。
同步上传文件时生成结果清单文件。 arcDir 附加参数,可选 同步上传文件成功后的归档路径,上传成功后的文件会移动到该路径下。 dryRun 附加参数,可选 测试模式运行,不执行实际的上传操作。 link 附加参数,可选 上传软链接文件/文件夹指向的真实路径。 须知: 如果未指定该参数,而待上传的文
后台工程师能否导出我存储在OBS中的数据? 后台工程师无法导出用户数据。 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥有者才能够访问,访问时需要提供访问密钥(AK/SK)。 父主题: 数据安全、迁移和备份
附加参数,复制对象时可选 复制对象时生成结果清单文件。 flat 附加参数,批量复制时可选 批量复制时,不包含上一级父对象名前缀。 dryRun 附加参数,可选 测试模式运行,不执行实际的复制操作。 crr 附加参数,可选 复制时使用客户端跨区域复制模式,以通过数据流的方式从源桶直接复制数据到目标桶,且两个桶可以是任意两个OBS服务的桶。
我对存储在OBS上的数据加密时,可支持哪些加密技术? 您在将数据上传到OBS中前,可以事先对数据进行加密,以保证传输和保存的安全性。OBS不限定客户端加密的技术。 用户可根据需要对对象进行服务端加密,使对象更安全的存储在OBS中。 需要上传的对象可以通过数据加密服务器提供密钥的方
上传文件夹时,只上传该文件夹下的所有内容。 arcDir 附加参数,可选 上传文件成功后的归档路径,上传成功后的文件会移动到该路径下。 dryRun 附加参数,可选 测试模式运行,不执行实际的上传操作。 link 附加参数,可选 上传软链接文件/文件夹指向的真实路径。 须知: 如果未指定该参数,而待上传的文
Hadoop对接OBS 概述 Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
下载与安装SDK(Java SDK) 下载SDK OBS Java SDK最新版本源码:最新版本源码下载 OBS Java SDK历史版本下载地址:历史版本下载 如需采用Maven依赖方式获取SDK,请参见安装SDK章节。 安装方式概览 如表1所示,Java SDK以下安装方式。
Hortonworks HDP对接OBS 部署视图 安装版本 硬件:1master+3core(配置:8U32G,操作系统:CentOS 7.5) 软件:Ambari:2.7.1.0,HDP:3.0.1.0 部署视图 更新OBSA-HDFS工具 下载与hadoop版本配套的OBSA-HDFS工具:下载地址。
境外数据传输回国场景下的丢包和网络稳定性问题 在数据跨境传输场景下,由于您所在的网络环境可能处在运营商网络边缘节点,向运营商网络请求成功率比较低,所以可能会出现丢包和网络稳定性问题。 建议您先使用跨区域复制或者云连接 CC将数据传输回国,然后再从国内访问和下载数据。 父主题: 产品咨询
由于分段下载时生成的临时文件会保存在该目录,请确保运行obsutil的用户对该路径有写权限。 该路径的可用空间需要大于待下载对象的大小。 dryRun 附加参数,可选 测试模式运行,不执行实际的下载操作。 u 附加参数,可选 增量下载操作,设置该参数后,下载每个对象时会对比本地对应路径的文件,仅在文件不存在,