检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
后台工程师能否导出我存储在OBS中的数据? 后台工程师无法导出用户数据。 访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥有者才能够访问,访问时需要提供访问密钥(AK/SK)。 父主题: 数据安全、迁移和备份
下载相关章节完成数据迁移。 不同方式支持的操作系统、迁移数据量、操作简易程度存在差异,推荐您使用obsutil工具进行数据迁移。 为了节省您的开支,建议您配置内网DNS,通过华为云内网完成数据迁移。具体配置方法,请参见通过内网访问OBS。 表1 OBS提供的数据迁移工具 工具 支持的操作系统类型
文件接口方式的数据共享访问:由于 AI 架构需要使用到大规模的计算集群(GPU/NPU服务器),集群中的服务器访问的数据来自一个统一的数据源,即一个共享的存储空间。这种共享访问的数据有诸多好处,它可以保证不同服务器上访问数据的一致性,减少不同服务器上分别保留数据带来的数据冗余等。另外以
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项 多sink写同一文件 OBS和HDFS在一致性保证上是有差
所有域访问,会使客户端存在被攻击的风险。 客户端可通过在自己的桶内创建配有自己规则的crossdomain.xml,并在其flash代码中添加Security.loadPolicyFile("https://bucket.obs.cn-north-4.myhuaweicloud.com/crossdomain
应用场景 大数据分析 场景描述 OBS提供的大数据解决方案主要面向海量数据存储分析、历史数据明细查询、海量行为日志分析和公共事务分析统计等场景,向用户提供低成本、高性能、不断业务、无须扩容的解决方案。 海量数据存储分析的典型场景:PB级的数据存储,批量数据分析,毫秒级的数据详单查询等
通过s3fs挂载OBS对象桶 应用场景 对于原本使用本地文件系统存储数据的用户,希望把数据存储在OBS上但不改变数据的访问方式,推荐使用s3fs。 s3fs是一款基于用户空间文件系统(Filesystem in Userspace,简称FUSE)的文件系统工具,支持您在Linux
企业静态网站。 OBS数据一致性校验 对象数据在上传下载过程中,有可能会因为网络劫持、数据缓存等原因,存在数据不一致的问题。本章介绍如何利用OBS提供的通过计算MD5值的方式,对上传下载的数据进行一致性校验。 性能优化最佳实践 本章节介绍如何通过给对象添加随机前缀名,对高速率访问
在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 在左侧导航栏单击“基础配置>标签”,进入“标签”界面。 单击“添加标签”,系统弹出“添加标签”对话框。 图1 添加标签 按照表1要求输入标签的键和值。 表1 参数说明 参数 说明 标签键 输入标签的键,同一个桶标签的键不能重复。
我可以使用标签做什么? 当为桶添加标签时,该桶上所有请求产生的计费话单里都会带上这些标签,从而可以针对话单报表做分类筛选,进行更详细的成本分析。例如:某个应用程序在运行过程会往桶里上传数据,我们可以用应用名称作为标签,设置到被使用的桶上。在分析话单时,就可以通过应用名称的标签来分析此应用的成本。
器缓存后才能查看到预期效果。 使用API 设置桶的网站配置 使用SDK Java Python C Go BrowserJS .NET Android iOS PHP Node.js 父主题: 数据管理
月多次)并快速获取数据的业务场景。 低频访问存储:适用于不频繁访问(平均一年少于12次),但需要快速获取数据的业务场景。 归档存储:适用于很少访问(平均一年一次),且对数据获取速率要求不高的业务场景。 深度归档存储:适用于很少访问,访问频率低于归档存储,且对数据获取速率要求不高的业务场景。
的ADVANCED配置项中修改mapred-site.xml文件中的mapreduce.application.classpath配置项,添加路径为/usr/hdp/3.0.1.0-187/hadoop-mapreduce/*。 重启MapReduce2集群。 增加Hive对接OBS的jar包
您最多可以在一个并行文件系统下配置20条生命周期管理规则,超过20条将提示不支持。 生命周期为覆盖语义,修改桶的生命周期规则,您需要在原有规则的基础上添加规则。例如,某个Bucket已配置了生命周期规则Rule1,您需要在Rule1基础上继续追加生命周期规则Rule2,您需要执行以下操作。
Logstash对接OBS 概述 Logstash能够从多个来源采集数据、转换数据并将数据发送到存储系统中,具体请参见Logstash。本文用于描述Logstash如何对接使用OBS。 注意事项 请使用较新版本的logstash,例如≥7.10.2的版本,避免使用较老版本的logstash。
Metadata:元数据,即对象的描述信息,包括系统元数据和用户元数据,这些元数据以键值对(Key-Value)的形式被上传到OBS中。 系统元数据由OBS自动产生,在处理对象数据时使用,包括Date,Content-length,Last-modify,ETag等。 用户元数据由用户在上
水印位置九宫格如图1所示。 图1 水印位置九宫格 如果为原图同时添加文字和图片水印时,水平距离x、垂直距离y和中线垂直偏移voffset可以用于调节水印位于原图中的位置,也可以调节两张水印的布局。 图片水印 添加图片水印时使用的参数。 可以在添加水印图片进行预处理操作,包括设置缩略、旋转图片和剪
Hadoop系统提供了分布式存储、计算和资源调度引擎,用于大规模数据处理和分析。OBS服务实现了Hadoop的HDFS协议,在大数据场景中可以替代Hadoop系统中的HDFS服务,实现Spark、MapReduce、Hive等大数据生态与OBS服务的对接,为大数据计算提供“数据湖”存储。 HDFS协议:Hado
输入格式:domainId/userld,可授权给多个账号,每行一个。 domainId/*表示授权给账号下的所有用户。 授权资源 资源范围:当前桶、指定对象 指定对象 - 资源路径:输入对象前缀 说明: 指定对象支持输入多个资源路径,单击“添加资源路径”按钮即可。 您可以指定资源路径为
Flink对接OBS 概述 Flink是一个分布式的数据处理引擎,用于处理有界和无界流式数据。Flink定义了文件系统抽象,OBS服务实现了Flink的文件系统抽象,使得OBS可以作为flink StateBackend和数据读写的载体。 注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。