检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS 对象存储服务(Object Storage Service,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。详情参考帮助文档。本次实践,使用OBS来存储xxxx服务平台上传的图片、文件或者通过接口调用生成的json文件。 登录华为云OBS管理控制台
Create OBS OBS路径不支持s3a://开头的日志路径。 约束限制 该功能依赖于OBS服务。 功能 通过Create OBS节点在OBS服务中创建桶和目录。 参数 用户可参考表1和表2配置Create OBS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是
开发算子代码 DWR算子开发运行依赖于FunctionGraph平台,本节将使用python开发一个下载OBS对象的算子,python使用详情参见Python函数开发指南。通过对该示例算子开发方式的说明,能够帮助算子开发者快速适应开发流程。通过本节将学到以下内容: 算子代码的入口结构
在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。以下是对AK和SK的解释说明: AK:Access Key ID,接入键标识,用户在对象存储服务系统中的接入键
开发环境准备 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 从Android官网下载并安装Android Studio最新版本。 打开安装好的Android Studio,选择Settings
如何在浏览器中在线预览OBS中的对象? 背景信息 基于安全合规要求,华为云对象存储服务OBS禁止通过OBS的默认域名(桶访问域名或静态网站访问域名)在线预览桶内对象,即使用上述域名从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。 OBS不支持在线预览
使用ma-cli obs-copy命令复制OBS数据 使用ma-cli obs-copy [SRC] [DST]可以实现本地和OBS文件或文件夹的相互复制。 $ma-cli obs-copy -h Usage: ma-cli obs-copy [OPTIONS ] SRC
示例5:创建OBS转储 场景描述 本章以将指定的一个或多个日志流的日志转储到OBS服务为例。 涉及其它云服务接口 创建OBS转储时,需要查询用户的桶列表: 获取桶列表:确定将要配置转储的桶名称。 创建OBS转储 接口相关信息 URI格式:POST /v2/{project_id}/log-dump/obs
Druid对接OBS 概述 Druid专为需要快速数据查询与摄入的工作流程而设计,在即时数据可见性、即席查询、运营分析以及高并发等方面表现非常出色。 通过HDFS接口对接OBS,使用OBS提供的OBSA-HDFS工具,无需重新编译druid,将OBS配置为deep storage。
协作文档 配置说明 权限配置 服务介绍 FAQ
String bucketName ="obs_name"; ObsBuckets obsBuckets = new ObsBuckets(); obsBuckets.addObsBucketsItem(bucketName);
conf”文件中按照以下格式,在原有的DNS服务器地址之前新增内网DNS服务器地址。 nameserver 内网DNS服务器地址 内网DNS服务器地址:需要根据ECS所在区域选择内网DNS服务器地址,具体的地址信息请参见华为云提供的内网DNS服务器地址。 新增的DNS服务器地址必须位于所有原有的DNS服务器地址之前。
dir</name> <value>obs://obs-bucket/warehouse/hive</value> </property> 可选配置,当添加了上述配置后在创建Hive表时将不用再显示指定location,创建的Hive表将自动落在OBS上。 执行以下命令,初始化元数据。
"fs.obs.impl":"org.apache.hadoop.fs.obs.OBSFileSystem", "fs.obs.access.key":"可访问OBS的ak",
</property> MRS服务的默认配置文件中已经添加了OBS的实现类来对接OBS,如下所示: <property> <name>fs.AbstractFileSystem.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBS</value>
页面跳转至下载备份文件页面,按照界面提示通过OBS Browser+客户端下载DDS备份文件。 图3 下载指导页面 单击图3步骤1的“OBS Browser+”,下载客户端工具OBS Browser+。 解压并安装OBS Browser+。 登录客户端工具OBS Browser+。 登录对象存储服务客户端相关操
本地需要上传的文件夹路径。 当上传的文件夹下内容为空或者该文件夹下包含多个文件夹且有文件夹下内容有空时,OBS对应路径下不产生该空文件夹。 dst_obs_dir 是 String 上传的目标OBS桶地址,必须以“obs://”作为前缀,上传的目标文件夹后缀必须以“/”结尾。 表2 失败响应参数说明 参数
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置:
OBS操作相关故障 读取文件报错,如何正确读取文件 TensorFlow-1.8作业连接OBS时反复出现提示错误 TensorFlow在OBS写入TensorBoard到达5GB时停止 保存模型时出现Unable to connect to endpoint错误 OBS复制过程中提示“BrokenPipeError:
下载文件或文件夹 用户可根据需要将存储在OBS上的文件或文件夹下载到本地。 操作步骤 登录OBS Browser+。 选中待配置的桶,选中需要下载的文件或文件夹后,单击“下载”。 OBS支持批量下载多个文件和文件夹,单击选中待下载的文件或文件夹即可。 对于存储类别为归档存储的桶中