检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
页面跳转至下载备份文件页面,按照界面提示通过OBS Browser+客户端下载DDS备份文件。 图3 下载指导页面 单击图3步骤1的“OBS Browser+”,下载客户端工具OBS Browser+。 解压并安装OBS Browser+。 登录客户端工具OBS Browser+。 登录对象存储服务客户端相关操
fs.AbstractFileSystem.obs.impl org.apache.hadoop.fs.obs.OBS 是 - fs.obs.endpoint 无 是 华为云OBS的终端节点(Endpoint)。 fs.obs.access.key 无 是 华为云的AK(Access
提供该Android/iOS应用的开发者开发的APP后台服务,用于管理凭证信息以及发放预签名URL。 对象存储服务(OBS) 华为云对象存储服务,负责处理移动应用的数据请求。 实施步骤 配置应用服务器。 获取SDK开发包。 请在各语言的SDK开发指南中获取。 生成预签名URL的代码。
String bucketName ="obs_name"; ObsBuckets obsBuckets = new ObsBuckets(); obsBuckets.addObsBucketsItem(bucketName);
dir</name> <value>obs://obs-bucket/warehouse/hive</value> </property> 可选配置,当添加了上述配置后在创建Hive表时将不用再显示指定location,创建的Hive表将自动落在OBS上。 执行以下命令,初始化元数据。
"fs.obs.impl":"org.apache.hadoop.fs.obs.OBSFileSystem", "fs.obs.access.key":"可访问OBS的ak",
配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
IntelliJ IDEA为进行应用开发的工具,版本要求使用2019.1或其他兼容版本。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 开发流程 DLI进行Spark Jar作业开发流程参考如下: 图1 Spark Jar作业开发流程 表2 开发流程说明 序号 阶段 操作界面
Session() session.obs.download_file(src_obs_file="obs://bucket-name/dir1/file1.txt", dst_local_dir="/home/ma-user/") 示例代码执行后,OBS源文件“file1.txt”被
OBS连接 介绍 通过OBS连接,可以对对象存储服务(Object Storage Service,简称OBS)抽取或加载文件,支持CSV、JSON和二进制格式。 连接样例 本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置
</property> MRS服务的默认配置文件中已经添加了OBS的实现类来对接OBS,如下所示: <property> <name>fs.AbstractFileSystem.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBS</value>
协作文档 配置说明 权限配置 服务介绍 FAQ
OBS操作相关故障 读取文件报错,如何正确读取文件 TensorFlow-1.8作业连接OBS时反复出现提示错误 TensorFlow在OBS写入TensorBoard到达5GB时停止 保存模型时出现Unable to connect to endpoint错误 OBS复制过程中提示“BrokenPipeError:
创建OBS客户端 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 OBS客户端(ObsClient)是访问OBS服务的.NET客户端,它为调用者提供一系列与OBS服务进行交互的接
开发参考 开发运维规范 命令兼容列表 通过程序代码连接实例示例 Lua脚本编写规范 keyspace通知功能 exHash命令列表 大Bitmap初始化 客户端连接池参数配置 通过openAPI实现自定义周期备份 通过并行SCAN提升全库扫描速度 使用 Pipeline 访问 GeminiDB
SQL作业分析OBS数据 DLI支持将数据存储到OBS上,后续再通过创建OBS表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括:创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已创建OBS的桶。具体
Bucket) if obsError, ok := err.(obs.ObsError); ok { fmt.Println("An ObsError was found, which means your request sent to OBS was rejected
OBS对象名约束 图引擎服务支持的OBS对象名支持以下字符: 字母数字字符 0-9 a-z A-Z 特殊字符 ! - _ . * ' ( ) 中文 \u4e00-\u9fa5 暂不支持的字符有: 特殊字符 \ { ^ } % ` ] " > [ ~ < # | & @ : , $
配置OBS目的端参数 支持使用CSV、CarbonData或二进制格式批量传输大量文件到OBS。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。 bucket_2 写入目录 写入数据到OBS服务器的目录,目录前面不加“/”。
在服务列表中选择“对象存储服务 OBS”,开通并进入OBS管理控制台。 创建访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。以下是对AK和SK的解释说明: AK:Access Key ID,接入键标识,用户在对象存储服务系统中的接入键