检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
codelab安装的euleros, 使用x86架构,所以下载对应的版本:https://obs-community.obs.cn-north-1.myhuaweicloud.com/obsutil/current/obsutil_linux_amd64.tar.gz对这写都至此的:SUSE
这里上传了一个python的代码用作测试。 查看上传的python文件,可以看到后侧的操作中是提供了下载操作的。 OBS文件拷贝到ModelArts的Notebook中 路径说明,由于我们的OBS桶就是在华为的系统空间中,那么我们直接OBS://就是代表了我们的这个服务,在加上我们桶的名称即可
Flume对接OBS 概述 Flume是一个分布式的、可靠的和高可用的服务,用于收集、聚合以及移动大量日志数据,具体请参见Apache Flume。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务。 注意事项
客户使用华为云,出于数据安全的考虑,要求将数据在异地(不同城市)进行备份。方案架构:实现方案1、服务器上挂载一个文件存储的目录作为备份目录。运行应用(例如数据库)的备份功能,将数据备份成文件目录的文件。 2、在服务器上配置自动增量上传备份目录传到OBS。将文件目录的上传到OBS可以
Spark对接OBS 概述 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。
有的后续操作都是直接使用ObsClient对象的方法,不需要使用其他的第三方Http库在Http请求的URL Query参数中携带签名:这种签名方式适用于多数OBS业务请求,ObsClient对象只在计算带签名的URL时需要使用,后续的OBS业务需要使用其他的Http库在Http
html 中下载OBSFileSystem后进行解压缩,其中Package目录中包含obs所需要的jar包,列表如下:将obs所需要的jar包放在/opt/FI-obs目录中2、 将obs的jar包放到HBase Server端命令:cp /opt/FI-obs/* /opt/h
大数据场景下使用OBS实现存算分离 方案概述 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS 相关参考 验证方案 父主题: 典型场景一览
准备工作:申请一个OBS资源,创建一个桶。开启一个CloudIDE实例,打开一个terminal,先下载并安装obs的工具obsutil。配置obsutil:需要用到开发者的我的凭证->访问密钥->新建访问密钥的AK,SK。使用obsutil命令在桶中新建一个文件夹test
该API属于TICS服务,描述: 功能描述:用户可以使用该接口进行联盟作业统计。接口URL: "/v1/{project_id}/leagues/{league_id}/jobs-statistics"
简介 在 JobScheduler 提交任务后 , 系统会在 JobService 中执行相应的任务 , 执行的时机由系统选择 ; 系统回调 JobService 服务中的 onStartJob 方法时 , 由用户自行执行相应的任务 , 一般是使用 AsyncTask 来执行相应任务
1.概述云速建站增加OBS管理入口(对象存储服务),提供云存储能力。使用该服务,用户需要进行简单的配置。配置完成后,即可对指定的OBS桶文件进行基本的管理操作。云速建站OBS管理,集成了OBS、PHP、SDK和OBS BrowserJS SDK。其中OBS桶跨域规则设置、桶是否存
notebook中虽然存储可以选择obs,但是obs无法通过代码访问步骤1,建立notebook,存储配置选择obs步骤2,在obs中上传train数据和validate数据步骤3. notebook新建一个tensorflow1.13环境,编写代码访问刚刚建立的文件夹失败最后经华为工作人员确认,确实是obs的错误
持使用客户端跨区域复制模式进行复制,即通过数据流的方式从源桶直接复制数据到目标桶,且两个桶可以是任意两个OBS服务的桶;借助客户端跨区域复制模式即可实现相同帐户下不同区域桶或不同帐户间桶内对象的复制;跨帐号复制对象具体步骤如下: 4.使用obsutil config命令配置源桶
他帐号。查看OBS桶与ModelArts是否在同一区域查看创建的OBS桶所在区域。登录OBS管理控制台。进入“对象存储”界面,可在搜索框中输入已经创建的桶名称或者桶名称列表栏,找到您创建的OBS桶。在“区域栏”可查看创建的OBS桶的所在区域,如图1所示。图1 OBS桶所在区域查看
该API属于WorkspaceApp服务,描述: 获取上传至OBS桶的临时ak/sk。接口URL: "/v1/{project_id}/app-warehouse/action/authorize"
除非被清除,否则永久保存 基于 Token 的身份验证方法 使用基于 Token 的身份验证方法,在服务端不需要存储用户的登录记录。大概的流程是这样的: 客户端使用用户名跟密码请求登录服务端收到请求,去验证用户名与密码验证成功后,服务端会签发一个 Token,再把这个 Token
environ["INSTANCE_ID"]) # notebook_id, 浏览器uri中的id mount_instance.mount(obs_uri="obs://bucket/") # 挂载:输入OBS地址 mount_instance.query()
OBSBrowser提供目录分享+提取码功能,体验与云盘分享一致。使用视频参考附件