检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS连接 介绍 通过OBS连接,可以对对象存储服务(Object Storage Service,简称OBS)抽取或加载文件,支持CSV、JSON和二进制格式。 连接样例 本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置
使用前需知 请确认您已经熟悉OBS的基本概念,如桶(Bucket)、对象(Object)、访问密钥(AK和SK)等。 您可以先参考OBS客户端通用示例,了解OBS iOS SDK接口调用的通用方式。 父主题: 快速入门
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。
使用前须知 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 使用OBS BrowserJS SDK访问桶前,必须配置桶的CORS。 请确认您已经熟悉OBS的基本概念,如桶(Buc
您可以先参考OBS客户端通用示例,了解OBS Android SDK接口调用的通用方式。 使用OBS客户端进行接口调用操作完成后,没有异常抛出,则表明返回值有效;如果抛出异常,则说明操作失败,此时应可SDK自定义异常实例中获取错误信息。 使用OBS客户端进行接口调用成功后,均会返回包含响应头
使用OBS桶作为源站接入CDN加速,OBS域名能否作为加速域名? CDN回源到OBS时访问的是OBS的桶域名,并且加速域名和源站域名不能一致,因此需要准备一个域名作为加速域名。 父主题: 域名配置
解释: node.environment:环境名字,Presto集群中的节点的环境名字都必须是一样的。 node.id:唯一标识,每个节点的标识都必须是唯一的。就算重启或升级Presto都必须还保持原来的标识。 node.data-dir:数据目录,Presto用它来保存log和其他数据
示99.99%。 使用OBS Browser上传大文件,进度条没有反应,状态一直是“等待中”。 回答 出现以上问题都是由于OBS Browser客户端版本老旧引起的,升级到最新版本OBS Browser客户端可解决以上问题。 推荐您开启OBS Browser的自动检查更新功能,及时获取最新版本。
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
调用说明 OBS提供了REST(Representational State Transfer)风格API,支持您通过HTTP/HTTPS请求调用,调用方法请参见如何调用API。 同时OBS还提供多种编程语言的SDK供您使用,SDK的使用方法请参见SDK参考。 父主题: 使用前必读
、分布式的事件驱动架构。 OBS作为云服务事件源将产生的云服务事件发送到EG,事件规则对云服务事件进行过滤和转换,通过转换后的事件触发事件目标(即函数工作流服务中的函数)。 图1 事件网格总体架构示意图 事件源:将华为云服务云服务、自定义应用、SaaS应用等应用程序产生的事件消息发布到事件订阅。
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
后再试。 使用了错误的账号或AK/SK访问OBS 多数情况下,出现无权限访问OBS的问题,可能是由于使用了错误的登录信息,如账号或AK/SK,其中AK/SK使用错误更为常见。例如资源拥有者给用户A开通了OBS权限,但实际使用了用户B的账号密码或AK/SK登录访问OBS。 需要与资
使用OBS Browser上传文件时,出现蓝屏或黑屏现象 问题 为什么使用OBS Browser上传文件时,出现蓝屏或黑屏现象? 回答 使用OBS Browser上传大量文件或少量大文件时,会占用较大的内存空间。请检查您PC机的内存剩余空间是否大于等于512MB,如果不足,请关闭
Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。
系统”页面单击对应的文件系统名称,在“文件”页面单击文件名称,文件“链接”即path路径,如图1所示。 图1 文件路径 ak:参数可选,具备访问OBS权限的ak。 sk:参数可选,具备访问OBS权限的sk。 format :文件的格式。 structure:表的结构。 compression:参数可选,压缩类型。
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
明。 须知: 本文提供的成本预估费用仅供参考,资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息,或在方案使用过程中存在疑问,可通过方案咨询渠道,寻求专业人员支持。 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
图5 创建OBS连接 单击“保存”回到连接管理界面。 创建迁移作业 选择“表/文件迁移 > 新建作业”,开始创建从OBS迁移数据到DLI的任务,如图6所示。 图6 创建OBS到DLI的迁移任务 作业名称:用户自定义作业名称。 源连接名称:选择创建OBS连接中的“obslink”。
确保用户已授权访问作业执行时操作的HBase表或phoenix表。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导入数据时,确保HDFS/OBS输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要