检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"文泉驿等宽正黑体", "腾祥孔淼石头简体", "微软正黑粗体" ], "font_scores" : [ 0.9999, 0.0, 0.0, 0.0, 0.0 ] } ] } } 状态码:400 失败响应示例 { "error_code": "AIS
获取AI人脸图片 接口名称 WEB_GetAiFacePictureAPI(后续废弃) 功能描述 获取AI人脸图片 应用场景 获取AI人脸图片 URL https://ip/v1/ai/face-detection/picture?
报错NetworkOnMainThreadException NetworkOnMainThreadException 一般是因为网络请求在MainThread类中产生的异常。建议和网络请求有关比较耗时的操作,放到一个子线程里,然后用Handler消息机制与主线程通信。 父主题:
免费体验 1元包年 立即使用 立即使用 成长地图 由浅入深,带您玩转Image 01 了解 图像识别(Image Recognition),可准确识别图像中的视觉内容,提供多种物体、场景和概念标签,具备目标检测和属性识别等能力。
面向AI场景使用OBS+SFS Turbo的存储加速方案概述 应用场景 近年来,AI快速发展并应用到很多领域中,AI新产品掀起一波又一波热潮,AI应用场景越来越多,有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储
免费体验 图说ECS 立即使用 立即使用 成长地图 由浅入深,带您玩转ImageSearch 01 了解 图像搜索(Image Search)基于深度学习与图像识别技术,结合不同应用业务和行业场景,利用特征向量化与搜索能力,帮助您从指定图库中搜索相同或相似的图片。
什么是图像搜索 图像搜索(Image Search,又称为多媒体搜索)基于深度学习与图像识别技术,是一套开箱即用的场景化搜索服务,支持图像等数据的管理和搜索,提供多种通用预置场景的搜索能力,并支持低成本、高敏捷的定制化服务,为用户提供安全、可靠、快速、准确的一键部署场景化内容搜索需求
图像搜索SDK简介 图像搜索概述 图像搜索(Image Search)基于深度学习与图像识别技术,结合不同应用业务和行业场景,利用特征向量化与搜索能力,帮助您从指定图库中搜索相同或相似的图片。
'Key' => 'objectname.jpg', // 对图片依次进行缩放、旋转 'ImageProcess' => 'image/resize,m_fixed,w_100,h_100/rotate,90', 'SaveAsStream'
的图片套用图片样式,就不需要进行重复的命令操作。 每个桶最多支持创建100个样式。 Exif信息 Exif(Exchangeable Image File)是“可交换图像文件”的缩写,在一些相机或手机拍摄的图片中会含有Exif信息。 Exif信息是嵌在JPEG或TIFF格式的图片
操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速,流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。
图像识别 图像识别连接器用于对接华为云图像识别服务,可以通过图像识别服务准确识别图像中的内容。 前提条件 使用图像识别连接器前,需要开通华为云图像识别服务。 创建图像识别连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”,在连接器页面单击“新建连接”。
面向AI场景使用OBS+SFS Turbo的存储加速实践 面向AI场景使用OBS+SFS Turbo的存储加速方案概述 资源和成本规划 操作流程 实施步骤 常见问题
上传数据至OBS并预热到SFS Turbo中 上传数据至OBS 下载ImageNet21K数据集,并上传ImageNet21K数据集至OBS,详细操作指导请参考上传数据至OBS。 OBS针对不同场景提供了多种数据上云方案,您可根据数据量、耗时、费用等需求选择适合的方案上传数据至OBS,更多内容请参考数据上云方案。
创建训练任务 基于SFS Turbo共享文件存储创建ModelArts训练任务。 登录ModelArts管理控制台。 在左侧导航栏中选择“训练管理 > 训练作业”,进入“训练作业”列表。 单击右上角的“创建训练作业”,进入“创建训练作业”页面,在该页面填写训练作业相关参数信息。
回源功能主要参数。 类型:Container 是 agency 委托名。客户通过委托赋予OBS服务查询用户桶内指定对象是否存在以及向用户桶内上传对象的权限。 类型:String 是 publicSource 公共可访问源端配置。当源端为公共可访问的资源时,必选。 类型:Container 否 sourceEndpoint
训练 上传数据至OBS并预热到SFS Turbo中 创建训练任务 父主题: 实施步骤
可以只使用SFS Turbo HPC型文件系统支撑AI训练吗? 当数据规模较小,不存在冷热数据分级降本诉求,又希望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,
量和性能需求选择,AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts:AI开发平台,采用多机多卡分布式训练。 VPC:虚拟私有云和子网。 算法及数据:准备AI训练需要的算法及数据集,如Swin-Transformer算法,及ImageNet21K数据集。
您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大,大模型参数量变大,导致Checkpoint读加载时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进行性能扩容,以缩短数据加载时长。详情可参见SFS
实施步骤 创建资源 基本配置 训练 例行维护 父主题: 面向AI场景使用OBS+SFS Turbo的存储加速实践
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略
创建资源 本最佳实践方案需要使用到VPC、SFS Turbo HPC型文件系统、OBS桶、ModelArts资源池资源。 为了提供最佳加速性能,建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区(AZ)。 创建VPC 虚拟私
基本配置 配置ModelArts和SFS Turbo间网络直通 配置SFS Turbo和OBS联动 配置SFS Turbo数据自动导出到OBS桶 配置SFS Turbo数据淘汰策略 父主题: 实施步骤
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。