检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Notebook实例中的数据或代码文件存储在OBS中。 训练模型 训练作业使用的数据集存储在OBS中。 训练作业的运行脚本存储在OBS中。 训练作业输出的模型存储在指定的OBS中。 训练作业的过程日志存储在指定的OBS中。 AI应用管理 训练作业结束后,其生成的模型存储在OBS中,
APPcode认证是一种简易的API调用认证方式,通过在HTTP请求头中添加参数X-Apig-AppCode来实现身份认证,无需复杂的签名过程,适合于客户端环境安全可控的场景,如内网系统之间的API调用。在ModelArts中,支持在部署在线服务时开启AppCode认证(部署模型为在线服务中的“支持A
(可选)Session鉴权 Session鉴权概述 Session模块的主要作用是实现与公有云资源的鉴权,并初始化ModelArts SDK Client、OBS Client。当成功建立Session后,您可以直接调用ModelArts的SDK接口。 ModelArts开发环境Notebook
机器学习从有限的观测数据中学习一般性的规律,并利用这些规律对未知的数据进行预测。为了获取更准确的预测结果,用户需要选择一个合适的算法来训练模型。针对不同的场景,ModelArts提供大量的算法样例。以下章节提供了关于业务场景、算法学习方式、算法实现方式的指导。 选择算法的实现方式 Mo
请求签名,从而实现快速响应。 您可以在服务详情页的“调用指南”页签(如图5)获取API接口公网地址(对应下文示例中的在线服务的调用地址url)和AppKey/AppSecret(对应下文示例中的app_key、app_secret)和AppCode(对应下文示例中的app_cod
各个模型深度学习训练加速框架的选择 LlamaFactory框架使用两种训练框架: DeepSpeed和Accelerate都是针对深度学习训练加速的工具,但是它们的实现方式和应用场景有所不同。 DeepSpeed是一种深度学习加速框架,主要针对大规模模型和大规模数据集的训练。DeepSp
使用样例的有标签的数据或者自己通过其他方式打好标签的数据放到OBS桶里,在modelarts中同步数据源以后看不到已标注,全部显示为未标注 OBS桶设置了自动加密会导致此问题,需要新建OBS桶重新上传数据,或者取消桶加密后,重新上传数据。 父主题: Standard数据管理
自定义名称。 URL 设置为从步骤1获取的HTTP URL信息。 Basic auth 建议开启。 Skip TLS Verify 建议开启。 User 设置为从步骤a获取的用户名信息。 Password 设置为从步骤a获取的密码信息。 配置完成后,单击下方的“Save & test”,展示“Data
部署后的AI应用是如何收费的? ModelArts支持将AI应用按照业务需求部署为服务。训练类型不同,部署后的计费方式不同。 将AI应用部署为服务时,根据数据集大小评估模型的计算节点个数,根据实际编码情况选择计算模式。 具体计费方式请参见ModelArts产品价格详情。部署AI应
验证ModelArts权限。 在左上角选择区域,区域需与授权配置中的区域相同。 在ModelArts左侧菜单栏中,选择“开发环境>Notebook”,界面未提示权限不足,表明ModelArts的使用权限和委托授权配置成功。 如果提示“需获取依赖服务的授权”,说明未配置ModelArts委托访问授权,请参考Step3
AI Gallery下载数据到OBS中使用的带宽是用户自己的还是华为云的? AI Gallery下载数据到OBS中使用的带宽是华为云的。 父主题: AI Gallery
SSE主要解决了客户端与服务器之间的单向实时通信需求(例如ChatGPT回答的流式输出),相较于WebSocket(双向实时),它更加轻量级且易于实现。 前提条件 在线服务中的模型导入选择的镜像需支持SSE协议。 约束与限制 SSE协议只支持部署在线服务。 只支持自定义镜像导入模型部署的在线服务。 调
数据,客户端有不同的实现,同一种语言也存在不同的lib包的实现,这里不考虑实现的不同种类。 客户端发送的内容在协议的角度不限定格式,Postman支持Text/Json/XML/HTML/Binary,以text为例,在输入框中输入要发送的文本,单击右侧中部的Send按钮即可将请
原因是:PyCharm的PYTHONPATH会将Notebook中的环境变量中指定的“PYTHONPATH”进行覆盖,因此,还需要将te包所在的路径添加到PyCharm的“PYTHONPATH”中。 te包的路径通过“pip show te”查看,例如te包返回对应的路径为:“/usr
导出ModelArts数据集中的数据 针对数据集中的数据,用户可以选中部分数据或者通过条件筛选出需要的数据,导出成新的数据集。用户可以通过任务历史查看数据导出的历史记录。 目前只有“图像分类”、“物体检测”、“图像分割”类型的数据集支持导出功能。 “图像分类”只支持导出txt格式的标注文件。 “物体检测”只支持导出Pascal
“所选镜像必须配置SSH远程开发”的场景,直接单击“白名单”或“认证”后的修改。 图3 更新SSH配置信息 密钥对可单击选择已有的密钥对或“立即创建”创建新的密钥对。 修改远程连接的可访问IP地址后, 原来已经建立的链接依然有效, 当链接关闭后失效;新打开建立的链接只允许当前设置的IP进行访问。
配置了合理的服务部署超时时间,服务还是部署失败,无法启动 服务部署成功的标志是模型启动完成,如果没有配置健康检查,就无法检测到模型是否真实的启动。 在自定义镜像健康检查接口中,用户可以实现实际业务是否成功的检测。在创建AI应用时配置健康检查延迟时间,保证容器服务的初始化。 因此,
在,则直接追加。 当被追加的源文件比较大时,例如“obs://bucket_name/obs_file.txt”文件大小超过5MB时,追加一个OBS文件的性能比较低。 如果以写入模式或追加模式打开文件,当调用write方法时,待写入内容只是暂时的被存在的缓冲区,直到关闭文件对象(
OBS目录中的文件创建训练作业。如果选择通过数据集作为训练作业的数据源,则需要指定数据集及特定的版本。因此,用户需要为准备好的数据发布一个版本,具体操作参考发布ModelArts数据集中的数据版本。 为了便于后期的模型构建和开发,对同一数据源来说,将其不同时间对数据的处理和标注按
如何对OBS的文件重命名? 由于OBS管理控制台不支持对OBS的文件重命名,当您需要对OBS文件进行重命名时需要通过调用MoXing API实现,在已有的或者新创建的Notebook中,执行如下命令,通过接口对OBS中的文件进行重命名。 具体操作如下: 如下示例为将文件“obs_file