检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
架训练性能要求 优化PageAttention算子,满足vllm投机推理场景 支持CopyBlocks算子,满足vllm框架beam search解码场景 无 父主题: 产品发布说明
├── eval_test.py # 启动脚本,建立线程池发送请求,并汇总结果 ├── service_predict.py # 发送请求的服务。支持vllm的openai,atb的tgi模板 ├── ...
修复Standard专属资源池故障节点 Standard专属资源池支持对故障节点进行修复操作,目前提供了替换节点、高可用冗余节点、重置节点和重启节点等方式。华为云技术支持在故障定位和性能诊断时,部分运维操作需要用户授权才可进行,本章节同时也介绍了如何进行授权操作。 故障节点处理方式
保存notebook镜像 from modelarts.image_mgmt import ImageSave from modelarts.service import SWRManagement # 创建一个镜像组织。如果组织数量已超过阈值,则会报错“namespace is inva
采样已驳回 __AUTO_ANNOTATION__:待确认 samples Array of strings 导出的样本ID列表。 search_conditions Array of SearchCondition objects 导出的筛选条件,多个条件之间是或(OR)关系。
创建IAM用户并授权使用MaaS 配置ModelArts委托授权章节中介绍的一键式自动授权方式创建的委托的权限比较大,基本覆盖了依赖服务的全部权限。如果华为云账号已经能满足您的要求,则不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用MaaS服务的功能。 ModelArt
入门案例:快速创建一个物体检测的数据集 本节以准备训练物体检测模型的数据为例,介绍如何针对样例数据,进行数据分析、数据标注等操作,完成数据准备工作。在实际业务开发过程中,可以根据业务需求选择数据管理的一种或多种功能完成数据准备。此次操作分为以下流程: 准备工作 创建数据集 数据分析
推荐使用“西南-贵阳一”Region上的昇腾资源。 Step2 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先创建一个O
推荐使用“西南-贵阳一”Region上的昇腾资源。 Step2 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先创建一个O
推荐使用“西南-贵阳一”Region上的昇腾资源。 Step2 创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先创建一个O
在批量服务列表中,单击左上角“部署”,进入“部署”页面。 在部署页面,填写批量服务相关参数。 填写基本信息。基本信息包含“名称”、“描述”。其中“名称”默认生成。例如:service-bc0d,您也可以根据实际情况填写“名称”和“描述”信息等。 填写服务参数。包含资源池、AI应用配置等关键信息。 表1 参数说明 参数名称
获取样本搜索条件 GET /v2/{project_id}/datasets/{dataset_id}/data-annotations/search-condition modelarts:sample:listSamples - √ √ 分页查询团队标注任务下的样本列表 GET
Double 团队标注任务验收通过率。 repetition Integer 团队标注任务每个样本可以由多少人标注,最少为1。 sample_search_conditions Array of SearchCondition objects 创建任务时的样本筛选条件。 sample_stats
"s|{{MY_SSHD_PORT}}|${MY_SSHD_PORT}|g" ${MY_HOME}/etc/ssh/sshd_config # start sshd service bash -c "$(which sshd) -f ${MY_HOME}/etc/ssh/sshd_config" # confirm
"s|{{MY_SSHD_PORT}}|${MY_SSHD_PORT}|g" ${MY_HOME}/etc/ssh/sshd_config # start sshd service bash -c "$(which sshd) -f ${MY_HOME}/etc/ssh/sshd_config" # confirm
图像缩略设置,同OBS缩略图设置,详见OBS缩略图设置。如:image/resize,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。 search_conditions 否 String URL编码后的多维筛选条件(多个SearchCondition之间为and的关系)。 请求参数
创建IAM用户并授权使用ModelArts 快速配置ModelArts委托授权章节中介绍的一键式自动授权方式创建的委托的权限比较大,基本覆盖了依赖服务的全部权限。如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用ModelArts服务的其他功能。
模型备注信息,1-100位长度,不能包含&!'"<>= 否 str execution_code 执行代码存放的OBS地址,默认值为空,名称固定为“customize_service.py”。 推理代码文件需存放在模型“model”目录。该字段不需要填,系统也能自动识别出model目录下的推理代码。 否 str dependencies
Double 团队标注任务验收通过率。 repetition Integer 团队标注任务每个样本可以由多少人标注,最少为1。 sample_search_conditions Array of SearchCondition objects 创建任务时的样本筛选条件。 sample_stats
sample_type 否 Integer 样本文件类型。可选值如下: 0:图像 1:文本 2:音频 4:表格 6:视频 9:自由格式(默认值) search_conditions 否 String URL编码后的多维筛选条件(多个SearchCondition之间为and的关系)。 version_id