-
在lite资源池上使用Snt9B完成分布式训练任务 - AI开发平台ModelArts
默认使用volcano job形式下发lite池集群。训练测试用例使用NLP的bert模型,详细代码和指导可参考Bert。 操作步骤 拉取镜像。本测试镜像为bert_pretrain_mindspore:v1,已经把测试数据和代码打进镜像中。 docker pull swr.cn-southwest-2
-
上传远端文件至JupyterLab - AI开发平台ModelArts
图2 进入远端文件上传界面 输入有效的远端文件URL后,系统会自动识别上传文件名称,单击“上传”,开始上传文件。 图3 输入有效的远端文件URL 图4 远端文件上传成功 异常处理 远端文件上传失败。可能是网络原因。请先在浏览器中输入该远端文件的URL地址,测试该文件是否能下载。 图5
-
测试服务 - AI开发平台ModelArts
测试服务 AI应用部署为在线服务成功后,您可以在“预测”页签进行代码调试或添加文件测试。根据AI应用定义的输入请求不同(JSON文本或文件),测试服务包括如下两种方式: JSON文本预测:如当前部署服务的AI应用,其输入类型指定的为JSON文本类,即不含有文件类型的输入,可以在“
-
相关配置操作 - AI开发平台ModelArts
相关配置操作 开发态配置 调用工作流对象的run方法,在开始运行时展示输入框,等待用户输入,如下所示: 图1 等待用户输入 要求用户输入已存在的路径,否则会报错,路径格式要求为:/桶名称/文件夹路径/。 运行态配置 调用工作流对象的release方法将工作流发布到运行态,在Mod
-
调试Workflow - AI开发平台ModelArts
experiment_id="实验记录ID") 工作流启动运行后,按照如下配置顺序进行配置,每一项配置完成后在输入框的末尾敲击回车键即可继续向下执行: 统一存储配置:该参数为工作流的统一存储配置,需要输入一个已存在的OBS目录,示例:/OBS桶名称/文件夹路径/。 训练资源配置:按照提示信息中给的
-
读取文本数据 - AI开发平台ModelArts
读取文本数据 概述 读取文本格式的数据。 输入 无 输出 数据集 参数说明 参数 参数说明 input_path 文本数据文件所在的路径 line_separator 分隔符,默认为换行符"\n" columns_str 列名以逗号分隔的字符串,默认一行为一列,列名为"text_col"
-
文本词向量 - AI开发平台ModelArts
max_sentence_length 否 最大句子长度。 1000 样例 样例数据 该数据为分词算子的输入,分词算子的输出作为文本词向量的输入。 配置流程 运行流程 参数设置 查看结果 词向量 文本向量 父主题: 文本
-
部署上线 - AI开发平台ModelArts
服务。 下面的测试,是您在自动学习文本分类项目页面将模型部署上线之后进行服务测试的操作步骤。 模型部署完成后,您可添加文本进行测试。在“自动学习”页面,选择目标项目,进入“部署上线”界面,选择状态为“运行中”的服务版本,在“服务测试”区域的文本框中,输入需测试的文本。 单击“预测
-
部署上线 - AI开发平台ModelArts
之后进行服务测试的操作步骤。 模型部署完成后,您可添加文本进行测试。在“自动学习”页面,选择目标项目,进入“部署上线”界面,选择状态为“运行中”的服务版本,在“服务测试”区域的文本框中,输入需测试的文本。 单击“预测”进行测试,预测完成后,右侧“预测结果”区域输出测试结果。如模型
-
文本分类 - AI开发平台ModelArts
在标注作业详情页,单击“已标注”页签,然后在文本列表中选中待修改的文本。 在文本列表中,单击文本,当文本背景变为蓝色时,表示已选择。当文本有多个标签时,可以单击文本标签上方的删除单个标签。 基于标签修改 在标注作业详情页,单击“已标注”页签,在图片列表右侧,显示全部标签的信息。 批量修改:在“全部标
-
文本三元组 - AI开发平台ModelArts
即可完成文本的删除操作。 在“已标注”页面中,选中待删除的文本,然后单击“删除”,删除单个文本。或者勾选“选择当前页”选中该页面所有文本,然后单击左上角“删除”,即可完成当前页所有文本的删除操作。 其中,被选中的文本,其背景将显示为蓝色。如果当前页面无选中文本时,“删除”按钮为灰色,无法执行删除操作。
-
部署上线 - AI开发平台ModelArts
署上线之后进行服务测试的操作步骤。 模型部署完成后,您可输入代码进行测试。在“自动学习”页面,在服务部署节点,单击“实例详情”进入“在线服务”界面,在“预测”页签的“预测代码”区域,输入调试代码。 单击“预测”进行测试,预测完成后,右侧“返回结果”区域输出测试结果。如模型准确率不
-
文本 - AI开发平台ModelArts
文本 TF-IDF 文本词向量 词频统计 文章相似度 字符串相似度 字符串相似度topN NGram Count PMI 关键词抽取 原子分词 文本TF-IDF 三元组转kv 文本分类 LDA 句子拆分 文本摘要 停用词过滤 语义相似距离 父主题: 模型工程
-
文本分类 - AI开发平台ModelArts
文本分类 概述 文本分类通过TF-IDF和多项式朴素贝叶斯进行文本分类,以原始文本和标签作为输入,输出文本分类模型。 输入 参数 子参数 参数说明 inputs dataframe inputs为字典类型,dataframe为pyspark中的DataFrame类型对象。如果文本
-
声音分类 - AI开发平台ModelArts
在右侧的“标签”区域中,单击“标签”下侧的文本框中设置标签。 方式一(已存在标签):单击“标签”下方的文本框,在快捷键下拉列表中选择快捷键,然后在标签文本输入框中选择已有的标签名称,然后单击“确定”。 方式二(新增标签):在“标签”下方的文本框中,在快捷键下拉列表中选择快捷键,然后在标签文本输入框中输入新的标签名称,然后单击“确定”。
-
声音分类 - AI开发平台ModelArts
在右侧的“添加标签”区域中,单击“标签”下侧的文本框设置标签。 方式一(已存在标签):单击“标签”下方的文本框,在快捷键下拉列表中选择快捷键,然后在标签文本输入框中选择已有的标签名称,然后单击“确定”。 方式二(新增标签):在“标签”下方的文本框中,在快捷键下拉列表中选择快捷键,然后在标签文本输入框中输入新的标签名称,然后单击“确定”。
-
文本分类 - AI开发平台ModelArts
在数据集详情页,单击“已标注”页签,然后在文本列表中选中待修改的文本。 在文本列表中,单击文本,当文本背景变为蓝色时,表示已选择。当文本有多个标签时,可以单击文本标签上方的删除单个标签。 基于标签修改 在数据集详情页,单击“标签管理”页签,标签管理页显示全部标签的信息。 修改:在标签管理页,单击操作列
-
发布示例(Notebook) - AI开发平台ModelArts
单击右侧的“编辑”,可以更改Notebook名称和描述。 编辑完成之后单击“确定”。 关联资产 在输入框中输入资产ID后,单击“关联”即可关联其他资产,更方便其他使用者进行查找。算法可以关联数据集资产。 选择“关联资产”,在输入框中输入待关联资产的ID,单击“关联”。 在弹出的“资产信息”页面,单击“确定”即可关联资产。
-
物体检测 - AI开发平台ModelArts
对象,然后再单击鼠标完成标注。 点。也可使用快捷键【6】。单击图片中的物体所在位置,即可完成点的标注。 在弹出的添加标签文本框中,直接输入新的标签名,在文本框前面选中标签颜色,然后单击“添加”。如果已存在标签,从下拉列表中选择已有的标签,单击“添加”。 逐步标注图片中所有物体所在
-
测试用户权限 - AI开发平台ModelArts
测试用户权限 由于权限配置需要等待15-30分钟生效,建议在配置完成后,等待30分钟,再执行如下验证操作。 使用用户组02中任意一个子用户登录ModelArts管理控制台。在登录页面,请使用“IAM用户登录”方式进行登录。 首次登录会提示修改密码,请根据界面提示进行修改。 验证ModelArts权限。