检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用具体参见JupyterLab常用功能介绍。 如果您的代码文件是.py格式,请新打开一个.ipynb文件,执行%load main.py命令将.py文件内容加载至.ipynb文件后进行编码、调试等。 图5 打开代码文件 在JupyterLab中直接调用ModelArts提供的SDK,创建训练作业,上云训练。
图1 查看Server节点 单击某个Server节点名称,进入到Server节点详情页,可以查看更多信息,如表1所示。 表1 详情页参数说明 参数名称 说明 名称 Lite Server服务器的名称。 实例规格 Lite Server服务器的规格。 ID Lite Server服务器的ID,可用于在费用中心查询。
执行,可以在下方的Terminal中看到代码输出信息。 如果执行较长时间的训练作业,建议使用nohup命令后台运行,否则SSH窗口关闭或者网络断连会影响正在运行的训练作业,命令参考: nohup your_train_job.sh > output.log 2>&1 & tail
version_list = dataset.list_versions() print(version_list) # 打印数据集的版本列表 参数说明 无。 父主题: 数据集版本管理
list_tasks_resp = dataset.list_import_tasks() print(list_tasks_resp) # 打印导入任务列表 参数说明 无。 父主题: 导入任务管理
list_tasks_resp = dataset.list_export_tasks() print(list_tasks_resp) # 打印导出任务列表 参数说明 无。 父主题: 导出任务管理
筛选:该功能支持您对所有运行记录按照“运行状态”和“运行标签”进行筛选。 图2 筛选 对比:针对某条工作流的所有运行记录,按照状态、运行记录、启动时间、运行时长、参数等进行对比。 图3 对比 当单击“启动”运行工作流时,运行记录列表会自动刷新,并更新至最新一条的执行记录数据,且与DAG图和总览数据面板双
dataset_info = dataset.get_dataset_info() print(dataset_info) # 输出数据集的详细信息 参数说明 无。 父主题: 数据集管理
面上,单击“查看所有”,可以看到IAM项目下所有子账号创建的Notebook实例 。配置该权限后,也可以在Notebook中访问子账号的OBS、SWR等。 使用主用户账号登录ModelArts管理控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入统一身份认证(IAM)服务。
完成模型的自动训练。 训练完成后,您可以单击声音分类节点上方的按钮,查看相关指标信息,如“准确率”、“评估结果”等。 表1 评估结果参数说明 参数 说明 recall:召回率 被用户标注为某个分类的所有样本中,模型正确预测为该分类的样本比率,反映模型对正样本的识别能力。 precision:精确率
# 精度评测 ├── config ├── config.json # 请求的参数,根据实际启动的服务来调整 ├── mmlu_subject_mapping.json # 数据集配置
面上,单击“查看所有”,可以看到IAM项目下所有子账号创建的Notebook实例 。配置该权限后,也可以在Notebook中访问子账号的OBS、SWR等。 使用主用户账号登录ModelArts管理控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入统一身份认证(IAM)服务。
资源管理 查询OS的配置参数 查询插件模板 查询节点列表 批量删除节点 批量重启节点 查询事件列表 创建网络资源 查询网络资源列表 查询网络资源 删除网络资源 更新网络资源 查询资源实时利用率 创建资源池 查询资源池列表 查询资源池 删除资源池 更新资源池 资源池监控 资源池统计
hidden_dropout_prob = hidden_dropout_prob self.attention_probs_dropout_prob = attention_probs_dropout_prob self.max_position_embeddings =
整柜”。“整柜”参数为创建资源池时选择,扩缩容时不可修改。用户通过增减“数量”来改变“目标总实例数”。 用户增加实例数量时,可以通过指定节点计费模式,为资源池新创建的节点设置不同于资源池的计费模式,例如用户可以在包周期的资源池中创建按需的节点。如果用户不指定该参数,创建的节点计费模式和资源池保持一致。
llama/convert_checkpoint.py。 执行convert_checkpoint.py脚本进行权重转换生成量化系数,详细参数解释请参见https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/llama#int8-kv-cache。
计算资源不计费。 如果运行Notebook实例时,使用公共资源池进行模型训练和推理,计算资源需收费。 存储资源费用:数据存储到对象存储OBS、云硬盘EVS、弹性文件服务SFS中的计费。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 计算资源 公共资源池 使用计算资源的用量。
页,将导致前一页的标注信息丢失,需重新标注。 图2 数据标注-文本分类 添加或删除数据 自动学习项目中,数据来源为数据集中输入位置对应的OBS目录,当目录下的数据无法满足现有业务时,您可以在ModelArts自动学习页面中,添加或删除数据。 添加文件 在“未标注”页签下,可单击页
Agent管理”中,选择未安装ICAgent的集群,并单击“安装ICAgent”。 图1 安装ICAgent 建议不要随意卸载ICAgent,否则会影响特权池详情页的参数显示。 父主题: Lite Cluster
的内部细节,只需要关注一些简单的参数配置即可启动运行工作流。运行态的工作流来源主要为:通过开发态发布或者从gallery订阅。 运行态工作流的来源为:通过开发态发布,或者通过订阅。 运行态主要提供以下能力。 统一配置管理:管理工作流需要配置的参数及使用的资源等。 操作工作流:启动、停止、重试、复制、删除工作流。