检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询服务对象列表 获取当前用户服务对象列表。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景1：查询当前用户所有服务对象 1 2 3 4 5 6 from modelarts.session
购买弹性云服务器时选择VPC 图5 查看虚拟私有云配置信息 获取在线服务的IP和端口号 可以通过使用图形界面的软件（以Postman为例）获取服务的IP和端口号，也可以登录弹性云服务器（ECS），创建Python环境运行代码，获取服务IP和端口号。 API接口： GET /v1/{project_i
印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，可以在${OUTPUT_SAVE_DIR}/log路径下获取。 查看性能 训练性能主要通过训练日志中的2个指标查看，吞吐量和loss收敛情况。 吞吐量（tokens/s/p）：global batch size*
查看日志和性能 查看日志 训练过程中，训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，可以在${SAVE_PATH}/logs路径下获取。日志存放路径为：/home/ma-user/ws/saved_dir_for_ma_output/llama2-70b/logs
查看日志和性能 查看日志 训练过程中，训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后，如果需要单独获取训练日志文件，可以在${SAVE_PATH}/logs路径下获取。日志存放路径为：/home/ma-user/ws/saved_dir_for_ma_output/llama2-70b/logs
购买弹性云服务器时选择VPC 图5 查看虚拟私有云配置信息 获取在线服务的IP和端口号 可以通过使用图形界面的软件（以Postman为例）获取服务的IP和端口号，也可以登录弹性云服务器（ECS），创建Python环境运行代码，获取服务IP和端口号。 API接口： GET /v1/{project_i
查询运行中的Notebook可用时长 Notebook时长续约 启动Notebook实例 停止Notebook实例 获取动态挂载OBS实例信息列表 动态挂载OBS 获取动态挂载OBS实例详情 动态卸载OBS 添加资源标签 删除资源标签 查询Notebook资源类型下的标签 查询支持的镜像列表
服务端对客户端的双向认证。 可以使用ModelArts提供的以下认证方式： token认证 AK/SK APP认证 WebSocket服务调用步骤如下（以图形界面的软件Postman进行预测，token认证为例）： WebSocket连接的建立 WebSocket客户端和服务端双向传输数据
配额管理 查询OS的配额
应用示例 创建图像分类数据集并进行标注任务 创建并完成图像分类的智能标注任务 开发环境的应用示例 以PyTorch框架创建训练作业（新版训练） 创建和修改工作空间 管理ModelArts服务的委托授权
用户的账号ID，获取方式请参见获取账号名和账号ID。 iam_user IAM用户名，获取方式请参见获取用户名和用户ID。 iam_password IAM用户密码，即账号的登录密码。 iam_ak 访问密钥AK，获取方式请参见访问密钥。 iam_sk 访问密钥SK，获取方式请参见访问密钥。
查询服务事件日志 启动停止边缘节点服务实例 查询服务更新日志 添加资源标签 删除资源标签 查询推理服务标签 查询推理VPC访问通道信息的API
资源管理 查询OS的配置参数 查询插件模板 查询节点列表 批量删除节点 批量重启节点 查询事件列表 创建网络资源 查询网络资源列表 查询网络资源 删除网络资源 更新网络资源 查询资源实时利用率 创建资源池 查询资源池列表 查询资源池 删除资源池 更新资源池 资源池监控 资源池统计
查询服务列表 获取当前用户服务列表。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景1：查询当前用户所有服务 1 2 3 4 5 6 from modelarts.session
调用ModelArts API接口创建训练作业和部署服务时，如何填写资源池的参数？ 调用API接口创建训练作业时，“pool_id”为“资源池ID”。 调用API接口部署在线服务时，“pool_name”为“资源池ID” 。 图1 资源池ID 父主题： API/SDK
kv-cache-int8量化支持的模型请参见支持的模型列表。 per-token动态量化场景 使用该场景量化方法，无需提前生成量化权重。推理前向会自动计算kv-cache量化系数，并进行kv的量化。 在启动推理服务时添加如下参数，启动kv-cache-int8-per-token量化服务。 --kv-cache-dtype
AI应用管理 查询模型runtime 查询AI应用列表 创建AI应用 查询AI应用详情 删除AI应用
工作空间管理 查询工作空间详情 修改工作空间 删除工作空间 查询工作空间配额 修改工作空间配额 查询工作空间列表 创建工作空间
查询引擎规格列表 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 from modelarts.session import Session from modelarts.estimatorV2
--url：若以vllm接口方式启动服务，API接口公网地址与"/generate"拼接而成；若以openai接口方式启动服务，API接口公网地址与"/v1/completions"拼接而成。部署成功后的在线服务详情页中可查看API接口公网地址。 图3 API接口公网地址 --app
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
