检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
max_out_len:在运行类似mmlu、ceval等判别式回答时,max_out_len建议设置小一些,比如16。在运行human_eval等生成式回答(生成式回答是对整体进行评测,少一个字符就可能会导致判断错误)时,max_out_len设置建议长一些,比如512,至少包含第一个回答的全部字段。 batc
max_out_len:在运行类似mmlu、ceval等判别式回答时,max_out_len建议设置小一些,比如16。在运行human_eval等生成式回答(生成式回答是对整体进行评测,少一个字符就可能会导致判断错误)时,max_out_len设置建议长一些,比如512,至少包含第一个回答的全部字段。 batc
String> 通过应用专属URL直接打开应用进入远程开发模式。 ssh_keys Array of strings SSH密钥对名称列表,允许设置多个密钥对实现同时对SSH实例的访问。 表9 EndpointsRes 参数 参数类型 描述 allowed_access_ips Array
是否需要安装训练平台指定的 moxing 版本。true为需要。只有填写了engine_name,engine_version,image_url参数时支持该设置。 表15 Task 参数 是否必选 参数类型 描述 role 否 String 任务角色,该功能暂未支持。 algorithm 否 algorithm
AI应用基本信息参数说明 参数名称 说明 名称 AI应用名称。支持1~64位可见字符(含中文),名称可以包含字母、中文、数字、中划线、下划线。 版本 设置所创建AI应用的版本。第一次导入时,默认为0.0.1。 说明: AI应用创建完成后,可以通过创建新版本,导入不同的元模型进行调优。 描述 AI应用的简要描述。
AI应用的大小。 健康检查 如果元模型来源于对象存储服务/容器镜像,显示健康检查状态。当健康检查为开启时,会根据您启用的探针显示对应探针的参数设置情况。 启动探针:用于检测应用实例是否已经启动。如果提供了启动探针(startup probe),则禁用所有其他探针,直到它成功为止。如果
PTA_TORCHAIR_DECODE_GEAR_LIST=2,4,6,8,16,32 # 设置动态分档的挡位,根据实际情况设置,另外请不要设置挡位1 export VLLM_ENGINE_ITERATION_TIMEOUT_S=900 # 设置vllm请求超时时间 图模式主要针对小模型的场景,可减少算子下发的瓶颈,目前仅针对Qwen2-1
8中会出现的情况,该日志是Info级别的,并不是错误信息,可以通过设置环境变量来屏蔽INFO级别的日志信息。环境变量的设置一定要在import tensorflow或者import moxing之前。 处理方法 您需要通过在代码中设置环境变量“TF_CPP_MIN_LOG_LEVEL”来屏
在JupyterLab文件列表中,选择需要下载的文件,单击右键,在操作菜单中选择“Download”下载至本地。下载的目的路径,为您本地浏览器设置的下载目录。 图1 下载文件 从JupyterLab中下载大于100MB的文件到本地 大于100MB的文件需要先从Notebook中上传到
|---annotations |---train2017 |---val2017 更多obsutil的操作,可参考obsutil简介。 将文件设置归属为ma-user: chown -R ma-user:ma-group coco 代码云上适配 下载YOLOX代码。代码仓地址:https://github
PTA_TORCHAIR_DECODE_GEAR_LIST=2,4,6,8,16,32 # 设置动态分档的挡位,根据实际情况设置,另外请不要设置挡位1 export VLLM_ENGINE_ITERATION_TIMEOUT_S=900 # 设置vllm请求超时时间 图模式主要针对小模型的场景,可减少算子下发的瓶颈,目前仅针对Qwen2-1
购买时长 - 选择购买时长。只有选择“包年/包月”计费模式时才需填写。 登录方式 - 集群登录方式,可以设置密码登录,也可以设置密钥对登录。 密码登录:默认用户名为root,用户自己设置密码。 密钥对(KeyPair)登录:可以选择已有的密钥对,或者单击右侧的“创建密钥对”,先去创建一个密钥对。
者环境变量中密文存放,使用时解密,确保安全; # 本示例以password保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_PASSWORD。 __PASSWORD = os.environ["HUAWEICLOUD_SDK_PASSWORD"]
ssh-keygen -A /usr/sbin/sshd # 查看ssh进程已启动 ps -ef |grep ssh 设置容器root密码,根据提示输入密码: passwd 图19 设置root密码 执行exit命令退出容器,在宿主机上执行ssh测试: ssh root@宿主机IP -p 51234(映射的端口号)
CLI配置工具下载文件,如果在资产详情页有“复制完整资产名称”按钮即表示该资产支持使用Gallery CLI配置工具下载,如图1所示。 图1 复制完整资产名称 “运行平台”设置为“Pangu Studio”的数据集,不支持使用CLI工具下载。 下载Gallery CLI配置工具包(本地) 如果是在本地服务器安装Gallery
在本地的VS Code开发环境中,单击左侧Remote Explorer按钮,在上方的下拉列表中选择“SSH Target”,再单击页面上的设置按钮,此时会出现SSH配置文件路径。 图3 配置SSH Targets页面 单击列表中出现的SSH路径按钮,打开config文件,进行配置。
run”中,修改“log_dir”参数,并新增“checkpoint_path”参数。其中“log_dir”参数建议设置为一个新的目录,“checkpoint_path”参数设置为上一次训练结果输出路径,如果是OBS目录,路径填写时建议使用“obs://”开头。 如果标注数据中的标签发生了变化,在运行“mox
装完成后需要看是否加载到内核,通过执行“lsmod | grep peer”查看是否加载。 如果git clone拉不下来代码,可能需要先设置下git的配置: git config --global core.compression -1 export GIT_SSL_NO_VERIFY=1
查询推理VPC访问通道信息的API 功能介绍 该接口用于查询推理VPC访问通道。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_i
nda3 /home/ma-user/miniconda3 # 设置容器镜像默认用户与工作目录 USER ma-user WORKDIR /home/ma-user # 设置容器镜像预置环境变量 # 请务必设置 PYTHONUNBUFFERED=1, 以免日志丢失 ENV P