检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。策略支持的操作与API相对应,授权项列表说明如下: 权限:允许或拒绝某项操作。 对应API接口:自定义策略实际调用的API接口。 授
String API的认证方式。枚举值如下: NONE:无认证 APP:APP认证 IAM:IAM认证 predict_url String 预测地址。 service_id String 服务编号。 service_name String 服务名称。 support_app_code Boolean
credential.csv文件内容 AK/SK生成步骤: 登录管理控制台。 单击右上角的用户名,在下拉列表中单击“我的凭证”。 单击“访问密钥”。 单击“新增访问密钥”。 下载密钥,并妥善保管。 准备租户名ID和IAM用户名ID,用于OBS桶配置。 将您的租户名ID和IAM用户名ID提供
具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface
False:训练数据保存在参数obs_path指定的位置中; True:训练数据保存在notebook中,由local_path指定。 obs_path:obs地址。根据is_local_source值的变化,有不同的含义。 is_local_source=False,此时是必选参数,代表训练数据位置,支持文件夹和压缩文件。
is_directory:是否为目录。 例如查询一个OBS文件“obs://bucket_name/obs_file.txt”,此文件地址也可以替换成一个文件夹地址。 1 2 3 4 5 import moxing as mox stat = mox.file.stat('obs://bucket_name/obs_file
新标签。 单击“确定”。此时,选中的图片将被自动移动至“已标注”页签,且在“未标注”和“全部”页签中,标签的信息也将随着标注步骤进行更新,如增加的标签名称、各标签对应的图片数量。 图2 添加标签 如果您还不太清楚如何进行标注,可参考数据集详情页面的“标注样例说明”完成标注。 登录
检查当前账号具备OBS桶的读写权限(桶ACLs) 进入OBS管理控制台,选择当前自动学习项目使用的OBS桶,单击桶名称进入概览页。 在左侧菜单栏选择“访问权限控制>桶ACL”,检查当前账号是否具备读写权限,如果没有权限,请联系桶的拥有者配置权限。 确保此OBS桶是非加密桶 进入OBS管理控制
input String 表格数据集,HDFS路径。例如/datasets/demo。 ip String 用户GaussDB(DWS)集群的IP地址。 port String 用户GaussDB(DWS)集群的端口。 queue_name String 表格数据集,DLI队列名。 subnet_id
email_status Integer 团队标注成员任务邮件通知状态。可选值如下: 0:表示未发送过 1:表示邮箱格式错误 2:表示邮箱地址不可达, 3:表示发送成功 last_notify_time Long 团队标注成员任务邮件最近一次通知时间戳。 pass_rate Double
模型存放路径,AI Gallery的模型仓库地址,包含模型仓库的所有文件。 “/home/ma-user/.cache/gallery/model/ur12345--gpt2” ENV_AG_DATASET_DIR 数据集存放路径,AI Gallery的数据集仓库地址,包含数据集仓库的所有文件。
input String 表格数据集,HDFS路径。例如/datasets/demo。 ip String 用户GaussDB(DWS)集群的IP地址。 port String 用户GaussDB(DWS)集群的端口。 queue_name String 表格数据集,DLI队列名。 subnet_id
用户在cbc选择的折扣信息。 os.modelarts/service.console.url 否 String 订购订单支付完成后跳转的url地址。 os.modelarts/order.id 否 String 订单id,包周期资源池创建或者计费模式变更的时候该参数必需。 表7 PoolSpecCreation
容器属于哪个服务,包含notebook,train和infer。 instance_name 容器所属pod的名字。 service_id 页面展示的实例或者job id。如开发环境为:cf55829e-9bd3-48fa-8071-7ae870dae93a, 训练作业为:9f322d5a-b1d2-4370-94df-5a87de27d36e
动文件。 当算法来源为自定义镜像,训练代码已预置在镜像中时,该参数可以为空。 Image Path(optional) SWR镜像的URL地址,例如swr.cn-north-4.myhuaweicloud.com/image-org/image-name:version。关于自定义镜像的说明,请参见自定义镜像介绍。
推荐采用相对导入方式导入自定义包。 customize_service.py依赖的其他文件可以直接放model目录下,需要采用绝对路径方式访问。绝对路径获取请参考绝对路径如何获取。 ModelArts针对多种引擎提供了样例及其示例代码,您可以参考样例编写您的配置文件和推理代码,详
如果导入失败,建议重新执行安装命令,或者重启kernel后再次执行安装命令。 方法二:使用本地IDE远程连接Notebook准备环境 使用本地IDE如PyCharm开发工作流,您只需专注于本地代码开发即可。PyCharm连接Notebook操作请参见配置本地IDE(PyCharm ToolKit连接)。
ission denied。请依次排查: 请确保读取的OBS桶和Notebook处于同一站点区域,例如:都在华北-北京四站点。不支持跨站点访问OBS桶。 请确认操作Notebook的账号有权限读取OBS桶中的数据。 具体请参见ModelArts中提示OBS路径错误。 父主题: 上传文件至JupyterLab
/home/ma-user/work/model/llama-2-13b-chat-hf 必须修改。加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 MODEL_NAME llama2-13b 对应模型名称。 RUN_TYPE pretrain 表示训练类型。可选择值:[pretrain
script_interpreter:可选参数,指定使用哪个python环境来执行训练任务,如果未指定,会默认使用当前的kernel。 log_url:可选参数,一个OBS地址,本地训练过程中,SDK会自动将训练的日志上传到该位置;但是如果训练任务运行在Ascend上,则是必选参数。 job_description:可选参数,训练任务的描述。