-
FM算法 - AI开发平台ModelArts
参数 子参数 参数说明 inputs dataframe inputs为字典类型,dataframe为pyspark中的DataFrame类型对象 输出 spark pipeline类型的模型 参数说明 参数 参数含义 默认值 tensor_col_name 特征列名称。 数据格式为
-
LDA - AI开发平台ModelArts
参数 子参数 参数说明 inputs dataframe inputs为字典类型,dataframe为pyspark中的DataFrame类型对象。如果文本为中文则需要先以空格为分隔符对原始文本进行分词。 输出 参数 子参数 参数说明 output P(Z) 主题概率 P(Z|D) 主题-文档概率
-
以PyTorch框架创建训练作业(新版训练) - AI开发平台ModelArts
出管道的具体信息。实例中“inputs”中“remote”下的“obs_url”表示从OBS桶中选择训练数据的OBS路径。实例中“outputs”下种“remote”下的“obs_url”表示上传训练输出至指定OBS路径。 “spec”字段下的“flavor_id”表示训练作业所
-
查询训练作业日志 - AI开发平台ModelArts
查询训练作业日志 功能介绍 按行来查询训练作业日志详细信息。 URI GET /v1/{project_id}/training-jobs/{job_id}/versions/{version_id}/aom-log 参数说明如表1所示。 表1 路径参数 参数 是否必选 参数类型
-
Step4 测试用户权限 - AI开发平台ModelArts
能正常打开创建页面,即可正常使用ModelArts。 验证OBS权限。 在左上角的服务列表中,选择OBS服务,进入OBS管理控制台。 在OBS管理控制台,单击右上角的“创建桶”,如果能正常打开页面,表示当前用户具备OBS的操作权限。 验证SWR权限。 在左上角的服务列表中,选择SWR服务,进入SWR管理控制台。
-
DCGM监控方案 - AI开发平台ModelArts
认的指标采集配置文件/etc/dcgm-exporter/dcp-metrics-included.csv,指标采集对象详见dcgm-exporter。如果采集对象不能满足要求,可通过定制镜像或挂载的方式使用自定义配置。 等待约1分钟,执行下面的命令获取GPU指标: curl l
-
KV表转普通表 - AI开发平台ModelArts
inputs为字典类型,dataframe为pyspark中的DataFrame类型对象 keymap_dataframe keymap_dataframe为输入的keymap表,类型:pyspark中的DataFrame类型对象 输出 参数 子参数 参数说明 outputs output_dataframe
-
分层采样 - AI开发平台ModelArts
参数说明 output output_port_1 output为字典类型,output_port_1为pyspark中的DataFrame类型对象,为分层采样结果。 参数说明 参数 是否必选 参数说明 默认值 strata_col 是 分层列, 按此列进行分层采样。 无 sample_size
-
获取训练作业日志的文件名 - AI开发平台ModelArts
获取训练作业日志的文件名 功能介绍 获取训练作业日志的文件名。 URI GET /v1/{project_id}/training-jobs/{job_id}/versions/{version_id}/log/file-names 参数说明如表1所示。 表1 参数说明 参数 是否必选
-
DevServer简介 - AI开发平台ModelArts
DevServer提供不同型号的xPU裸金属服务器,您可以通过弹性公网IP进行访问,在给定的操作系统镜像上可以自行安装加速卡相关的驱动和其他软件,使用SFS或OBS进行数据存储和读取相关的操作,满足算法工程师进行日常训练的需要。 父主题: 弹性裸金属DevServer
-
文本词向量 - AI开发平台ModelArts
参数 子参数 参数说明 inputs dataframe inputs为字典类型,dataframe为pyspark中的DataFrame类型对象,通常为分词算子的输出,可参考分词算子的使用。 输出 参数 子参数 参数说明 output output_port_1 output为字典
-
过滤式特征选择 - AI开发平台ModelArts
参数 子参数 参数说明 inputs dataframe inputs为字典类型,dataframe为pyspark中的DataFrame类型对象 输出 参数 子参数 参数说明 output output_feature_importance dataframe类型的特征重要性结果 output
-
评估训练结果 - AI开发平台ModelArts
复制数据集到本地主要是为了防止长时间访问OBS容易导致OBS连接中断使得作业卡住,所以一般先将数据复制到本地再进行操作。 数据集复制有两种方式,推荐使用OBS路径复制。 OBS路径(推荐) 直接使用moxing的copy_parallel接口,复制对应的OBS路径。 ModelArts数据
-
Step6 在ModelArts上创建训练作业 - AI开发平台ModelArts
myhuaweicloud.com/deep-learning/mindspore:2.1.1-cann6.3.RC2” 代码目录:设置为OBS中存放启动脚本文件的目录,例如:“obs://test-modelarts/ascend/demo-code/” 启动命令:“python ${MA_JOB_
-
创建可视化作业 - AI开发平台ModelArts
is is a visualization job”,OBS路径为“/obs/name/”的可视化作业为例。 POST https://endpoint/v1/{project_id}/visualization-jobs { "job_name": "visualization-job"
-
FP-growth - AI开发平台ModelArts
参数 子参数 参数说明 inputs dataframe inputs为字典类型,dataframe为pyspark中的DataFrame类型对象 输出 数据集和spark pipeline类型的模型 参数说明 参数 子参数 参数说明 input_features_str - 数据集的特征列名组成的格式化字符串,例如:
-
最小最大规范化 - AI开发平台ModelArts
参数 子参数 参数说明 inputs dataframe inputs为字典类型,dataframe为pyspark中的DataFrame类型对象 输出 数据集 参数说明 参数 子参数 参数说明 input_features_str - 输入的列名以逗号分隔组成的字符串,例如: "column_a"
-
标准化 - AI开发平台ModelArts
参数 子参数 参数说明 inputs dataframe inputs为字典类型,dataframe为pyspark中的DataFrame类型对象 输出 数据集 参数说明 参数 子参数 参数说明 input_features_str - 输入的特征列名以逗号分隔组成的格式化字符串,例如:
-
部署上线时,出现错误 - AI开发平台ModelArts
_service.py”时,将出现错误,错误信息如下图所示。 解决方案: 请参考模型包规范写配置文件和推理代码,并存储至需部署的模型所在OBS目录下。 图1 错误信息 父主题: PyCharm Toolkit使用
-
查看训练容器环境变量 - AI开发平台ModelArts
“NCCL_SOCKET_IFNAME=bond0,eth0” 表4 OBS环境变量 变量名 说明 示例 S3_ENDPOINT OBS地址。 “S3_ENDPOINT=https://obs.region.myhuaweicloud.com” S3_VERIFY_SSL 访问OBS是否使用SSL。 “S3_VERIFY_SSL=0”