华为云首页用户手册

AI开发平台MODELARTS-PMI:输入参数说明

AI开发平台MODELARTS-PMI:输入参数说明

时间：2024-05-28 16:22:36

AI开发平台MODELARTS

输入参数说明

参数名称	参数描述	参数要求
doc_col_name	分词后的文本列	string类型；必填；多列时每列当做单独的句子处理
doc_sep	分词列中的词分隔符	string类型；必填；默认为" "
min_count	最小词频	integer类型；非必填；默认为5，小于该值的词会被过滤掉，不填则识别为0，取值范围[0,2147483647]
window_size	滑动窗口大小	integer类型；非必填；默认为整行，取值范围[1, 2147483647]
partitions	数据重分区数	integer类型；非必填；取值范围[1,5000]；

partitions

大数据量情况下建议partitions重分区数取大一些，100w长文本数据建议取1000，500w长文本数据建议取2000，如果在前两种场景下用户自定义partitions小于需求值，系统会自动替换为需求值（即前面的1000，2000）。

资源配置

数据量较大时建议采用更大的资源配置，可以设置executor memory大一些，参考配置如下：

cluster 32配置：

--executor-memory 8G \

--executor-cores 2 \

--num-executors 14 \

--driver-cores 4 \

--driver-memory 15G \

cluster 64配置：

--executor-memory 24G \

--executor-cores 6 \

--num-executors 10 \

--driver-cores 4 \

--driver-memory 15G \

参数配置

如果运行效率过慢，可考虑增大资源配置，或修改min_count、window_size参数，min_count大一些，window_size小一些。

上一篇：AI开发平台MODELARTS-PMI:概述

下一篇：AI开发平台MODELARTS-PMI:概述

新客秒杀 2核2G 3M L实例

68元/年

普惠上云领千元上云礼券

立即前往

企业专享 X实例 4核8G 5M

888元/年

热门域名 1元随心购

1元/年起

AI开发平台MODELARTS-PMI:输入参数说明

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题