华为云用户手册

配置一个中心VPC与两个VPC的特定子网对等 (IPv4) 本示例中，在中心VPC-A和Subnet-B01之间创建对等连接Peering-AB，在中心VPC-A和Subnet-C02之间创建对等连接Peering-AC。此处VPC-B和VPC-C的VPC网段重叠，但是Subnet-B01和Subnet-C02子网网段不重叠，不会造成路由冲突。 资源规划详情，请参见表8。 对等连接关系，请参见表9。 图4 一个中心VPC与两个VPC的特定子网对等(IPv4) 表8 资源规划详情-一个中心VPC与两个VPC的特定子网对等(IPv4) VPC名称 VPC网段 子网名称 子网网段 关联VPC路由表 E CS 名称 安全组 私有IP地址 VPC-A 172.16.0.0/16 Subnet-A01 172.16.0.0/24 rtb-VPC-A ECS-A01 sg-web：通用Web服务器 172.16.0.111 VPC-B 10.0.0.0/16 Subnet-B01 10.0.0.0/24 rtb-VPC-B ECS-B01 10.0.0.139 Subnet-B02 10.0.1.0/24 rtb-VPC-B ECS-B02 10.0.1.167 VPC-C 10.0.0.0/16 Subnet-C01 10.0.0.0/24 rtb-VPC-C ECS-C01 10.0.0.71 Subnet-C02 10.0.1.0/24 rtb-VPC-C ECS-C02 10.0.1.116 表9 对等连接关系说明-一个中心VPC与两个VPC的特定子网对等(IPv4) VPC对等关系 对等连接名称 本端VPC 对端VPC VPC-A和VPC-B的子网Subnet-B01对等 Peering-AB VPC-A VPC-B VPC-A和VPC-C的子网Subnet-C02对等 Peering-AC VPC-A VPC-C 对等连接创建完成后，您需要在本端和对端VPC路由表中，添加以下路由： 表10 VPC路由表配置说明-一个中心VPC与两个VPC的特定子网对等(IPv4) 路由表 目的地址 下一跳 路由类型 路由说明 rtb-VPC-A 172.16.0.0/24 Local 系统路由 Local路由是系统自动添加的，用于VPC内部通信。 10.0.0.0/24 (Subnet-B01) Peering-AB 自定义 在VPC-A的路由表中，添加目的地址为Subnet-B01的网段，下一跳指向Peering-AB的路由。 10.0.1.0/24 (Subnet-C02) Peering-AC 自定义 在VPC-A的路由表中，添加目的地址为Subnet-C02的网段，下一跳指向Peering-AC的路由。 rtb-VPC-B 10.0.0.0/24 Local 系统路由 Local路由是系统自动添加的，用于VPC内部通信。 10.0.1.0/24 Local 系统路由 172.16.0.0/16 (VPC-A) Peering-AB 自定义 在VPC-B的路由表中，添加目的地址为VPC-A的网段，下一跳指向Peering-AB的路由。 rtb-VPC-C 10.0.0.0/24 Local 系统路由 Local路由是系统自动添加的，用于VPC内部通信。 10.0.1.0/24 Local 系统路由 172.16.0.0/16 (VPC-A) Peering-AC 自定义 在VPC-C的路由表中，添加目的地址为VPC-A的网段，下一跳指向Peering-AC的路由。

控制不同子网内实例的互通和隔离 本示例中，VPC-X内有两个子网Subnet-X01和Subnet-X02，ECS-01和ECS-02属于Subnet-X01，ECS-03属于Subnet-X02。三台ECS的网络通信需求如下： ECS-02和ECS-03网络互通 ECS-01和ECS-03网络隔离 为了实现以上网络通信需求，本示例的安全组和网络ACL配置如下： 三台ECS属于同一个安全组Sg-A，在Sg-A中添加入方向和出方向规则，确保安全组内实例网络互通。 此时子网还未关联网络ACL，安全组规则配置完成后，ECS-01、ECS-02均可以和ECS-03进行通信。 将两个子网均关联至网络ACL Fw-A。 当Fw-A中只有默认规则时，同一个子网内实例网络互通，不同子网内实例网络隔离。此时ECS-01和ECS-02网络互通，ECS-01和ECS-03网络隔离、ECS-02和ECS-03网络隔离。 在网络ACL Fw-A中添加自定义规则，放通ECS-02和ECS-03之间的网络。 自定义规则A01：允许来自ECS-03的流量流入子网。 自定义规则A02：允许来自ECS-02的流量流入子网。 自定义规则A03：允许访问ECS-03的流量流出子网。 自定义规则A04：允许访问ECS-02的流量流出子网。 图6 控制不同子网内实例的互通和隔离

网络ACL 网络ACL是一个子网级别的可选安全防护层，您可以在网络ACL中设置入方向和出方向规则，并将网络ACL绑定至子网，可以精准控制出入子网的流量。 网络ACL与安全组的防护范围不同，安全组对云服务器、云容器、云数据库等实例进行防护，网络ACL对整个子网进行防护。安全组是必选的安全防护层，当您还想增加额外的安全防护层时，就可以启用网络ACL。两者结合起来，可以实现更精细、更复杂的安全访问控制。 网络ACL中包括入方向规则和出方向规则，您可以针对每条规则指定协议、来源端口和地址、目的端口和地址。以图1为例，在区域A内，某客户的 虚拟私有云VPC -X有两个子网，子网Subnet-X01关联网络ACL Fw-A，Subnet-X01内部署的实例面向互联网提供Web服务。子网Subnet-X02关联网络ACL Fw-B，基于对等连接连通Subnet-X02和Subnet-Y01的网络，通过Subnet-Y01内的实例远程登录Subnet-X02内的实例。 Fw-A的规则说明： 入方向自定义规则，允许外部任意IP地址，通过TCP (HTTP)协议访问Subnet-X01内实例的80端口。如果流量未匹配上自定义规则，则匹配默认规则，无法流入子网。 网络ACL是有状态的，允许入站请求的响应流量出站，不受规则限制，因此Subnet-X01内实例的响应流量可流出子网。非响应流量的其他流量则匹配默认规则，无法流出子网。 Fw-B的规则说明： 入方向自定义规则，允许来自Subnet-Y01的流量，通过TCP (SSH)协议访问子网Subnet-X02内实例的22端口。 出方向自定义规则，放通ICMP协议全部端口，当在Subnet-X02内实例ping测试网络连通性时，允许去往Subnet-Y01的流量流出子网。 图1 网络ACL架构图 父主题： 基本概念

参数说明 参数 子参数 参数说明 DLI _database - 用户的目标DLI数据库名称 DLI_table - 用户的目标DLI数据库中目标DLI外表或要新建DLI外表的名称 file_format - DLI外表使用的数据格式 mode - 数据的写入类型（追加或覆盖，默认为覆盖模式）。使用PySpark insertInto函数，因此追加或者覆盖都要保证特征列数量和顺序一致 OBS_path - 用户目标DLI外表的OBS存储路径

样例 inputs = { "dataframe": None # @input {"label":"dataframe","type":"DataFrame"} } params = { "inputs": inputs, "DLI_database": None, # @param {"label":"DLI_database","type":"string","required":"true","helpTip":""} "DLI_table": None, # @param {"label":"DLI_table","type":"string","required":"true","helpTip":""} "file_format": "parquet", # @param {"label":"file_format","type":"enum","options":"orc,parquet,json,csv,carbon,avro","required":"true","helpTip":""} "mode": "overwrite", # @param {"label":"mode","type":"enum","options":"overwrite,append","required":"true","helpTip":""} "OBS_path": "" # @param {"label":"OBS_path","type":"string","required":"true","helpTip":""} } save_DLI_table____id___ = MLSSaveDLITable(**params) save_DLI_table____id___.run()

参数说明 参数名称 是否必选 参数描述 默认值 input_dataframe 是 输入df 无 input_keymap_dataframe 否 输入索引表对应的df，非必须 无 kv_col_name 是 KV列名 无 append_col_names 否 附加列名，支持多列 无 kv_delimiter 否 Key和Value之间分隔符 默认”:” item_delimiter 否 KV对之间分隔符 默认”,” top1200 否 是否只截取前1200列 true false true

样例 没有kepmap表 inputs = { "dataframe": input_df, "keymap_dataframe":None} params = { "inputs": inputs, "kv_col_name": "kv", "append_col_names": "rowid", "kv_delimiter": ":", "item_delimiter": ",", "top1200": True, }

表格式定义 KV表格式定义：Key是列名的index，Value支持BIGINT，DOUBLE和STRING类型。在该组件中可以输入用户定义的key_map表，是列名和Key的映射，但无论是否输入key_map表，该组件都会输出key_map表记录转化后的列名和Key的映射。例如1:10，2:20和3:30。 key_map表格式定义：包含列名和index的映射以及类型信息的col_name，col_index和col_datatype，这三列类型要求是STRING，当col_datatype缺失时，默认值为double类型。 col_name col_index col_datatype col1 1 bigint col2 2 double

参数说明 参数 是否必选 参数说明 默认值 feature_index_list 是 feature列的index，不同index之间以','分割。举例： 1,2,3,4 "" label_index 是 label列的index。 举例：5 "" hidden_layer_list 是 隐藏层神经元的个数,不同数值之间以','分割，每个数值代表每一层神经元的个数。 int类型，范围[] "10,5" hidden_layer_activation 是 隐藏层激活函数，可选；范围['Sigmoid','ReLU'] Sigmoid epochs 是 训练迭代次数,int类型，范围[] 4 batch_size 是 batch_size大小，int类型，范围[] 24 learning_rate 是 学习率，double类型，范围[0,10] 0.01

概述 特征异常平滑算子用于将数据中的异常数据平滑到一定的区间，可选择采用箱线图、阈值、百分位和z-score的方法确定平滑区间。 z-score方式：计算所需要平滑的特征的均值mean和标准差std，并引入置信因子cl 平滑区间上界： 平滑区间下界： min-max-per方式：通过上下百分位计算，假设需要平滑的特征列最大值为max，上百分位为max_per，下百分位为min_per 平滑区间上界： 平滑区间下界： min-max-thresh方式：直接指定平滑区间的上界和下界 boxplot方式：通过箱线图的方式计算平滑区间 中位数（Q2 / 50th百分位数）：数据集的中间值； 下四分位数（Q1 / 25百分位数）：最小数（不是“最小值”）和数据集的中位数之间的中间数； 上四分位数（Q3 / 75th Percentile）：数据集的中位数和最大值之间的中间值（不是“最大值”）； 四分位间距（IQR）：第25至第75个百分点的距离 上边缘：Q3 + 1.5 * IQR 下边缘：Q1 -1.5 * IQR 平滑区间上界：上边缘 平滑区间下界：下边缘

参数说明 参数 是否必选 参数说明 默认值 soften_cols 是 需要进行特征异常平滑处理的列，逗号分隔。 无 soften_method 是 特征平滑方法，可选z-score,min-max-per,min-max-thresh,boxplot。 "z-score" keep_original 是 是否保留原始列，如果保留则新增列，列名为原始列前加'soften_'。 False cl 否 置信水平，当选择z-score方法时需要配置此参数。 1 min_per 否 最低百分位。当平滑方法为min-max-per时需要配置该参数。 0.0 max_per 否 最高百分位。当平滑方法为min-max-per时需要配置该参数。 0.1 min_thresh 否 阈值最小值。当平滑方法为min-max-thresh时需要配置该参数。 -9999 max_thresh 否 阈值最大值。当平滑方法为阈值平滑时需要配置该参数。 9999 is_sparse 是 是否为k:v的稀疏特征, 如果指定该列，soften_cols参数只支持选择稀疏特征列kv_col中的列名。 False kv_col 否 如果为稀疏特征，指定稀疏特征列名。 "kv" item_spliter 否 稀疏特征的分隔符。 "," kv_spliter 否 稀疏特征key和value的分隔符。 ":"

样例 数据输入 input_table input Try to try it how to try it Need to try it You try to do do something How can you these days still not try it not do anything It is a good chance to try also you can do it You are right that it is a good chance to try 配置流程 运行流程 输入参数 输出结果 word1 word2 word1_count word2_count co_occurrences_count pmi You a 11 16 1 -0.36646 You chance 11 16 1 -0.36646 You do 11 23 2 -0.03622 You good 11 16 1 -0.36646 You is 11 16 1 -0.36646 You it 11 34 1 -1.12023 You to 11 32 2 -0.36646 You try 11 38 2 -0.53831 a can 16 15 1 -0.67662 a chance 16 16 2 -0.04801 a do 16 23 1 -1.10406 a good 16 16 2 -0.04801 a is 16 16 2 -0.04801 a it 16 34 2 -0.80178 a to 16 32 2 -0.74116 a try 16 38 2 -0.91301 a you 16 15 1 -0.67662 can chance 15 16 1 -0.67662 can do 15 23 2 -0.34638 can good 15 16 1 -0.67662 can is 15 16 1 -0.67662 can it 15 34 2 -0.73724 can not 15 12 2 0.304211 can to 15 32 1 -1.36977 can try 15 38 2 -0.84847 can you 15 15 2 0.081068 chance do 16 23 1 -1.10406 chance good 16 16 2 -0.04801 chance is 16 16 2 -0.04801 chance it 16 34 2 -0.80178 chance to 16 32 2 -0.74116 chance try 16 38 2 -0.91301 chance you 16 15 1 -0.67662 do do 23 23 1 -1.46697 do good 23 16 1 -1.10406 do is 23 16 1 -1.10406 do it 23 34 2 -1.16469 do not 23 12 2 -0.12323 do to 23 32 3 -0.6986 do try 23 38 4 -0.58276 do you 23 15 2 -0.34638 good is 16 16 2 -0.04801 good it 16 34 2 -0.80178 good to 16 32 2 -0.74116 good try 16 38 2 -0.91301 good you 16 15 1 -0.67662 is it 16 34 2 -0.80178 is to 16 32 2 -0.74116 is try 16 38 2 -0.91301 is you 16 15 1 -0.67662 it it 34 34 1 -2.2487 it not 34 12 2 -0.5141 it to 34 32 7 -0.24217 it try 34 38 8 -0.28048 it you 34 15 2 -0.73724 not not 12 12 1 -0.16579 not try 12 38 2 -0.62532 not you 12 15 2 0.304211 to to 32 32 1 -2.12745 to try 32 38 8 -0.21986 to you 32 15 1 -1.36977 try try 38 38 1 -2.47115 try you 38 15 2 -0.84847

概述 承接分词结果，计算一个文档里单词两两之间的互信息值（PMI）。PMI计算公式如下： 相关概念解释： 共现对儿：一句话里面如果两个词在句子里的距离小于等于定义的滑动窗口大小，则这两个词共现形成共现对儿。 P(x,y)：x,y为两个词，P(x,y)指两个词的共现概率，等于两个词的共现次数N(x, y)除以所有共现对儿的个数N。 P(x)：指x与其他词共现的概率，等于x出现在所有共现对儿中的次数N(x)除以所有共现对儿的个数N。 P(y)同理。

输入参数说明 参数名称 参数描述 参数要求 doc_col_name 分词后的文本列 string类型；必填；多列时每列当做单独的句子处理 doc_sep 分词列中的词分隔符 string类型；必填；默认为" " min_count 最小词频 integer类型；非必填；默认为5，小于该值的词会被过滤掉，不填则识别为0，取值范围[0,2147483647] window_size 滑动窗口大小 integer类型；非必填；默认为整行，取值范围[1, 2147483647] partitions 数据重分区数 integer类型；非必填；取值范围[1,5000]； partitions 大数据量情况下建议partitions重分区数取大一些，100w长文本数据建议取1000，500w长文本数据建议取2000，如果在前两种场景下用户自定义partitions小于需求值，系统会自动替换为需求值（即前面的1000，2000）。 资源配置 数据量较大时建议采用更大的资源配置，可以设置executor memory大一些，参考配置如下： cluster 32配置： --executor-memory 8G \ --executor-cores 2 \ --num-executors 14 \ --driver-cores 4 \ --driver-memory 15G \ cluster 64配置： --executor-memory 24G \ --executor-cores 6 \ --num-executors 10 \ --driver-cores 4 \ --driver-memory 15G \ 参数配置 如果运行效率过慢，可考虑增大资源配置，或修改min_count、window_size参数，min_count大一些，window_size小一些。

使用限制 CodeLab默认打开，使用的是CPU计算资源。如需切换为GPU，请在右侧窗口，更换GPU规格。 在ModelArts控制台的“总览”界面打开CodeLab，使用的是CPU或GPU资源，无法使用Ascend资源。 如果是AI Gallery社区的Notebook案例，本身使用的资源是Ascend的，那么“Run in ModelArts”跳转到CodeLab，就可以使用昇腾卡进行训练，也支持切换规格。 自启动后，免费规格默认可使用1小时，请注意右上角的剩余时长。超过1小时后，可执行续期操作，且系统每隔一段时间，将提醒确认下续期。 免费的CodeLab主要用于体验，72小时内未使用，将释放资源。保存在其中的代码文档将丢失，请注意备份文件以及使用时长。

功能亮点 免费算力 CodeLab内置了免费算力，包含CPU和GPU两种。您可以使用免费规格，端到端体验ModelArts Notebook能力。也可使用此免费算力，在线完成您的算法开发。 即开即用 无需创建Notebook实例，打开即可编码。 高效分享 ModelArts在AI Gallery中提供的Notebook样例，可以直接通过Run in ModelArts，一键打开运行和学习，并且可将样例修改后分享到AI Gallery中直接另存用于个人开发。 同时，您开发的代码，也可通过CodeLab快速分享到AI Gallery中给他人使用学习。

体验CodeLab 进入CodeLab主页。 从管理控制台总览页进入，展示CodeLab首页。 图2 CodeLab首页 常用功能。 CodeLab的界面依托于JupyterLab，其相关的常见功能与JupyterLab相同。 常用操作指导可参见JupyterLab操作指导：JupyterLab简介及常用操作。 由于CodeLab的存储为系统默认路径，在使用“上传文件”或“下载文件至本地”时，只能使用JupyterLab页面提供的功能。 如需使用大文件上传和下载的功能，建议您前往Notebook，创建一个收费的实例进行使用。 切换规格。 CodeLab支持CPU和GPU两种规格，在右侧区域，单击切换规格，修改规格类型。 图3 切换规格 资源监控。 在使用过程中，如果想了解资源使用情况，可在右侧区域选择“Resource Monitor”，展示“CPU使用率”和“内存使用率”。 图4 资源监控 分享副本到AI Gallery。单击右上角的，将修改后的Notebook样例保存分享到AI Gallery中，供自己或他人学习使用。 图5 分享到AI Gallery 分享成功后，通过分享链接可以打开分享的副本，也可以在AI Gallery中找到分享的Notebook。 图6 发布成功

上传本地大文件（100MB~5GB）至JupyterLab 对于大小超过100MB不超过5GB的文件可以使用OBS中转，系统先将文件上传至OBS（对象桶或并行文件系统），然后从OBS下载到Notebook。下载完成后，ModelArts会将文件自动从OBS中删除。 例如，对于下面这种情况，可以通过“OBS中转”上传。 图1 通过OBS中转上传大文件 如果使用OBS中转需要提供一个OBS中转路径，可以通过以下三种方式提供： 图2 通过OBS中转路径上传 仅第一次单击“OBS中转”需要提供OBS中转路径，以后默认使用该路径直接上传，可以通过上传文件窗口左下角的设置按钮更新OBS中转路径。如图6所示。 方式一：在输入框中直接输入有效的OBS中转路径，然后单击“确定”完成。 图3 输入有效的OBS中转路径 方式二：打开OBS File Browser选择一个OBS中转路径，然后单击“确定”完成。 图4 打开OBS File Browser 方式三：单击“使用默认路径”完成。 图5 使用默认路径上传文件 图6 设置本地文件OBS中转路径 完成OBS中转路径设置后，开始上传文件。 图7 上传文件 解压缩文件包 将文件以压缩包形式上传至Notebook JupyterLab后， 可在Terminal中解压缩文件包。 unzip xxx.zip #在xxx.zip压缩包所在路径直接解压 解压命令的更多使用说明可以在主流搜索引擎中查找Linux解压命令操作。 父主题： 上传本地文件至JupyterLab

什么是动态挂载OBS并行文件系统 并行文件系统（Parallel File System）是 对象存储服务 （Object Storage Service，OBS）提供的一种经过优化的高性能文件系统，详细介绍可以参见并行文件系统。 在ModelArts运行态的Notebook容器中，采用动态挂载特性，将OBS对象存储模拟成本地文件系统。其本质是通过挂载工具，将对象协议转为POSIX文件协议。挂载后应用层可以在容器中正常操作OBS对象。

本地IDE操作流程 ModelArts支持通过本地IDE环境远程连接到Notebook中，开发基于PyTorch、TensorFlow和MindSpore引擎的AI模型。具体操作流程如下图所示。 图1 使用本地IDE开发流程 配置本地IDE 在用户的PC端配置本地IDE环境。 支持通过PyCharm、VS Code、SSH工具本地IDE连接云上Notebook。PyCharm和VS Code可以使用插件自动化配置，也可以手工配置。 创建Notebook实例 在ModelArts控制台上创建一个Notebook开发环境实例，选择要使用的AI框架，并开启SSH远程开发功能。 使用本地IDE远程连接到ModelArts的开发环境中。 上传数据和代码至开发环境中，进行代码调试。 代码直接复制至本地IDE中即可，本地IDE中会自动同步至云上开发环境。 不大于500MB数据量直接复制至本地IDE中即可。 创建训练作业大于500MB数据量请先上传到OBS中，从OBS上传到云硬盘EVS。 将调试好的训练脚本和用于训练的数据集上传至OBS目录。 提交训练作业。提交训练作业方式如下： 在本地IDE中提交训练作业 可以通过调用ModelArts提供的SDK，创建训练作业，上云训练，调用SDK创建训练作业的操作请参见调用SDK创建训练作业。 可以基于PyCharm ToolKit直接提交训练作业，具体参考使用PyCharm ToolKit提交训练作业。 也可以通过调用ModelArts提供的SDK，创建训练作业，上云训练，调用SDK创建训练作业的操作请参见调用SDK创建训练作业。 在ModelArts的Console控制台页面中提交训练作业，具体参考创建训练作业。 父主题： 本地IDE

基于learner.predict进行模型推理 learner.predict( img_path='your_local_path_of_image', checkpoint='your_local_path_of_pretrained_model', gpu_ids=None, save_dir='your_local_path_for_saving_output' ) 表4 learner.predict参数 参数名称 可选/必选 参数类型 参数描述 img_path 必选 string 图片路径，当前predict仅支持推理图片。 checkpoint 可选 string 预训练模型路径，默认为None。当基于learner.fit完成训练且该参数为None，则基于训练后的模型参数进行推理。如果指定checkpoint路径，则加载对应路径的模型参数进行推理。 gpu_ids 可选 int/list 推理时使用的GPU，默认为None（使用cpu进行推理）。 save_dir 可选 string 默认为初始化Learner时指定的work_dir，可指定其他本地路径。 model 可选 Model object 自定义Model对象，仅用于open-mmlab系列模型，默认为None。默认值时使用基于learner.fit训练好的模型进行推理。 score_thr 可选 float 推理时结果置信度阈值，默认为0.3，仅用于open-mmlab系列模型。 ret_vis 可选 boolean 是否可视化推理结果，默认为False，仅用于open-mmlab系列模型。

基于learner进行模型训练 learner.fit( lr=0.001, max_epochs=5, weight_decay=0.005, seed=None, checkpoint=None, gpu_ids=[0], world_size=1, local_size=1, launch_remote=False ) 表2 learner.fit参数 参数名称 可选/必选 参数类型 参数描述 lr 可选 float 学习率参数，默认为0.001。 max_epochs 可选 int/float 最大训练epoch数，默认为5。 weight_decay 可选 float 权重衰减，默认为0.005。 seed 可选 int 训练随机数，默认为None。 checkpoint 可选 string 预训练模型路径，优先级高于初始化Learner和Model时的路径参数，指定checkpoint入参后会覆盖初始化Learner或Model时对应checkpoint的模型参数。 gpu_ids 可选 int / list open-mmlab系列默认使用0号卡进行训练。ivg系列可指定，如0或者[0]或者[0,1]。 world_size 可选 int 分布式训练节点数量，默认为1，暂不支持分布式训练。 local_size 可选 int 单个节点中的GPU数量，默认为1，暂不支持分布式训练。 launch_remote 可选 boolean 提交训练作业，默认为False，暂不支持基于API提交训练作业。

基于learner进行模型评估 learner.validate( data=db, checkpoint="your_local_path_of_pretrained_model", gpu_ids=[0] ) 表3 learner.validate参数 参数名称 可选/必选 参数类型 参数描述 data 可选 DataBlock object 数据集对象，默认为None，初始化方法参考DataBlock模块。默认值时会基于构建好的DataBlock对象中的validation data进行模型评估。 checkpoint 可选 string 预训练模型路径，默认为None。当基于learner.fit完成训练且该参数为None，则基于训练后的模型参数进行评估。如果指定checkpoint路径，则加载对应路径的模型参数进行评估。 gpu_ids 可选 int/list 模型评估时使用的GPU序号。open-mmlab系列模型默认使用0号卡。ivg系列可指定，如0或者[0, 1]。 show_score_thr 可选 float 评估时预测结果置信度阈值，默认为0.5，仅用于open-mmlab系列模型。 out 可选 string 评估结果pkl文件保存路径，默认为None，仅用于open-mmlab系列模型。

输入 参数 子参数 参数说明 inputs item_embedding inputs为字典类型，item_embedding为pyspark中的DataFrame类型对象，代表物品向量。 inputs true_sequence true_sequence为pyspark中的DataFrame类型对象，代表真实关联表。 inputs user_embedding user_embedding为pyspark中的DataFrame类型对象，代表用户向量。

概述 向量召回评估算子计算召回的hitrate，用于评估召回结果的好坏，hitrate越高表示训练产出的向量去召回向量的结果越准确。支持u2i召回和i2i召回的计算。u2i召回时，拿user（用户）的向量去召回top k个items（物品），i2i召回时拿item的向量去召回top k个items。 hitrate的具体计算方法为，假设真实trigger（u2i召回时为user，i2i召回时为item）的关联item集合为M，而实际召回了top k个和trigger相似的items，如果其中落在了M里的集合为N，则top k hitrate为|N| / |M|。

背景信息 创建和使用Notebook需要消耗资源，需要收费。根据您选择的资源不同，收费标准不同，针对不同类型资源的价格，详情请参见产品价格详情。 “运行中”的Notebook将一直收费，当您不需要使用时，建议停止Notebook，避免产生不必要的费用。在创建Notebook时，也可以选择开启自动停止功能，在指定时间内停止运行Notebook，避免产生不必要的费用。 只有处于“运行中”状态的Notebook，才可以执行打开、停止、删除和保存镜像操作。

Step3 使用MLS操作界面 此时，已经进入了MLS的可视化编辑页面MLS Editor，可以通过拖拉拽的方式，完成模型开发。此处介绍MLS操作界面。 MLS由资产管理和资产编排两个功能模块组成，完整界面如图8所示，左边是资产管理界面，右边是资产编排界面。 图8 MLS资产管理和资产编排界面 其中资产管理模块主要用于管理资产，包括算子、算链两类资产。可以通过点击左侧导航条上的图标进入. 资产编排模块用于编排资产，可以通过Launcher界面的“MLS Editor”图标进入，也可通过资产管理模块中的算链子模块打开或新建算链。 资产编排过程中，开发者可以从左侧资产管理界面，拖拽预置算子或自定义算子至右侧资产编排界面，将算子连接成一个或若干个有向无环图DAG，从而构建出一个完整算链。 此外，开发者也可以从左侧资产管理界面的“算链”选项卡中打开预置算链进行编排与修改，形成一个新的算链。 编排完成后，开发者可以点击算链编排界面顶部的图标一键运行，进行机器学习模型训练与预测。 快速上手使用MLS进行模型开发，可以参考ML Studio快速入门。 MLS镜像中预置了大量的算子方便您使用，预置算子的详细说明请参考预置算子说明。 您也可以在MLS Editor中编写自己的算子，具体操作请参考编写自定义算子。 MLS同时预置了部分算链，方便用户使用，用户也可以编写自己的算链，相关的详细操作可以参考算链操作。

样例 数据样本 id sentence 1 ball ball fun planet galaxy 2 referendum referendum fun planet planet 3 planet planet planet galaxy ball 4 planet galaxy planet referendum ball 配置流程 运行流程 参数设置 结果查看 P(Z) P(Z|D) P(D|Z) P(Z|W) vocab

自定义算子 自定义算子类别中展示开发者自行开发的算子，如图1中蓝色框所示，初始为空。 该界面包含新增自定义算子和上传自定义算子两个按钮，开发者可以直接在线编写算子或上传本地已有的算子。 在当前版本中，一个自定义算子对应一个ipynb文件，开发者可使用Jupyter Lab直接编写算子。并对自定义算子进行删除、重命名、上传或下载操作。 由于算子使用过程中会将ipynb文件中的所有Cell合并为一个Cell，因此建议开发者直接将算子代码写在一个Cell中。

预置算子 如图1中红色框所示，预置算子列表目前分为数据特征、输入输出、模型工程三大类。带标志的是算子类别，比如数据特征类，该类包含数据特征的子类数据分析、特征工程、数据处理及其算子。详细的预置算子说明请参考预置算子说明章节。 单击算子类对象前图标，即可展开显示子类和算子。 双击数据特征类，展开其子类数据分析、特征工程、数据处理，双击数据分析类，展开其数据分析算子。 单击算子类对象前图标，即可收回其子类和算子。 预置算子不可修改。如果需进行修改，需拖拽至画布中，右键算子选择编辑代码进行修改，修改后会保存为新的算子，修改内容不会覆盖原有的预置算子。