检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“OBS存储”方式是将OBS服务中的路径映射到服务容器内的本地路径,“主机存储”方式是指将计算节点所在机器的本地路径映射到服务容器内的本地路径。 主机路径 挂载使用的容器外部的路径,用于服务容器内和外部数据交互。
gender字段先填补缺失值,再将其映射成算法可以理解的数值型,比如将woman映射成0,man映射成1,此即为离散特征编码。 图1 数据集样例 数据预处理通常被用于评估和预测场景。本文以使用训练数据训练预处理作业,然后再将预处理方法应用于评估/预测数据为例进行说明。
运行环境 表示可信联邦学习作业在本地运行。 执行脚本 用户本地的自定义执行脚本,样例请参考准备本地横向联邦数据资源中步骤4。 训练模型 用户自定义模型,样例请参考准备本地横向联邦数据资源中步骤3。 初始权重参数 模型的初始权重,样例请参考准备本地横向联邦数据资源中步骤3。
图8 查看生成的数据集 (可选)单击作业列表中对应作业的“更多>下载参数配置”,下载本地文件。文件包含字段在作业开发页面使用预处理方法及参数,便于后期线下处理数据。
图2 前往计算节点 选择界面左侧“数据管理>数据创建”,单击“创建”,可选“本地连接器”或者“关系型数据库连接器”。 本地连接器:在弹出的界面选择本地连接器(localConnector),选择“结构化”数据类型,再配置创建数据的参数,配置完成后单击“确定”。
ag_dataset_table 否 AgDatasetTableVo object 数据集表信息 ag_dataset_local 否 AgDatasetLocalVo object 本地数据集信息 ext_columns 否 Array of AgDatasetColumnVo
执行脚本 用户本地的自定义执行脚本,样例请参考准备本地横向联邦数据资源中步骤4。 训练模型 用户自定义模型,样例请参考准备本地横向联邦数据资源中步骤3。 初始权重参数 评估时必填,训练时可选,样例请参考准备本地横向联邦数据资源中步骤3。
空间成员完成数据集准备工作,参考准备本地横向联邦数据资源。 空间成员在数据目录中完成数据发布,参考4.6.4 发布数据。 对接MA的计算节点如果是使用子账号进行创建的,需要参考配置CCE集群子账号权限给子账号增加“管理员权限”配置。
乳腺癌数据集作业结果 本节实验包含了如下三个部分:(1)训练轮数对联邦学习模型分类性能的影响;(2)迭代次数对联邦学习模型分类性能的影响;(3)参与方数据量不同时,本地独立训练对比横向联邦的模型性能。
支持的数据源类型:CSV或者二进制的本地文件、MySQL、Hive,其中MySQL和Hive的数据集配置可参照管理数据章节。 前提条件 空间组建完成,参考组建空间。 空间成员完成计算节点部署,配置参数时选择挂载方式和数据目录,参考部署计算节点。
支持本地连接器配置的CSV类型数据集。 支持DWS连接器配置的DWS数据集。 支持API连接器配置的API数据集。 创建实时隐匿查询作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 隐匿查询 > 实时隐匿查询”,打开实时隐匿查询作业页面。
当前支持MRS服务(Hive)、本地数据集、RDS数据集、DWS数据集、Oracle数据集、Mysql数据集,后续会支持更多华为云服务及原生服务的资源访问功能。连接信息中的敏感部分不会离开参与方侧。
执行脚本是每个参与方的计算节点在本地会执行的模型训练、评估程序,用于基于本地的数据集训练子模型。 训练模型文件则定义了模型的结构,会用于每个参与方在本地初始化模型。 图2 配置执行脚本、训练模型文件 配置已方、对方数据集。
差分隐私反向传播使用原始输出做梯度下降的记录条数 dp.output.threshold.adjust.num 是 String 差分隐私动态调整阈值的记录条数 dp.supply.store.policy 是 String 标签方回填存储策略,0不回填,1内存存储(默认),2磁盘存储
图2 查看模型结果文件 本地利用测试集评估模型。可以采用如下脚本,会打印出模型在测试集上的准确率和AUC两个指标。 图3 本地评估模型的Python脚本 父主题: 测试步骤
在命令行界面输入如下信息,建立挂载SFS_Turbo的本地路径。 mkdir 本地路径 找到所使用的SFS_Turbo文件系统,单击名称进入基本信息页面,复制对应的挂载命令。 图10 挂载命令 其中红框标注的位置换成3中所建立的本地路径。
发起方、参与方各自根据合约仓库章节中下载模板的描述,下载“数据上链存证和查询合约模板(又称链代码)”并保存到本地。 发起方、参与方各自按照链代码管理章节中“安装链代码”部分的描述,上传步骤4中已保存至本地的链代码压缩包。
基于隐私集合求交实现多方安全SQL JOIN分析, 原始数据保存在各个用户本地,统计分析算子下推到本地数据域执行。 多方分析JOIN算子进行数据隐私保护,计算过程将多方加密后数据完成计算,计算结果加密返回给数据使用方。
浏览通知信息,单击“下载计算节点配置”,得到agentConfig.zip文件,解压到本地。 图1 下载计算节点配置 父主题: 快速入门
浏览通知信息,单击“下载计算节点配置”,得到agentConfig.zip文件,解压到本地。内容如下: json文件:对应空间配置,包含“空间区域”、“空间名称”、“空间ID”、“证书密码”等。 p12文件:计算节点的密钥文件。