检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实验结果 乳腺癌数据集作业结果 父主题: 横向联邦学习场景
DatasetFeatureEntity 参数 参数类型 描述 agent_id String 数据集所属agent id dataset_name String 数据集名称 features Array of strings 数据集特征集合 请求示例 获取纵向联邦作业详情 get https://x.x.x
作业发起方配置TICS的横向联邦学习作业,启动训练; 模型参数、梯度数据在TICS提供的安全聚合节点中进行加密交换; 训练过程中,各参与方计算节点会在本地生成子模型,由TICS负责安全聚合各子模型的参数,得到最终的模型; 空间的整体配置通过空间管理员进行统一管理。 父主题: 横向联邦学习场景
训练时的评估指标是用训练的数据集中随机采样的记录计算的,完成训练后企业A也可以使用其他的数据集对同一个模型进行多次的评估。单击“发起评估”选择训练参与方不同的数据集即可发起模型评估。 至此使用可信联邦学习进行联邦建模的过程已经完成,企业A已经训练出了一个符合自己要求的算法模型,后
问题分析 该报错大概率是资源配额不足导致作业执行失败。 解决方案 如果是纵向联邦学习作业,您可以在该纵向联邦作业详情页面尝试新增内存配额和CPU配额,然后重新执行作业。 如果是横向联邦学习作业,您可以在该横向联邦作业详情页面尝试新增内存配额和CPU配额,然后保存、提交审批,等待审批通过后再重新执行作业。
联邦学习作业管理 执行ID选取截断 执行纵向联邦分箱和IV计算作业 执行样本对齐 查询样本对齐结果 父主题: 计算节点API
删除作业 删除可信联邦学习作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 可信联邦学习”,打开可信联邦学习作业页面。 在“可信联邦学习”页面,查找待删除的作业,单击“删除”。 删除操作无法撤销,请谨慎操作。 图1 删除作业 父主题: 可信联邦学习作业
配置执行脚本、训练模型文件 配置已方、对方数据集。在作业的数据集配置中,选择己方、对方的本地数据集,此外需将已方的数据集设为评估数据集。横向联邦中,需要确保不同参与方的数据集结构完全一致。 图3 配置数据集 保存并执行作业。单击下方的“保存并执行”按钮,即可发起执行横向联邦学习作业。 单击“历史作业”按钮,查看当前作业的执行情况。
创建可信联邦学习训练型作业 参考步骤创建横向训练型作业创建可信联邦学习训练型作业,运行环境选择ModelArts和PriorityModelArts时,新增的资源配额是使用MA Lite资源池进行训练时,工作负载需要配置的资源参数。 图2 配置参数 父主题: 可信联邦学习作业
String “代理id1.数据集名1.租户别名1,代理id2.数据集名2.租户别名2”格式的字符串 features 否 Array of DatasetFeatureEntity objects 所选数据集特征 label_dataset 否 String 标签数据集,最大长度100 label
脚本中包含恶意行为,包含但不限于非授权访问其他作业数据、篡改文件和配置、恶意消耗容器资源等场景时,会影响到数据提供方的计算环境安全以及其他学习作业的正常执行。 针对该问题,在边缘节点部署场景中,TICS通过构建Python安全沙箱来单独运行横向联邦作业,做到作业运行的安全隔离。 验证安全沙箱防护能力
使用TICS可信联邦学习进行联邦建模 场景描述 准备数据 发布数据集 创建可信联邦学习作业 选择数据 样本对齐 筛选特征 模型训练 模型评估 父主题: 纵向联邦建模场景
联邦学习作业管理 查询联邦学习作业列表 父主题: 空间API
参数 是否必选 参数类型 描述 agent_id 是 String 数据集所属agent id dataset_name 是 String 数据集名称 features 是 Array of strings 数据集特征集合 表5 VerticalFlExternalParam 参数 是否必选
可信联邦学习作业管理 新建联邦学习作业 获取横向联邦学习作业详情 获取纵向联邦作业详情 保存纵向联邦作业 保存横向联邦学习作业 查询联邦学习作业列表 查询特征选择执行结果 删除联邦学习作业 执行横向联邦学习作业 执行纵向联邦模型训练作业 父主题: 计算节点API
在计算节点侧查看作业计算过程 计算过程页面可以单击任务节点,查看开始和结束时间等信息。在计算过程页面下方详情列表打开任务详情,可以查看更详细的计算过程信息。 图7 作业计算过程信息详情(截图为多方安全计算作业示例,请以实际作业为准) 父主题: 可信联邦学习作业
企业A在完成特征选择后,可以单击右下角的“启动训练”按钮,配置训练的超参数并开始训练。 等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数,直至训练出满意的模型。 父主题: 使用TICS可信联邦学习进行联邦建模
String 发送的实体的MIME类型 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 datasets String 数据集名称,最大长度128 instance_id String 实例id,最大长度32 job_instance_type String 纵向联邦作业类型。
选择数据 首先企业A要在“数据选择”页面选择双方发布的数据集,已选择的数据集会出现在右侧,所选的数据集会用于后续的步骤。 父主题: 使用TICS可信联邦学习进行联邦建模
Regression模型本质上还是线性模型,因此模型文件result_10为该线性模型的系数加上偏置项。 图2 查看模型结果文件 本地利用测试集评估模型。可以采用如下脚本,会打印出模型在测试集上的准确率和AUC两个指标。 图3 本地评估模型的Python脚本 父主题: 测试步骤