检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
测试步骤 数据准备 训练型横向联邦作业流程 评估型横向联邦作业流程 父主题: 横向联邦学习场景
页面,展开左侧的“合作方数据”可以看到企业A、大数据厂商B发布的不同数据集。 单击某一个数据集可以看到数据集的表结构信息。 此时企业A可以编写如下的sql语句统计双方的数据碰撞后的正负样本总数,正负样本总数相加即为双方共有数据的总数。 select sum( case
测试连接器创建参数 功能介绍 本接口用于测试连接器创建参数。 - 测试mysql连接器时需上传驱动文件,详见应用示例 - 该接口需将请求body转换为json字符串,详见请求示例 - 可校验连接器账户密码、网络连通性。 调用方法 请参见如何调用API。 URI POST /v1/
进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集,用于准确评估横向联邦学习得到的模型准确率。此外由于原始的数据集较小,采用了Imbalanced-Learn中的SMOTE算法,进行了数
创建作业 多方安全计算是可信智能计算提供的关系型数据安全共享和分析功能。您可以创建多方安全计算作业,根据合作方已提供的数据,编写相关SQL作业并获取您所需要的分析结果,同时能够在作业运行保护数据使用方的数据查询和搜索条件,避免因查询和搜索请求造成的数据泄露。 前提条件 空间组建完成,参考组建空间。
t_10为该线性模型的系数加上偏置项。 图2 查看模型结果文件 本地利用测试集评估模型。可以采用如下脚本,会打印出模型在测试集上的准确率和AUC两个指标。 图3 本地评估模型的Python脚本 父主题: 测试步骤
运行作业前,提示“Privacy rule verification failed”,怎么处理? 当在作业编辑页面编写SQL语句,并试图运行时,右上角提示“Privacy rule verification failed”。 原因是SQL语句中存在使用隐患字段的情况。 请根据具体
应用开发简介 多方安全计算是可信智能计算服务(TICS)提供的关系型数据安全共享和分析功能。 您可以创建多方安全计算作业,根据合作方已提供的数据,编写相关SQL作业并获取您所需要的分析结果,能够在作业运行的同时保护数据使用方的数据查询和搜索条件,避免因查询和搜索请求造成的数据泄露。 父主题:
发起方执行恶意脚本,试图篡改所获取的路径中的作业训练结果。 图2 执行恶意脚本 发起方执行恶意脚本后,由于安全沙箱确保每个横向联邦作业都是隔离的,当某个作业想去访问或篡改其他作业相关的文件时,无法找到作业执行结果文件,因此脚本执行失败、无法篡改,从而实现安全防护。 图3 恶意脚本执行结果
创建训练型横向联邦学习作业 配置作业的执行脚本,训练模型文件。 执行脚本是每个参与方的计算节点在本地会执行的模型训练、评估程序,用于基于本地的数据集训练子模型。 训练模型文件则定义了模型的结构,会用于每个参与方在本地初始化模型。 图2 配置执行脚本、训练模型文件 配置已方、对方数据集。
在开始开发前,需要了解多方安全计算的基本概念。 常用概念 准备TICS执行环境 TICS执行环境当前依赖TICS空间、计算节点和连接器。 环境准备 根据场景编写sql程序 当前多方安全计算支持通过编写sql语句,来构建多方安全计算业务场景的计算任务。 使用场景 运行程序及查看结果 指导用户将开发好的sql在计算节点控制台进行提交运行,并查看结果。
”,且长度为1~128个字符 描述 作业的详细描述信息。 作业类型 用户下拉选择所需作业类型即可。 运行环境 表示可信联邦学习作业在本地运行。 执行脚本 用户本地的自定义执行脚本,样例请参考准备本地横向联邦数据资源中步骤4。 训练模型 用户自定义模型,样例请参考准备本地横向联邦数据资源中步骤3。 初始权重参数
登录成功后,进入到计算节点界面,选择左侧导航栏中“连接器管理”,单击“创建”,在弹出的界面配置创建连接器的参数,配置完成后单击“确定”。 测试功能为数据源连通性及密码正确性的检查测试。 图3 创建连接器(以RDS服务为例) 表1 参数说明 参数名 描述 连接器类型 “连接器类型”选择Hive连接时,
台手动导入模型文件,而是直接将模型文件上传到数据目录进行管理。 使用文件管理功能后,创建联邦学习作业时用户可以便捷地选择自己以前上传的执行脚本、训练模型、数据文件、权重参数文件,极大地提高了系统的易用性及可维护性。 创建文件 用户登录TICS控制台。 进入TICS控制台后,单击页
Container Engine)服务部署,CCE提供高可靠高性能的企业级容器应用管理服务,支持Kubernetes社区原生应用和工具,简化云上自动化容器运行环境搭建。 边缘节点部署:基于智能边缘平台(IEF,Intelligent EdgeFabric)服务部署,IEF通过纳管您的边缘
0.037553105503320694 编写训练脚本(作业发起方) 作业发起方还需要编写联邦学习训练脚本,其中需要用户自行实现读取数据、训练模型、评估模型、获取评估指标的逻辑。计算节点会将数据集配置文件中的path属性作为参数传递给训练脚本。 JobParam属性如下: class
1 10 20 测试集准确率 (%) 98.016 98.016 98.016 测试集AUC 0.996 0.996 0.996 训练时长 (秒) 19 173 372 迭代轮数对模型准确率、训练时长的影响(训练轮数固定为10) 迭代次数 10 25 50 测试集准确率 (%) 97
模型文件,通过该功能即可将模型文件上传到数据目录,并支持批量删除。在创建联邦学习作业时可以选到上传的脚本模型等文件,提高了易用性及可维护性。 使用场景:管理联邦学习作业所需的脚本、模型、权重文件。 父主题: 可信联邦学习作业
需要客户运维侧保障)。 参照如何在两个节点间免密ssh登录完成节点免密设置。 在节点A任意目录下创建该脚本sync_tics.sh,建议放在 /opt/tics目录下,确保脚本文件具备可执行权限。 #!/bin/bash if [[ -n $(docker ps | grep k8s_db)
需要客户运维侧保障)。 参照如何在两个节点间免密ssh登录完成节点免密设置。 在节点A任意目录下创建该脚本sync_tics.sh,建议放在 /opt/tics目录下,确保脚本文件具备可执行权限。 #!/bin/bash if [[ -n $(docker ps | grep k8s_db)