检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行纵向联邦分箱和IV计算作业 功能介绍 执行纵向联邦分箱和IV计算作业 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id}/ivcalculate 表1
该报错大概率是资源配额不足导致作业执行失败。 解决方案 如果是纵向联邦学习作业,您可以在该纵向联邦作业详情页面尝试新增内存配额和CPU配额,然后重新执行作业。 如果是横向联邦学习作业,您可以在该横向联邦作业详情页面尝试新增内存配额和CPU配额,然后保存、提交审批,等待审批通过后再重新执行作业。
为什么空间详情中“作业执行统计”实例数与空间作业中实例数统计不一致? 空间作业中的实例数统计的是实例总个数,而空间详情中“作业执行统计”实例数统计全部实例的总执行次数,可能存在一个实例执行多轮的情况。所以两个实例数统计不一致也是很正常的。
执行分析作业时,提示“节点内存不足,已拒绝在节点中运行该任务”,如何解决? 执行作业时提运行失败,报错如图1所示: 图1 作业报错信息 TICS针对每个作业,分配了固定的工作内存,当同时运行的作业较多时,可能出现该报错。如图2所示,您可以在TICS空间作业列表查看是否有其他作业正在运行,等待其运行完成,再重试该作业。
执行作业时,提示“启动新任务失败,服务器任务队列超出缓存长度”,如何解决? TICS执行作业时,如果当前环境资源不足,会将任务缓存入队列中。任务队列长度默认为10。当空间缓存的任务超出长度时,界面会提示报错。 您可以通过TICS空间页查看是否有作业等待中或正在运行,等待任务运行完成或者停止其他任务后,再执行作业。
单击右下角的下一步进入“样本对齐”页面,这一步是为了进行样本的碰撞,过滤出共有的数据交集,作为后续步骤的输入。企业A需要选择双方的样本对齐字段,并单击“对齐”按钮执行样本对齐。执行完成后会在下方展示对齐后的数据量及对齐结果路径。 父主题: 使用TICS可信联邦学习进行联邦建模
查看求交结果 隐私求交作业执行完成后,企业A可以通过单击“历史作业 > 查看结果”看到隐私求交作业的运行结果,包括交集的大小和交集文件的路径。 打开obs到指定目录下查看,可以看到有两个结果文件,其中一个是交集记录的序号alignedIds.csv,另一个是交集记录的id alignedOriginalIds
= i.id; 编写完成后单击“保存”和“提交审批”,由于这条sql使用到了大数据厂商B的数据集,为保证数据安全和参与方的知情权,tics服务会自动解析sql语句将大数据厂商B需要执行的sql语句发送到大数据厂商B的计算节点上,当大数据厂商B同意审批之后才可以执行该条sql。 除此
请根据字段业务类型慎重判断是否可见。 数据提供方确认风险后,在详情页填写审批意见,单击“同意”。 作业发起者执行作业,执行完成后,可在页面下方查看执行结果。 图5 执行作业 父主题: 多方安全计算作业
筛选特征 样本对齐执行完成后单击下一步进入“特征选择”页面,这一步企业A需要选出企业A自己和大数据厂商B的特征及标签用于后续的训练。 企业A可以选择特征及标签后“启动分箱和IV计算”,通过联邦的统计算法计算出所选特征的iv值,一般而言iv值较高的特征更有区分性,应该作为首选的训练
在左侧导航树上单击“作业管理”,选择作业类型,打开作业列表页面。 查找待获取执行结果和作业报告的作业,单击操作栏的“历史作业”。 图4 历史作业 在历史作业列表中,单击操作栏的“执行结果”或者“作业报告”。在弹出的页面查看执行结果和作业报告。 图5 查看执行结果、作业报告 在历史作业列表中,查找待查看计算过
在左侧导航树上单击“作业管理”,选择作业类型,打开作业列表页面。 查找待获取执行结果和作业报告的作业,单击操作栏的“历史作业”。 图4 历史作业 在历史作业列表中,单击操作栏的“执行结果”或者“作业报告”。在弹出的页面查看执行结果和作业报告。 图5 查看执行结果、作业报告 在历史作业列表中,查找待查看计算过
在左侧导航树上单击“作业管理”,选择作业类型,打开作业列表页面。 查找待获取执行结果和作业报告的作业,单击操作栏的“历史作业”。 图4 历史作业 在历史作业列表中,单击操作栏的“执行结果”或者“作业报告”。在弹出的页面查看执行结果和作业报告。 图5 查看执行结果、作业报告 在历史作业列表中,查找待查看计算过
在左侧导航树上单击“作业管理”,选择作业类型,打开作业列表页面。 查找待获取执行结果和作业报告的作业,单击操作栏的“历史作业”。 图4 历史作业 在历史作业列表中,单击操作栏的“执行结果”或者“作业报告”。在弹出的页面查看执行结果和作业报告。 图5 查看执行结果、作业报告 在历史作业列表中,查找待查看计算过
模型训练 企业A在完成特征选择后,可以单击右下角的“启动训练”按钮,配置训练的超参数并开始训练。 等待训练完成后就可以看到训练出的模型指标。 模型训练完成后如果指标不理想可以重复调整7、8两步的所选特征和超参数,直至训练出满意的模型。 父主题: 使用TICS可信联邦学习进行联邦建模
在作业列表上,单击对应作业操作栏的“作业报告”。可在弹出的页面查看作业报告。 图1 空间侧查看作业报告 空间侧不支持查看作业执行结果,查看作业执行结果需要去对应的计算节点存储路径查看作业执行的实际结果。 查找待查看计算过程的作业,单击作业名称展开,在操作栏单击“计算过程”。 图2 空间侧查看作业计算过程
计算节点已创建完成,创建方法请参考部署计算节点。 发布数据 发布数据前,若不存在已创建好的连接器和数据,需先执行创建连接器和创建数据集操作。 若待发布的数据已经创建完成,参照以下流程进入“数据管理”页,执行以下操作即可。 用户登录TICS控制台。 进入TICS控制台后,单击页面左侧“计算节点管理”,进入计算节点管理页面。
保存并执行作业。单击下方的“保存并执行”按钮,即可发起执行横向联邦学习作业。 单击“历史作业”按钮,查看当前作业的执行情况。 单击“计算过程”按钮可以查看作业的具体执行计划。 单击“执行结果”按钮可以查看作业保存的模型文件路径,用于后续的评估型作业。 图4 查看作业的执行情况 图5
数据和模型实现样本联合预测。 目前TICS支持两种类型的预测方式: 批量预测: 批量预测通过在计算节点后台发起离线预测任务的方式,在任务完成后可以获得指定数据集中所有样本的预测结果。 实时预测: 实时预测通过在计算节点部署在线预测服务的方式,允许用户利用POST请求,在毫秒级时延内获取单个样本的预测结果。
图1 获取作业结果路径 发起方执行恶意脚本,试图篡改所获取的路径中的作业训练结果。 图2 执行恶意脚本 发起方执行恶意脚本后,由于安全沙箱确保每个横向联邦作业都是隔离的,当某个作业想去访问或篡改其他作业相关的文件时,无法找到作业执行结果文件,因此脚本执行失败、无法篡改,从而实现安全防护。