检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已创建的数据预处理作业后的开发按钮,进入作业开发页面。该页面描述了字段的属性,如字段名称和分布类型。另外可以通过列表下方的“描述性统计”按键来统计字段的统计量,包括缺失值数量、最大值、最小值及数据分布图。还可以通过为字段添加预处理方法。 图3 作业开发页面 进行字段描述性统计。单
企业A也可以使用其他的数据集对同一个模型进行多次的评估。单击“发起评估”选择训练参与方不同的数据集即可发起模型评估。 至此使用可信联邦学习进行联邦建模的过程已经完成,企业A已经训练出了一个符合自己要求的算法模型,后续文档会介绍如何使用已有的算法模型对新的数据进行预测。 父主题: 使用TICS可信联邦学习进行联邦建模
应用开发简介 多方安全计算是可信智能计算服务(TICS)提供的关系型数据安全共享和分析功能。 您可以创建多方安全计算作业,根据合作方已提供的数据,编写相关SQL作业并获取您所需要的分析结果,能够在作业运行的同时保护数据使用方的数据查询和搜索条件,避免因查询和搜索请求造成的数据泄露。
创建数据预处理作业 数据预处理是训练机器学习模型的一个重要前置步骤,其主要是通过转换函数将特征数据转换成更加适合算法模型的特征数据过程。TICS特征预处理功能能够实现对数据的探索、分析、规整以及转换,以达到数据在训练模型中可使用、可实用,在TICS平台内完成数据处理到建模的闭环。
开发流程 图1 开发流程 表1 开发流程 阶段 说明 参考文档 了解基本概念 在开始开发前,需要了解多方安全计算的基本概念。 常用概念 准备TICS执行环境 TICS执行环境当前依赖TICS空间、计算节点和连接器。 环境准备 根据场景编写sql程序 当前多方安全计算支持通过编写s
开发环境简介 在进行多方安全计算应用开发时,要准备的环境如表1所示。 同时需要准备运行调测的Linux环境,用于验证应用程序运行正常。 表1 准备项 准备项 说明 购买TICS服务 在TICS控制台通过下单建立数据空间,或者将租户加入已有的数据空间。 部署计算节点 在TICS控制
开发规范 规则 多方安全计算中,基础的sql语法都能够支持,但无法支持所有特殊语法。 语法规则如下: 图1 语法规则 建议及示例 查询示例中两表join场景,建议将大表置于join左侧,小表置于join右侧,可借助初筛的能力,进行小表在大表端的加密过滤,提升性能。 建议示例: Select
设置可信计算节点宿主机的登录密码。 确认密码 与“节点密码”保持一致即可。 边缘节点部署参数 AI加速卡 不启用:部署常规的CPU规格计算节点 启用:启用边缘节点的AI加速卡,可以大幅减少联邦建模的耗时。通过IEF边缘节点部署时,请确保计算节点的AI加速卡相关功能可用,如需帮助请联系客服或技术支持人员。 纳管节点
设置可信计算节点宿主机的登录密码。 确认密码 与“节点密码”保持一致即可。 边缘节点部署参数 AI加速卡 不启用:部署常规的CPU规格计算节点 启用:启用边缘节点的AI加速卡,可以大幅减少联邦建模的耗时。通过IEF边缘节点部署时,请确保计算节点的AI加速卡相关功能可用,如需帮助请联系客服或技术支持人员。 纳管节点
一个CCE集群可以为同一用户的多个空间使用吗? TICS计算节点支持部署到CCE集群上。但当前在购买TICS服务时仅支持直接创建CCE集群,不支持选择已有的CCE集群。 因此一个CCE集群只能供一个空间使用,且必须是随TICS服务购买时直接创建的CCE集群,不能是已有集群。 CC
运行作业前,提示“Privacy rule verification failed”,怎么处理? 当在作业编辑页面编写SQL语句,并试图运行时,右上角提示“Privacy rule verification failed”。 原因是SQL语句中存在使用隐患字段的情况。 请根据具体提示,涉及以下情形请检查并修改SQL语句:
执行联邦学习作业时,报“ERROR UNAVAILABLE:Network closed for unknown reason”,如何解决? 问题描述 执行联邦作业时,出现“ERROR UNAVAILABLE:Network closed for unknown reason”报错信息。
查看结果”看到隐私求交作业的运行结果,包括交集的大小和交集文件的路径。 打开obs到指定目录下查看,可以看到有两个结果文件,其中一个是交集记录的序号alignedIds.csv,另一个是交集记录的id alignedOriginalIds.csv。 alignedIds.csv的内容如下: 1 4
确认密码 - 与“节点密码”保持一致即可。 边缘节点部署参数 AI加速卡 - 不启用:部署常规的CPU规格计算节点 启用:启用边缘节点的AI加速卡,可以大幅减少联邦建模的耗时。通过IEF边缘节点部署时,请确保计算节点的AI加速卡相关功能可用,如需帮助请联系客服或技术支持人员。 纳管节点
面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。
环境准备 开发环境简介 参考:获取认证信息 配置CCE服务 配置IEF服务 TICS服务委托授权 配置IEF高可用节点 购买TICS服务 部署计算节点 创建连接器
数据准备 乳腺癌数据集从UCI获取,该数据集只包含连续类型特征,因此对所有特征使用Scikit-Learn的StandardScaler进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集
/opt/tics/sync_tics.sh 保存后退出。 在节点B上重复步骤3~步骤4操作,注意步骤3中脚本内容应替换为对端节点A的ip。 使用tail /var/log/cron 可以查看定时命令执行情况,务必保证同步命令执行正常。 如何在两个节点间免密ssh登录 登录机器A,执行如下命令
服务介绍 应用开发简介 常用概念 开发流程 开发规范
据管理>数据创建页面,选择对应连接器(连接器管理中已建立完备),将需要共享的数据发布至空间侧,并支持通过转换函数将特征数据转换成更加适合算法模型的特征数据。 使用场景 连接器使用场景:参与方的数据信息分布在不同的资源服务上,即可通过连接器管理功能来快速连接到名下的各类资源服务。