检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据预处理是训练机器学习模型的一个重要前置步骤,其主要是通过转换函数将特征数据转换成更加适合算法模型的特征数据过程。TICS特征预处理功能能够实现对数据的探索、分析、规整以及转换,以达到数据在训练模型中可使用、可实用,在TICS平台内完成数据处理到建模的闭环。 假设您有如下数据集(
文件管理是可信智能计算服务提供的一项管理联邦学习模型文件的功能。通过文件管理,参与方无需通过登录后台手动导入模型文件,而是直接将模型文件上传到数据目录进行管理。 使用文件管理功能后,创建联邦学习作业时用户可以便捷地选择自己以前上传的执行脚本、训练模型、数据文件、权重参数文件,极大地提高了系统的易用性及可维护性。
允许删除工作空间的权限,控制他们对TICS资源的使用范围。 如果华为账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用TICS服务的其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关
CPU(Cores):用户填写容器使用的CPU配额,范围为2~999的正整数。 内存(GIB):用户填写容器使用的内存配额,范围为4~999的正整数。为了达到计算资源最佳使用效率,建议内存配额控制在43G以内。 计算节点密钥(.p12):请从通知管理下载的空间配置的压缩包中,提取计算节点密钥(
管理任务 任务管理是可信智能计算服务提供的一项查看计算节点参与任务的功能。通过任务管理,用户可以查看到曾在该计算节点上执行过的所有作业,并查看自己这个计算节点在作业中的位置以及数据流向。 通过任务管理,用户可以查看自己的计算节点在空间中的作业参与度,并通过“计算过程”来确认数据是否合理、安全地被使用。
在开始开发前,需要了解多方安全计算的基本概念。 常用概念 准备TICS执行环境 TICS执行环境当前依赖TICS空间、计算节点和连接器。 环境准备 根据场景编写sql程序 当前多方安全计算支持通过编写sql语句,来构建多方安全计算业务场景的计算任务。 使用场景 运行程序及查看结果 指导用户将开发好的sql在
filter参数为true。 开启初筛后,做PSI或者聚合join前,会将提前做过安全处理的小表id放置到大表代理侧,进行提前过滤和初筛。大大减少了需要在网络中消耗的时间,避免传递不需要输出的数据。
隐私保护等级:高级别时,默认启用高安全性的隐私计算的算法保障计算过程的安全,例如秘密分享加密、PSI等,但可能会影响性能以及部分作业正常执行。低级别时,使用国际标准的对称和非对称加密结合方式,在安全沙箱内进行解密计算。性能和灵活度较高。 结果差分隐私:开启时,使用差分隐私算法对多方安全计算作业的执行结果添加
图1 模型部署 模型部署完成后,单击“发起预测”,在系统弹窗中填写要预测的“样本id”和“模型特征”对应的数值,然后单击“预测”,就会有系统弹窗弹出,显示预测结果。 注意:样本id从创建作业选择数据集的样本id列获取。 图2 发起预测 父主题: 实时预测
数据需求方公司B在自己的计算节点页面上可以查看数据目录,找到数据拥有方公司A创建并发布的数据。 图1 创建数据申请 对数据集单击“申请使用”,在弹窗中填写需要使用的字段和访问需求,保存后可以提交审批,由公司A审核。 访问需求包括: 访问截止时间:设置访问的时间限制,超过访问时间后,对方的访问权限
在“联邦预测”页面批量预测Tab页单击“历史预测”,可以“查看结果”和“作业报告”。 “查看结果”为预测结果存储相对路径。分类作业的预测结果为0/1标签以及正负样本概率,0表示负样本,1表示正样本;回归作业的预测结果为最后的样本得分。 “作业报告”为作业的详细信息,如作业输入条件、作业输出结果、执行环境、合作方信息、计算过程等。
空间成员在计算节点中完成数据发布,参考发布数据。 约束限制 避免作业名重复。 支持本地连接器配置的CSV类型数据集。 支持DWS连接器配置的DWS数据集。 支持API连接器配置的API数据集。 创建实时隐匿查询作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 >
保证目录下至少包含一个csv文件,且所有csv文件的特征数保持一致。此外,选择数据集的原始文件,需要指定csv文件的“分隔符”、“是否包含表头”。“是否包含表头”是指文件的第一行是否是每一个字段的名称。 数据结构:配置每个字段的类别标签,包括以下几种: “字段类型”:支持BOOL
空间成员在数据目录中完成数据发布,参考4.6.4 发布数据。 对接MA的计算节点如果是使用子账号进行创建的,需要参考配置CCE集群子账号权限给子账号增加“管理员权限”配置。 约束限制 仅CCE计算节点支持横向训练作业对接MA。 MA纳管的CCE集群要和TICS的CCE计算节点在同一个VPC下。 注册MA资源池
即epoch,数据迭代计算的次数。 训练轮数 训练的轮数,每一轮训练结束都会对各方训练出的权重进行一次安全聚合。 重试 开关开启后,执行失败的作业会根据配置定时进行重试,仅对开启后的执行作业生效。 开关关闭后,关闭前已触发重试的作业不受影响,仅对关闭后的执行作业生效。 CPU配额
用户需要计算节点短暂脱离空间,一段时间内不想被其他参与方使用自己的数据时,可以手动触发计算节点下线。即“计算节点状态”为“在线”时,触发单击下线,计算节点会切换成离线状态,180秒后空间其他参与方无法使用该计算节点已发布的数据集运行作业。 用户想要加入空间,想被其他参与方使用自己的数据时,可以手动触发计算节点上线
审计日志 审计日志页面是可信智能计算服务提供的一项审计数据流动的功能。通过计算节点侧审计页面信息,用户可以清晰地获知空间中的参与方通过该计算节点运行的任务详情。同时,部署计算节点时若开启BCS功能,审计数据会同步至区块链上。 计算节点侧查看审计日志 用户登录TICS控制台。 进入
MySQL数据库 IP地址 本地的MySQL数据库的IP地址,且该地址允许可信节点所在虚机通过此IP访问。 1xx.1.1.1 端口 MySQL数据库的端口。 3306 驱动文件 对应数据库版本的驱动文件。 mysql-driver.jar 用户名 访问MySQL数据库的用户,该用户拥有MySQL数据库的读、写和删除权限。
在左侧导航树上依次选择“作业管理 > 多方安全计算”,在页面上方选择作业创建的空间后,单击“创建”。 图1 创建多方安全计算作业 在弹出的对话框中,输入作业“名称”和“描述”信息后单击“确定”。 图2 新建作业 在作业列表中查找创建的作业,单击“开发”,进入作业开发页面编写SQL语句。SQL语句开发完成后单击“保存”。
CCE集群 选择创建完成的CCE集群,如果没有可用的CCE集群,可单击右边的“创建集群”按钮,购买CCE集群。 - 自定义节点名称 集群节点名称,会随机生成,用户也可以根据自己需求来指定节点前缀名。 - 规格管理 选择规则类型、可用区、节点数量等。 - 购买时长 购买资源池的时间,用户可以根据续期选择,到期后,会自动清理。