检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据预处理是训练机器学习模型的一个重要前置步骤,其主要是通过转换函数将特征数据转换成更加适合算法模型的特征数据过程。TICS特征预处理功能能够实现对数据的探索、分析、规整以及转换,以达到数据在训练模型中可使用、可实用,在TICS平台内完成数据处理到建模的闭环。 假设您有如下数据集(
数据需求方公司B在自己的计算节点页面上可以查看数据目录,找到数据拥有方公司A创建并发布的数据。 图1 创建数据申请 对数据集单击“申请使用”,在弹窗中填写需要使用的字段和访问需求,保存后可以提交审批,由公司A审核。 访问需求包括: 访问截止时间:设置访问的时间限制,超过访问时间后,对方的访问权限
CPU(Cores):用户填写容器使用的CPU配额,范围为2~999的正整数。 内存(GIB):用户填写容器使用的内存配额,范围为4~999的正整数。 计算节点密钥(.p12):请从通知管理下载的空间配置的压缩包中,提取计算节点密钥(.p12格式) 并导入上传。 CA证书(.jks):请从通知管理下载的空间配置的压缩包中,提取CA证书(
图1 模型部署 模型部署完成后,单击“发起预测”,在系统弹窗中填写要预测的“样本id”和“模型特征”对应的数值,然后单击“预测”,就会有系统弹窗弹出,显示预测结果。 注意:样本id从创建作业选择数据集的样本id列获取。 图2 发起预测 父主题: 实时预测
审计日志 审计日志页面是可信智能计算服务提供的一项审计数据流动的功能。通过计算节点侧审计页面信息,用户可以清晰地获知空间中的参与方通过该计算节点运行的任务详情。同时,部署计算节点时若开启BCS功能,审计数据会同步至区块链上。 计算节点侧查看审计日志 用户登录TICS控制台。 进入
在“联邦预测”页面批量预测Tab页单击“历史预测”,可以“查看结果”和“作业报告”。 “查看结果”为预测结果存储相对路径。分类作业的预测结果为0/1标签以及正负样本概率,0表示负样本,1表示正样本;回归作业的预测结果为最后的样本得分。 “作业报告”为作业的详细信息,如作业输入条件、作业输出结果、执行环境、合作方信息、计算过程等。
在开始开发前,需要了解多方安全计算的基本概念。 常用概念 准备TICS执行环境 TICS执行环境当前依赖TICS空间、计算节点和连接器。 环境准备 根据场景编写sql程序 当前多方安全计算支持通过编写sql语句,来构建多方安全计算业务场景的计算任务。 使用场景 运行程序及查看结果 指导用户将开发好的sql在
邀请成员 空间成员登录TICS控制台。 在TICS控制台左侧,单击“空间管理”,在“我创建的空间”页签查找需要邀请合作方的空间并单击“邀请合作方”。 在弹出的界面配置待邀请的合作方的“租户名称”和“租户别名”,“租户名称”从合作方侧获取即可,保存后单击“确定”,完成邀请合作方操作。 图1
filter参数为true。 开启初筛后,做PSI或者聚合join前,会将提前做过安全处理的小表id放置到大表代理侧,进行提前过滤和初筛。大大减少了需要在网络中消耗的时间,避免传递不需要输出的数据。
用户需要计算节点短暂脱离空间,一段时间内不想被其他参与方使用自己的数据时,可以手动触发计算节点下线。即“计算节点状态”为“在线”时,触发单击下线,计算节点会切换成离线状态,180秒后空间其他参与方无法使用该计算节点已发布的数据集运行作业。 用户想要加入空间,想被其他参与方使用自己的数据时,可以手动触发计算节点上线
关闭后的执行作业生效。 对重试操作配置后,配置CPU配额和内存配额。执行批量预测作业时,会创建新容器来执行,这两个配额参数的值为创建新容器的CPU核数和内存大小,默认CPU核数为1,内存大小512M。 然后勾选“选择训练作业”列表中的某一训练作业,然后勾选“选择模型”列表中对应模型,最后单击“确定”按钮完成作业创建。
在数据申请页面单击“我收到的”。 在“我收到的”数据申请页签中,选择已经确认的申请,单击“创建合约”。 图1 创建合约 在创建合约对话框填写合约信息。 数据合约的内容有五个部分,包括: 1、合约内容:合约名称、合约描述。 2、数据信息:主要描述结构化数据的列信息,包含数据名称、创建人、创建时间描述等信息。
空间成员在计算节点中完成数据发布,参考发布数据。 约束限制 避免作业名重复。 支持本地连接器配置的CSV类型数据集。 支持DWS连接器配置的DWS数据集。 支持API连接器配置的API数据集。 创建实时隐匿查询作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 >
空间成员在数据目录中完成数据发布,参考4.6.4 发布数据。 对接MA的计算节点如果是使用子账号进行创建的,需要参考配置CCE集群子账号权限给子账号增加“管理员权限”配置。 约束限制 仅CCE计算节点支持横向训练作业对接MA。 MA纳管的CCE集群要和TICS的CCE计算节点在同一个VPC下。 注册MA资源池
在左侧导航树上依次选择“作业管理 > 多方安全计算”,在页面上方选择作业创建的空间后,单击“创建”。 图1 创建多方安全计算作业 在弹出的对话框中,输入作业“名称”和“描述”信息后单击“确定”。 图2 新建作业 在作业列表中查找创建的作业,单击“开发”,进入作业开发页面编写SQL语句。SQL语句开发完成后单击“保存”。
给计算节点。 必须确保互通的ip和端口: KrbServer的ip,以及tcp端口21730 和udp端口(21732,21731) zookeeper的ip和端口(2181) Hive-server的ip和端口(10000) MRS Manager的TCP端口(9022) 参考如下: