检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持本地连接器配置的CSV类型数据集。 支持DWS连接器配置的DWS数据集。 支持API连接器配置的API数据集。 创建实时隐匿查询作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 隐匿查询 > 实时隐匿查询”,打开实时隐匿查询作业页面。
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集,之后使用每周产生的新数据作为联邦预测的预测集。
创建隐私求交作业 前提条件 参与计算的双方需要在其代理节点上创建好各自的数据集,并需要确保数据集含有非敏感的唯一标识字段。 创建作业 用户登录进入计算节点页面。 在左侧导航树上依次选择“作业管理 > 隐私求交”,打开隐私求交作业列表页面。 在隐私求交作业列表页面,单击“创建”。
在计算节点中支持配置连接器,注册数据集,任务执行,查看任务执行日志。 连接器(Connector) 连接器是可信智能计算节点内置的连接特定数据源所需的对象模板,目前支持连接MRS Hive、MySQL、RDS、DWS、ORACLE等多种连接器,并支持扩展增加新的连接器。
云审计服务 TICS使用云审计服务(Cloud Trace Service,简称CTS)审计用户在管理控制台页面的操作,可用于检视是否存在非法或越权操作,完善服务安全管理。
注意:样本id从创建作业选择数据集的样本id列获取。 图2 发起预测 父主题: 实时预测
以下数据需要提前存导入到MySQL\Hive\Oracle等用户所属数据源中,TICS本身不会持有这些数据,这些数据会通过用户购买的计算节点进行加密计算,保障数据安全。 政府信息提供方的数据tax和support,在用户计算节点agent_gov上发布。
选择数据 首先企业A要在“数据选择”页面选择双方发布的数据集,已选择的数据集会出现在右侧,所选的数据集会用于后续的步骤。 父主题: 使用TICS可信联邦学习进行联邦建模
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。
准备数据 企业A和大数据厂商B需要按照训练模型使用的特征,提供用于预测的数据集,要求预测的数据集特征必须包含训练时使用的特征。
图3 配置参数 “数据集配置”的“可选数据列表”: 本地运行环境时,展示的是通过本地连接器发布的本地数据。 “评估型作业”只能选择当前计算节点的一个数据集。 表1 作业参数说明 参数名 参数描述 作业名称 用户自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”
管理数据 数据管理概述 创建连接器 创建数据集 发布数据 数据预处理 父主题: 计算节点管理
准备数据 A方提供了待查询的用户ID数据,样例如下: blacklist_query.csv id 1914fd1aef9346e7a1b0a63c95aa918e 6b86b273ff34fce19d6b804eff5a3f57 66985617b4f74d14b4eceeaa25d61f5e
图2 前往计算节点 在“数据管理”页签找到待发布的数据名称,单击“发布”,弹出发布数据集选择框。 图3 发布数据 在发布数据集选择框中选择需要发布的合作方,单击“发布”,数据就会被同步到对应合作方作业管理的数据集中。数据集创建者默认拥有数据集权限。
数据优化 根据统计结果,双方可能会发现存在以下两个问题: 碰撞后的数据总数比较小。 碰撞后的数据分布不太均衡,负样本的比例过高。 这种情况下双方可以重复2-5的步骤更新自己提供的数据,多次执行样本分布统计直至达到比较满意的碰撞结果和分布结果。 至此联邦建模的数据准备阶段完成,接下来就是使用准备好的数据进行联邦建模
准备数据 企业A的实时业务不需要准备数据,在发起查询时通过参数传递需要查询的用户id。 表1 企业B用户画像数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 f0-f4 float 用户数据画像特征 bigdata_all.csv id,f0,f1,f2
图3 审计日志 事件信息内容主要有:参与方[参与方别名]创建[作业类型]作业[作业名称:作业实例id],使用数据集[数据集名称],耗费[时间],输出[条数]。 多方安全计算作业中的作业详情信息,即SQL语句也会参与审计,但该信息属于敏感信息不会上链。 父主题: 计算节点管理
模型评估 训练时的评估指标是用训练的数据集中随机采样的记录计算的,完成训练后企业A也可以使用其他的数据集对同一个模型进行多次的评估。单击“发起评估”选择训练参与方不同的数据集即可发起模型评估。
数据发布的过程并不会直接从数据源中导出用户数据,仅从数据源处获取了数据集相关的元数据信息,用于任务的解析、验证等。 父主题: 基于TICS实现端到端的企业积分查询作业
approval_records Array of ApprovalRecordVo objects 审核列表 ext String 执行参数Json字符串。