检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 获取实例执行图成功 401 操作无权限 500 内部服务器错误 父主题: 作业实例管理
空间成员完成计算节点部署,配置参数时选择挂载方式和数据目录,参考部署计算节点。 空间成员在计算节点中完成数据发布,参考发布数据。 约束限制 避免作业名重复。 支持本地连接器配置的CSV类型数据集。 支持DWS连接器配置的DWS数据集。 支持API连接器配置的API数据集。 创建实时隐匿查询作业 用户登录进入计算节点页面。
使用前必读 概述 基本概念 调用说明 项目ID 终端节点Endpoint 计算节点所在虚机的IP:Port
除空间等权限。例如,在创建空间模块中,组织方可以对合作方人员发布的数据进行审核,把好质量关。 合作方 合作方使用数据源计算节点模块实现自主可控的数据源注册、隐私策略(脱敏、加密、水印)的设定、元数据的发布等,为数据源计算节点提供全生命周期的可靠性监控、运维管理。 TICS使用流程简介
创建数据 数据拥有方公司A创建和发布数据集。可供选择有两种数据资产类型:结构化数据集、非结构化数据集。创建数据集后,发布数据集,此时对空间内的所有代理可见。 父主题: 可信数据交换场景
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集,之后使用每周产生的新数据作为联邦预测的预测集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串
准备数据 企业A和大数据厂商B需要按照训练模型使用的特征,提供用于预测的数据集,要求预测的数据集特征必须包含训练时使用的特征。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float 企业A数据特征 industry_predict
管理数据 数据管理概述 创建连接器 创建数据集 发布数据 数据预处理 父主题: 计算节点管理
审批数据申请 数据拥有方公司A登录进入计算节点页面。 在左侧导航树上选择“可信数据交换 > 数据申请”,打开数据申请页面。 在数据申请页面单击“我收到的”,查看供数方节点收到的申请列表。 数据来源为数据需求方公司B发送来的使用申请:申请交换的数据集、数据集字段(结构化数据才有该字段)。
数据优化 根据统计结果,双方可能会发现存在以下两个问题: 碰撞后的数据总数比较小。 碰撞后的数据分布不太均衡,负样本的比例过高。 这种情况下双方可以重复2-5的步骤更新自己提供的数据,多次执行样本分布统计直至达到比较满意的碰撞结果和分布结果。 至此联邦建模的数据准备阶段完成,接下来就是使用准备好的数据进行联邦建模。
准备数据 企业A的实时业务不需要准备数据,在发起查询时通过参数传递需要查询的用户id。 表1 企业B用户画像数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 f0-f4 float 用户数据画像特征 bigdata_all.csv id,f0,f1,f2
本地的数据集训练子模型。 训练模型文件则定义了模型的结构,会用于每个参与方在本地初始化模型。 图2 配置执行脚本、训练模型文件 配置已方、对方数据集。在作业的数据集配置中,选择己方、对方的本地数据集,此外需将已方的数据集设为评估数据集。横向联邦中,需要确保不同参与方的数据集结构完全一致。
Service)。可信智能计算服务TICS打破数据孤岛,在数据隐私保护的前提下,实现行业内部、各行业间的多方数据联合分析和联邦计算。TICS基于安全多方计算MPC、区块链等技术,实现了数据在存储、流通、计算过程中端到端的安全和可审计,推动了跨行业的可信数据融合和协同。 在调用可信智能计算服务TICS
选择数据 首先企业A要在“数据选择”页面选择双方发布的数据集,已选择的数据集会出现在右侧,所选的数据集会用于后续的步骤。 父主题: 使用TICS可信联邦学习进行联邦建模
准备数据 A方提供了待查询的用户ID数据,样例如下: blacklist_query.csv id 1914fd1aef9346e7a1b0a63c95aa918e 6b86b273ff34fce19d6b804eff5a3f57 66985617b4f74d14b4eceeaa25d61f5e
果。 数据隐私保护强 多方采用隐私集合求交PSI对齐样本数据,本地数据或模型加密后在安全环境中运算,实现数据可用不可得。精细化的数据隐私保护策略,确保分析结果中强制执行隐私数据的脱敏。 图1 政企信用联合风控 政府数据融合共治 由于数据安全以及隐私保护问题,政府各委办局数据尚未充
和交集文件的路径。 打开obs到指定目录下查看,可以看到有两个结果文件,其中一个是交集记录的序号alignedIds.csv,另一个是交集记录的id alignedOriginalIds.csv。 alignedIds.csv的内容如下: 1 4 5 即指企业A提供的数据中,第1
除空间等权限。例如,在创建空间模块中,组织方可以对合作方人员发布的数据进行审核,把好质量关。 合作方 合作方使用数据源计算节点模块实现自主可控的数据源注册、隐私策略(脱敏、加密、水印)的设定、元数据的发布等,为数据源计算节点提供全生命周期的可靠性监控、运维管理。 TICS使用流程简介
点配置”代表“部署计算节点”属于哪个空间,用户输入的数据就会在哪个空间中参与计算。 配置信息包含证书,用于计算节点之间通信双向认证。证书保证了空间下的用户,部署的计算节点能够数据交互,参与计算。同时,也隔离了不同空间之间的数据访问。 合作方登录TICS控制台。进入TICS控制台后