检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
联邦sql分析作业运行过慢,如何提升执行速度? 提升计算并行度 可以在作业开发界面的运行参数中,填写user.task.concurrency参数,提升用户侧此类加密任务的并行度。推荐该值填4-16左右,不建议超过30。 图1 填写参数 tics.task.concurrency参数提升的是
准备数据 企业A和大数据厂商B需要按照训练模型使用的特征,提供用于预测的数据集,要求预测的数据集特征必须包含训练时使用的特征。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float 企业A数据特征 industry_predict.csv
查询实例执行报告 功能介绍 查询实例执行报告 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/job-instances/{instance_id}/report 表1 路径参数 参数 是否必选 参数类型
执行ID选取截断 功能介绍 执行ID选取截断(样本粗筛) 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id}/idTruncation 表1 路径参数 参数
获取实例执行图 功能介绍 获取实例执行图 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/job-instances/{instance_id}/dag 表1 路径参数 参数 是否必选 参数类型 描述 project_id
发布数据集 企业A将自己的需要预测的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建用于预测的数据集。 企业A预测数据集如下: 大数据厂商B仍使用训练时的提供的全量数据作为预测数据集,没有发布新的数据集。 父主题: 使用TICS联邦预测进行新数据离线预测
参数 是否必选 参数类型 描述 name 是 String 连接器名称 connector_id 否 String 连接器id,长度32,更新连接器时必填 connector_type 是 String 连接器类型 1.MRS--MapReduce连接器 2.JDBC--JAVA数据库连接器
执行实时隐匿查询作业 企业A在发起实时隐匿查询前需要先执行数据初始化。 待实时预测作业初始化完成后,企业A可以通过页面单击“执行”试用发起查询。 例如查询id为“19581e27de7ced00ff1ce50b2047e7a567c76b1cbaebabe5ef03f7c3017bb5b7
数据准备 数据准备 以下数据和表结构是根据场景进行模拟的数据,并非真实数据。 以下数据需要提前存导入到MySQL\Hive\Oracle等用户所属数据源中,TICS本身不会持有这些数据,这些数据会通过用户购买的计算节点进行加密计算,保障数据安全。 政府信息提供方的数据tax和support
选择数据 首先企业A要在“数据选择”页面选择双方发布的数据集,已选择的数据集会出现在右侧,所选的数据集会用于后续的步骤。 父主题: 使用TICS可信联邦学习进行联邦建模
准备数据 A方提供了待查询的用户ID数据,样例如下: blacklist_query.csv id 1914fd1aef9346e7a1b0a63c95aa918e 6b86b273ff34fce19d6b804eff5a3f57 66985617b4f74d14b4eceeaa25d61f5e
数据准备 乳腺癌数据集从UCI获取,该数据集只包含连续类型特征,因此对所有特征使用Scikit-Learn的StandardScaler进行了归一化。为了模拟横向联邦学习场景,将数据集随机划分为三个大小类似的部分:(1)xx医院的训练集;(2)其他机构的训练集;(3)独立的测试集,
发布数据 前提条件 计算节点已创建完成,创建方法请参考部署计算节点。 发布数据 发布数据前,若不存在已创建好的连接器和数据,需先执行创建连接器和创建数据集操作。 若待发布的数据已经创建完成,参照以下流程进入“数据管理”页,执行以下操作即可。 用户登录TICS控制台。 进入TICS控制台后
查询特征选择执行结果 功能介绍 查询特征选择执行结果 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/leagues/{league_id}/fl-vertical-jobs/{job_id}/features-selection-result
查询作业执行结果抽样 功能介绍 本接口用于查询分析类型作业执行结果抽样。 调用方法 请参见如何调用API。 URI GET /v1/agents/{agent_id}/job-instances/{instance_id}/sample 表1 路径参数 参数 是否必选 参数类型 描述
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,例如双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 float
准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集,之后使用每周产生的新数据作为联邦预测的预测集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串
创建数据 数据拥有方公司A创建和发布数据集。可供选择有两种数据资产类型:结构化数据集、非结构化数据集。创建数据集后,发布数据集,此时对空间内的所有代理可见。 父主题: 可信数据交换场景
管理数据 数据管理概述 创建连接器 创建数据集 发布数据 数据预处理 父主题: 计算节点管理
数据优化 根据统计结果,双方可能会发现存在以下两个问题: 碰撞后的数据总数比较小。 碰撞后的数据分布不太均衡,负样本的比例过高。 这种情况下双方可以重复2-5的步骤更新自己提供的数据,多次执行样本分布统计直至达到比较满意的碰撞结果和分布结果。 至此联邦建模的数据准备阶段完成,接下来就是使用准备好的数据进行联邦建模