检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布数据集 企业B分别自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集,并单击“发布”。 企业B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 外部数据共享
数据集管理 获取字段隐私详情 数据集列表 父主题: 计算节点API
数据集发布 前提条件 完成数据准备工作。 操作步骤 进入TICS服务控制台。 在计算节点管理中,找到购买的计算节点,通过登录地址,进入计算节点控制台。 图1 前往计算节点 登录计算节点后,在下图所述位置新建连接器。 图2 新建连接器 输入正确的连接信息,建立数据源和计算节点之间的安全连接
可信数据交换 概述 创建申请 确认申请 创建合约 签署合约 查看履约记录 查看作业计算过程和作业报告
运行作业前,提示“Privacy rule verification failed”,怎么处理? 当在作业编辑页面编写SQL语句,并试图运行时,右上角提示“Privacy rule verification failed”。 原因是SQL语句中存在使用隐患字段的情况。 请根据具体提示
Before running this example, set environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK
数据集管理 查询空间已注册数据集列表 父主题: 空间API
发布数据集 企业A和大数据厂商B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集。 企业A的数据集如下: 大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS
发布数据集 企业A和大数据厂商B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集。 企业A的数据集如下: 大数据厂商B的数据集如下: 创建数据集后单击“发布”按钮即可将数据的元数据信息发布到tics空间侧,供其他合作方参考。 父主题: 使用TICS
发布数据集 企业A将自己的需要预测的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建用于预测的数据集。 企业A预测数据集如下: 大数据厂商B仍使用训练时的提供的全量数据作为预测数据集,没有发布新的数据集。 父主题: 使用TICS联邦预测进行新数据离线预测
发布数据集 企业A和企业B分别将自己的csv数据文件上传到自己的计算节点上,通过“数据管理”模块创建各自的数据集,并单击“发布”。 以企业A为例,数据集信息如下: 隐私求交场景需要将求交的字段设置为“非敏感”的唯一标识。 父主题: 隐私求交黑名单共享场景
申请使用数据 数据需求方公司B在自己的计算节点页面上可以查看数据目录,找到数据拥有方公司A创建并发布的数据。 图1 创建数据申请 对数据集单击“申请使用”,在弹窗中填写需要使用的字段和访问需求,保存后可以提交审批,由公司A审核。 访问需求包括: 访问截止时间:设置访问的时间限制,超过访问时间后
阶段一:数据发布 前提条件 完成数据准备工作。 操作步骤 进入TICS服务控制台。 在计算节点管理中,找到购买的计算节点,通过登录地址,进入计算节点控制台。 图1 前往计算节点 登录计算节点后,在下图所述位置新建连接器。 图2 新建连接器 输入正确的连接信息,建立数据源和计算节点之间的安全连接
创建数据预处理作业 数据预处理是训练机器学习模型的一个重要前置步骤,其主要是通过转换函数将特征数据转换成更加适合算法模型的特征数据过程。TICS特征预处理功能能够实现对数据的探索、分析、规整以及转换,以达到数据在训练模型中可使用、可实用,在TICS平台内完成数据处理到建模的闭环。
数据集注册管理 数据集列表展示 创建或更新数据集 批量删除数据集 发布数据集到空间 获取数据详情 父主题: 计算节点API
开发数据预处理作业 数据预处理通常被用于评估/训练作业场景。本文以使用训练数据训练预处理作业,然后再将预处理方法应用于评估/预测数据为例进行说明。 训练数据预处理作业 评估/预测数据预处理 前提条件 已提前准备好训练数据,和评估/预测数据。 数据预处理作业选择的结构化数据集(包括CSV
approval_records Array of ApprovalRecordVo objects 审核列表 ext String 执行参数Json字符串。
作业描述,最大长度512 sql_text 是 String sql内容,最大长度8000 sql_job_approval_status 否 String 作业状态 NEW, APPROVING, APPROVED, REJECTED, REVOKED; approval_records
审批模式作业 TICS基于安全隐私策略的数据安全防护会自动拒绝不合法的SQL语句执行,但当安全规则限制过强的时候,可能会影响正常业务的执行。 对此TICS 提供作业审批功能。配置生效后,所有的计算任务执行时,均会生成审批报告,提交到数据提供方侧,由提供方确认关联数据集的用途和风险。
灵活多态 支持对接主流数据源(如MRS、 DLI、 RDS、 Oracle等)的联合数据分析; 支持对接多种深度学习框架(TICS,TensorFlow)的联邦计算; 支持控制流和数据流的分离,用户无需关心计算任务拆解和组合过程,采用有向无环图DAG实现多个参与方数据流的自动化编排和融合计算