检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图8 查看生成的数据集 (可选)单击作业列表中对应作业的“更多>下载参数配置”,下载本地文件。文件包含字段在作业开发页面使用预处理方法及参数,便于后期线下处理数据。
支持的数据源类型:CSV或者二进制的本地文件、MySQL、Hive,其中MySQL和Hive的数据集配置可参照管理数据章节。 前提条件 空间组建完成,参考组建空间。 空间成员完成计算节点部署,配置参数时选择挂载方式和数据目录,参考部署计算节点。
“连接器类型”选择MySql时,需保证计算节点与数据库所在虚机的连通性,“驱动文件”需与目标MySQL数据库版本一致。
支持数字,英文字母,下划线,长度0-32 file_type String 数据集类型 delimiter String csv文件分隔符 is_header_exist Boolean 数据文件是否包含表头 data_file_path String 数据文件地址 id_file_path
“连接器类型”选择MySql时,需保证计算节点与数据库所在虚机的连通性,“驱动文件”需与目标MySQL数据库版本一致。
“连接器类型”选择MySql时,需保证计算节点与数据库所在虚机的连通性,“驱动文件”需与目标MySQL数据库版本一致。
( id integer COMMENT '企业id' , electric_bal integer COMMENT '电费', water_bal integer COMMENT '水费' ); 将下面的数据分别导入csv文件并上传到
支持数字,英文字母,下划线,长度0-32 file_type 是 String 数据集类型 delimiter 是 String csv文件分隔符 is_header_exist 是 Boolean 数据文件是否包含表头 data_file_path 是 String 数据文件地址
浏览通知信息,单击“下载计算节点配置”,得到agentConfig.zip文件,解压到本地。 图1 下载计算节点配置 父主题: 快速入门
数据交换作业执行完成后可以进行下载,将文件保存到本地。如有必要,下载时还需要填写公司A制定的自定义限制。 图5 下载合约 父主题: 可信数据交换场景
图2 选择数据文件 单击“保存并提交审批”。 父主题: 实时隐匿查询
(1)指定连接器为localConnector,选择数据文件的路径,填写数据名称;(2)字段配置中特征字段(x_{特征序号})均配置为字段类型:FLOAT,字段类别:特征,特征类型:连续;标签字段(label)配置为字段类型:INTEGER,字段类别:标签。
最大值2的32次方-1 max.result.file.size 否 String 最大存文件大小 tics.task.concurrency 否 Integer tics集群计算节点的并发度,最大值2的32次方-1 user.task.concurrency 否 Integer
响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 status String 作业、任务状态:1.新建,2.已接收,3.运行中,4.成功,5.失败,6.终止 result String json格式:records 记录数;obs_path 文件存放地址;
最大长度32 result_storage_agent_name String 结果存储agent名称,最大长度128 result_storage_region_name String 结果所在region name,最大长度128 obs_path String obs/本地文件路径
ACCEPTED, RUNNING, SUCCEEDED, FAILED, TERMINATED, PENDING, SUBMITING, DEPLOYING, TERMINATING; data_count Long 样本对齐数据量 obs_path String obs/本地文件路径
3306 驱动文件 对应数据库版本的驱动文件。 mysql-driver.jar 用户名 访问MySQL数据库的用户,该用户拥有MySQL数据库的读、写和删除权限。 username 密码 访问MySQL数据库的用户密码。
样本粗筛:当己方数据过大无法导出成文本文件时,可以使用样本粗筛获取合作方的明文id前缀,使用大数据组件筛选出id前缀相符的数据,达到减少数据量的目的。
max.result.file.size:最大存储文件大小,默认10GB。如果最终结果存储超过这个大小,则会执行失败,需要调大该值。 tics.task.concurrency:在TICS所属计算节点执行计算时的并行度,默认值为1。
- 根据是否存在connector_id字段,判断是创建还是更新连接器 - 创建mysql连接器时需上传驱动文件,详见应用示例 - 该接口需将请求body转换为json字符串,详见请求示例 - 返回连接器ID 调用方法 请参见如何调用API。