检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置完成后,单击“确定”。 为属性关联数据集字段。 在数据资产管理目录单击3中创建的属性,在界面右侧关联数据集字段区域单击“添加”。 在弹框中选择数据集,然后单击“下一步”,选择数据集字段,数据集列表数据来源于在在数据资产中为逻辑数据实体关联数据集中绑定的数据集,数据集字段列表数据来源于已绑定的数据集下采集的字段,然后单击“确定”。
设置完成后,配置数据源连接参数,具体参数如表2所示。 表2 参数说明 参数 说明 连接地址 MYSQL数据库的IP地址。 端口 MYSQL数据库的端口号。 数据库名称 MYSQL数据库服务的名称。 用户名、密码 登录数据库用户名和密码。 SSL加密 支持启用SSL加密传输。 连接参数配置完成后,单
创建与企业数据库的连接 DMAP数小二为您提供元数据采集功能,方便您将企业数据库中的元数据进行统一汇总管理,元数据采集使用连接器连接数据源之后,用于获取数据源中的数据。支持创建MySQL、ORACLE、PostgreSQL、SQL Server、GaussDB、DWS、DAMENG类型的数据连接,用来进行数据采集。
DATASET: 数据集 FILE:文件 枚举值: DATASETS FILE 表6 UseControlPoliciesInner 参数 参数类型 描述 action String 执行动作过滤: VIEW:查看 MODIFY:加工 DOWNLOAD:下载 枚举值: VIEW MODIFY DOWNLOAD
配置的过滤值。 过滤类型为“between”时,需输入起始值以及终止值,过滤筛选出来的内容为起始值以及终止值的中间值。 过滤类型为“like”时,输入关键字,用于进行模糊筛选,表示过滤筛选出来的内容包含输入的过滤值中的关键字。 过滤类型为“in”时,直接输入,若为多个值用英文逗号
创建采集数据库中的数据任务 您可以通过创建采集任务,采集schema、数据集、数据集字段等技术元数据。采集任务创建后,您可以查看和管理采集任务,包括任务的启动、执行、编辑配置信息等。 前提条件 已创建与企业数据库的连接。 需拥有数据管家角色,角色权限请参考DMAP数小二用户角色与权限说明。
包括一组数据集的逻辑集合或物理集合,可以是集群、数据库、Schema等。 数据集 信息架构 代表了数据的集合,通常指数据库中的表/视图、流处理系统中的流、数据湖系统中以文件或文件夹形式存在的数据集合等。 数据集字段 信息架构 数据集中的每一列的特定变量对应一个数据集字段。 数据标准 信息架构 定义组
String 属性code。 reserve_head_len 否 Integer 首端保留长度。 最大值:5000 reserve_tail_len 否 Integer 尾端保留长度。 最大值:5000 表6 PolicyJsonRequest 参数 是否必选 参数类型 描述 view 否
参数 说明 端口 MYSQL数据库的端口号。 数据库名称 MYSQL数据库的名称。 用户名/密码 登录数据库用户名和密码。 SSL加密 支持启用SSL加密传输。 表5 存储DWS数据参数说明 参数 说明 端口 DWS数据库的端口号。 数据库名称 DWS数据库的名称。 Schema
偏移量,表示从此偏移量开始查询,offset大于等于0。 最小值:0 最大值:999999 缺省值:0 limit 否 Integer 每页显示条目数量,最大数量999,超过999后只返回999(防止单页返回过大)。 最小值:1 最大值:999 缺省值:10 请求参数 表3 请求Header参数 参数
EDS与第三方内网数据源的连接方案 用户建立EDS与第三方内网环境的数据库的连接 远程登录云服务器。 账号:root;密码:您在创建云服务器时设置的密码。具体操作请参见登录Linux弹性云服务器。 在该节点部署Nginx,用于打通EDS和第三方内网环境数据库(如MySQL)之间的连接,执行如下命令: 进入“/usr/local”目录。
配置的过滤值。 过滤类型为“between”时,需输入起始值以及终止值,过滤筛选出来的内容为起始值以及终止值的中间值。 过滤类型为“like”时,输入关键字,用于进行模糊筛选,表示过滤筛选出来的内容包含输入的过滤值中的关键字。 过滤类型为“in”时,直接输入,若为多个值用英文逗号
进行签名的过程中会自动填充该字段。 X-Sdk-Date:请求发送的时间,可选,当使用AK/SK方式认证时,使用SDK对请求进行签名的过程中会自动填充该字段。 X-Auth-Token:用户Token,可选,当使用Token方式认证时,必须填充该字段。用户Token也就是调用获取
array,则请将该值设置为:a.b; 若response body中被读取对象是json object,可以不设置该值,不过meta的字段名必须是全路径,例如: { "a": {"b":{"c":"xx","d":"xx"} } } 若不设置该值,则meta的字段名就是a.b.c和a
用户缺省schema。 用户名/密码 登录数据库用户名和密码。 表3 MYSQL类型存储的参数说明 参数 说明 连接地址 MYSQL数据库的IP地址。 端口 MYSQL数据库的端口号。 数据库名称 MYSQL数据库的名称。 用户名/密码 登录数据库用户名和密码。 SSL加密 支持启用SSL加密传输。
最小值:0 最大值:999999 缺省值:0 最小值:0 最大值:999999 缺省值:0 limit 否 Integer 每页显示条目数量,最大数量999,超过999后只返回999(防止单页返回过大)。 最小值:1 最大值:999 缺省值:10 最小值:1 最大值:999 缺省值:10
、DBA_CONS_COLUMNS、DBA_TAB_COLUMNS、DBA_TABLES这四个表的查询权限。 上传mysql需要具有数据库的只读权限。 上传dws需要上传表所在的schema的只读权限。 下载结构化数据到mysql需要数据库的建表(create)和写入(insert)权限,而下载到Oracle和dws
配置的过滤值。 过滤类型为“between”时,需输入起始值以及终止值,过滤筛选出来的内容为起始值以及终止值的中间值。 过滤类型为“like”时,输入关键字,用于进行模糊筛选,表示过滤筛选出来的内容包含输入的过滤值中的关键字。 过滤类型为“in”时,直接输入,若为多个值用英文逗号
使用对象存储服务(Object Storage Service,简称OBS),实现数据空间连接器中非结构化交换数据的存储。 云数据库 使用云数据库(RDS for MySQL),实现数据空间连接器中结构化交换数据的存储。 数据集成工具 使用DataArts Studio-DataArts Migration/ROMA
配置的过滤值。 过滤类型为“between”时,需输入起始值以及终止值,过滤筛选出来的内容为起始值以及终止值的中间值。 过滤类型为“like”时,输入关键字,用于进行模糊筛选,表示过滤筛选出来的内容包含输入的过滤值中的关键字。 过滤类型为“in”时,直接输入,若为多个值用英文逗号