检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置完成后,配置数据源连接参数,具体参数如表2所示。 表2 参数说明 参数 说明 连接地址 MYSQL数据库的IP地址。 端口 MYSQL数据库的端口号。 数据库名称 MYSQL数据库服务的名称。 用户名、密码 登录数据库用户名和密码。 SSL加密 支持启用SSL加密传输。 连接参数配置完成后,单
ma。 用户名/密码 登录数据库用户名和密码。 表4 存储MYSQL数据参数说明 参数 说明 端口 MYSQL数据库的端口号。 数据库名称 MYSQL数据库的名称。 用户名/密码 登录数据库用户名和密码。 SSL加密 支持启用SSL加密传输。 表5 存储DWS数据参数说明 参数 说明
说明 连接地址 MYSQL数据库的IP地址。 端口 MYSQL数据库的端口号。 数据库名称 MYSQL数据库的名称。 用户名/密码 登录数据库用户名和密码。 SSL加密 支持启用SSL加密传输。 表4 DWS类型存储的参数说明 参数 说明 连接地址 DWS数据库的IP地址。 端口
创建与企业数据库的连接 DMAP数小二为您提供元数据采集功能,方便您将企业数据库中的元数据进行统一汇总管理,元数据采集使用连接器连接数据源之后,用于获取数据源中的数据。支持创建MySQL、ORACLE、PostgreSQL、SQL Server、GaussDB、DWS、DAMENG类型的数据连接,用来进行数据采集。
名称 应用部署名称。 部署环境 选择部署环境,支持选择容器、弹性云主机、物理机。 运行账号 输入部署环境对应的运行账号。 存储类型 选择数据存储类型,支持选择数据库、文件/对象存储。 存储路径 输入应用部署的存储路径。 状态 :状态开启,应用部署配置生效。 :状态关闭,应用部署配置无效。
创建采集数据库中的数据任务 您可以通过创建采集任务,采集schema、数据集、数据集字段等技术元数据。采集任务创建后,您可以查看和管理采集任务,包括任务的启动、执行、编辑配置信息等。 前提条件 已创建与企业数据库的连接。 需拥有数据管家角色,角色权限请参考DMAP数小二用户角色与权限说明。
创建一台Centos操作系统的云服务器,并且为云服务器绑定弹性公网IP,确保可以连接互联网。具体操作请参见购买弹性云服务器、为弹性云服务器申请和绑定弹性公网IP。 构建VPN通道,确保打通华为云与第三方内网的连接,具体操作请参见通过VPN实现华为云与数据中心相通。 方案架构 图1 EDS与第三方内网数据源的连接方案
、DBA_CONS_COLUMNS、DBA_TAB_COLUMNS、DBA_TABLES这四个表的查询权限。 上传mysql需要具有数据库的只读权限。 上传dws需要上传表所在的schema的只读权限。 下载结构化数据到mysql需要数据库的建表(create)和写入(insert)权限,而下载到Oracle和dws
监控和日志管理功能。 对象存储服务 使用对象存储服务(Object Storage Service,简称OBS),实现数据空间连接器中非结构化交换数据的存储。 云数据库 使用云数据库(RDS for MySQL),实现数据空间连接器中结构化交换数据的存储。 数据集成工具 使用DataArts
数字身份管理 > 数据容器”,进入数据容器页面中。 在数据容器页面,数据容器包含数据库和集群。 修改数据库基础信息。 单击“数据库”页签,在目录处单击数据库或数据库下的模式名称,在页面右上角单击“编辑”,修改数据库基础信息,置灰项不可修改。 修改集群基础信息。 单击“集群”页签,在目录处
文件存储方式,当前仅支持物理存储。 文件 用户本地上传CSV文件到EDS空间下的连接器。 单击“上传文件”,添加待上传的数据文件后,界面将显示文件名称和大小,并展示预览CSV文件数据。 说明: CSV格式的文件表头不可为中文且不能重复。 API 存储方式 文件存储方式,当前仅支持物理存储。 API名称
Hive配置文件。 krb5 MRS_HIVE配置文件。配置文件获取请参考下方获取MRS Hive配置文件。 获取MRS Hive配置文件: 获取“krb5.conf”和“user.keytab”文件。 参考下载用户认证文件,在MRS Manager下载用户认证文件,解压后得到“krb5
S提供的一系列常用实践。 表1 常用最佳实践 实践 描述 数据交换 用户建立EDS与第三方内网环境的数据库/FTP服务器的连接 很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于EDS运行在云上,所以需要创建EDS与第三方内网数据源的连接,以便更加安全、可靠的交换和管理数据资源。
流通和可控使用。 数据传输 数据连接器中的传输模块,用来将数据从数据提供方传输到数据消费方,并提供通道加密的能力。 数据存储 数据连接器中的存储模块,用来存储在数据空间中交换的数据。 数据分析应用 数据连接器中的应用模块,主要是在数据消费方的连接器中。用来对交换的数据进行分析处理
"6168c382-5184-4ec8-8a04-************", "offer_name" : "offer-mysql-20231129AA", "subscription_id" : "90bedec2-2efc-41d4-8223-************"
户轻松使用EDS业务。 表1 EDS最佳实践一览表 最佳实践 说明 用户建立EDS与第三方内网环境的数据库/FTP服务器的连接 很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于EDS运行在云上,所以需要创建EDS与第三方内网数据源的连接,以便更加安全、可靠的交换和管理数据资源。
文件存储方式,当前仅支持物理存储。 文件 用户本地上传CSV文件到EDS空间下的连接器。 单击“上传文件”,添加待上传的数据文件后,界面将显示文件名称和大小,并展示预览CSV文件数据。 说明: CSV格式的文件表头不可为中文且不能重复。 API 存储方式 文件存储方式,当前仅支持物理存储。 API名称
支持区域: 华北-北京四 华南-广州-友好用户环境 购买数据连接器 数据集成 交换数据空间目前主要以文件导入和JDBC接入的方式将数据集、Excel文件、图片和PDF等不同格式的文件有机的集中在一起。 支持区域: 华北-北京四 华南-广州-友好用户环境 新增资源 点对点发送 点对点
地址 ORACLE数据库的IP地址。 端口 ORACLE数据库的端口号。 服务名称 ORACLE数据库服务的名称。 schema 数据库对象的集合,一个用户一般对应一个schema,用户的schema名等于用户名,并作为该用户缺省schema。 用户名、密码 登录数据库用户名和密码。
非结构化数据存储容量 不方便用数据库二维逻辑来表现的数据,如文档、文本、XML和图片等数据。 购买“基础版”连接器时,首次需购买20G非结构化数据,后续可扩容。 购买“赠送版”连接器时,系统配置200G的非机构化数据存储容量。 结构化数据存储容量 用关系型数据库来表示和存储的数据,如CSV文件,数据库数据等。