检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
业务。 表1 EDS最佳实践一览表 最佳实践 说明 用户建立EDS与第三方内网环境的数据库/FTP服务器的连接 很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于EDS运行在云上,所以需要创建EDS与第三方内网数据源的连接,以便更加安全、可靠的交换和管理数据资源。
说明 连接地址 DWS数据库的IP地址。 端口 DWS数据库的端口号。 服务名称 DWS数据库服务的名称。 schema 数据库对象的集合,一个用户一般对应一个schema,用户的schema名等于用户名,并作为该用户缺省schema。 用户名、密码 登录数据库用户名和密码。 SSL加密
"fbf85846-3782-46dc-affb-************", "offer_name" : "offer-mysql-20231129AA", "offer_status" : "ON_BOARD", "offer_resources"
设置完成后,配置数据源连接参数,具体参数如表2所示。 表2 参数说明 参数 说明 连接地址 MRS_HIVE数据库的IP地址。 端口 MRS_HIVE数据库的端口号。 数据库名称 MRS_HIVE数据库服务的名称。 域名 MRS_HIVE数据库的域名。 用户名 MRS_HIVE的机机类型用户名。 keytab MR
描述信息。 非结构化数据存储容量 不方便用数据库二维逻辑来表现的数据,如文档、文本、XML和图片等数据。 购买连接器时,首次需购买20G非结构化数据,后续可扩容。 结构化数据存储容量 用关系型数据库来表示和存储的数据,如CSV文件,数据库数据等。 购买连接器时,首次需购买10G结构化数据,后续可扩容。
EDS通过集群提供服务,集群中每个微服务都有多个实例,当一个或部分实例异常时,其他实例可以持续提供服务。 数据容灾 EDS内部数据存储在RDS服务中,RDS实现了AZ容灾方案,数据持续会同步到容灾站点。当生产站点的RDS异常后,容灾站点可以接管业务,保障云服务持续运行。 父主题: 安全
文件存储方式,当前仅支持物理存储。 数据源名称 用户可以选择ORACLE、MYSQL、DWS或MRS_HIVE数据源,从数据库中获取数据。如没有数据源,可通过接入数据源接入。 选表方式 当前支持选表,无需选择,系统默认配置。 表名称 选择数据库中的表,可通过下拉框选择相应的表数据。 数据名称 配置数据名称。
不支持企业项目,表示仅能在IAM中给用户组授权并生效,如果在企业管理中授权,则该自定义策略不生效。关于IAM项目与企业项目的区别,详情请参见:IAM和企业管理的区别。 父主题: 权限和授权项
"6e2ab6d7-5f19-4097-a074-************", "offer_name" : "offer-mysql-20231129AA", "subscription_id" : "7343b305-75f9-4979-ade0-************"
约束与限制 交换数据空间的使用限制如下: 每个租户交换数据空间下,创建子用户数不能超过50个。 连接器之间传输的单个非结构文件大小不超过20MB。 DMAP数小二的使用限制如下: 通过Excel导入架构资产时单个文件大小不超过10MB。 通过Excel导入架构资产时单个工作表的最
非结构化数据存储容量 不方便用数据库二维逻辑来表现的数据,如文档、文本、XML和图片等数据。 购买“基础版”连接器时,首次需购买20G非结构化数据,后续可扩容。 购买“赠送版”连接器时,系统配置200G的非机构化数据存储容量。 结构化数据存储容量 用关系型数据库来表示和存储的数据,如CSV文件,数据库数据等。
DownloadDTO object 下载策略。 use 否 UseDTO object 使用对象策略。 database 否 DatabaseDTO object 数据库策略。 表7 ViewDTO 参数 是否必选 参数类型 描述 enable 是 Boolean 是否允许查看。
在数据资产中为逻辑数据实体关联数据集 数据管家在数据资产中新增逻辑数据实体,并为逻辑数据实体关联数据集。 前提条件 需拥有数据管家角色,角色权限请参考DMAP数小二用户角色与权限说明。 已执行采集任务并采集到数据。 为逻辑数据实体关联数据集 进入DMAP数小二实例控制台界面。 登录交换数据空间控制台,在页面左侧导
描述业务对象的数据特征,是数据最基本的单元。 数据容器 信息架构 包括一组数据集的逻辑集合或物理集合,可以是集群、数据库、Schema等。 数据集 信息架构 代表了数据的集合,通常指数据库中的表/视图、流处理系统中的流、数据湖系统中以文件或文件夹形式存在的数据集合等。 数据集字段 信息架构
内置应用说明 名称 描述 操作类型 数据库下载 该类应用允许用户下载结构化数据如CSV和JDBC类型的数据。 下载:用户可使用该应用下载数据到数据库。 数据库预览 该类应用允许用户查看结构化数据如CSV和JDBC类型的数据。 查看:用户可使用该应用预览查看数据库数据。 PDF查看 该类应用允许用户预览查看PDF文件,仅供测试。
DownloadDTO object 下载策略。 use 否 UseDTO object 使用对象策略。 database 否 DatabaseDTO object 数据库策略。 表6 ViewDTO 参数 是否必选 参数类型 描述 enable 是 Boolean 是否允许查看。
文件存储方式,当前仅支持物理存储。 数据源名称 用户可以选择ORACLE、MYSQL、DWS或MRS_HIVE数据源,从数据库中获取数据。如没有数据源,可通过接入数据源接入。 选表方式 当前支持选表,无需选择,系统默认配置。 表名称 选择数据库中的表,可通过下拉框选择相应的表数据。 数据名称 配置数据名称。
非结构化数据存储容量 不方便用数据库二维逻辑来表现的数据,如文档、文本、XML和图片等数据。 购买“基础版”连接器时,首次需购买20G非结构化数据,后续可扩容。 购买“赠送版”连接器时,系统配置200G的非机构化数据存储容量。 结构化数据存储容量 用关系型数据库来表示和存储的数据,如CSV文件,数据库数据等。
身份认证与访问控制 身份认证:EDS与IAM打通,对EDS数据空间,企业租户可以使用华为云用户名与密码登录,实现租户的认证与鉴权,未授权的不能访问。 访问控制:企业中的员工可以使用华为云租户下面的子用户,EDS支持在数据空间中对子用户进行角色管理,并对角色设置数据空间中的数据访问权限。
DataSourceConnect 参数 参数类型 描述 datasource_type String 数据源类型。 枚举值: MRS_HIVE ORACLE MYSQL DWS GAUSS_DB FTP SFTP OBS WPS API connection DataSourceConnection object