检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
中删除了表字段,则无法在数据库中相应的删除表字段。 如果线下数据库支持更新表结构语法,可以在DDL模板配置对应语法,之后更新操作就可以通过DataArts Studio管控;如果线下数据库不支持更新,那只有通过重建这种方式更新。 重建数据表:先删除数据库中已有的表,再重新创建表。
该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。 *SCHEMA*表示数据库名称中只要有“SCHEMA”字符串,就全部导出。 SCHEMA_E
和对应的数据库和数据表,则可跳过数据管理操作,直接进入脚本开发或作业开发。 数据管理的使用流程如下: 图1 数据管理流程 创建数据连接,连接相关数据湖底座服务。具体请参见新建数据连接。 基于相应服务,新建数据库。具体请参见新建数据库。 如果是DWS连接,则需要新建数据库模式;否则
业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表,资产总览展示业务对象、逻辑实体、业务属性的数量及其详情。 技术资产来自于数据连接和元数据采集任务,资产总览展示数据库、数据表、数据量的数量及其详情。 指标资产来自于数据架构组件中定义并发布过的业务指标,资产总览展示业务指标及其详情。 资产报告可展示逻辑实
图1 数据集成定位 产品功能 表/文件/整库迁移 支持批量迁移表或者文件,还支持同构/异构数据库之间整库迁移,一个作业即可迁移几百张表。 增量数据迁移 支持文件增量迁移、关系型数据库增量迁移、HBase/CloudTable增量迁移,以及使用Where条件配合时间变量函数实现增量数据迁移。
表1 数据开发的主要功能 支持的功能 说明 数据管理 支持管理DWS、DLI、MRS Hive等多种数据仓库。 支持可视化和DDL方式管理数据库表。 脚本开发 提供在线脚本编辑器,支持多人协作进行SQL、Shell、Python脚本在线代码开发和调测。 支持使用变量和函数。 作业开发
数据源认证及其他功能配置 用户名 是 数据库的用户名,创建集群的时候,输入的用户名。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 使用本地API 否 可选参数,选择是否使用数据库本地API加速。 创建MySQL连
全合规。 功能模块 数据安全包括: 数据密级 对数据进行等级划分,方便数据的管理。 数据分类 基于数据密级,可以进行数据分类,来有效识别数据库内的敏感数据。 脱敏策略 基于数据分类,可以通过创建脱敏策略,实现数据资产的脱敏和隐私保护。 父主题: 配置数据安全策略(待下线)
面并查看任务状态。 场景四:更新数据目录中的元数据,添加新元数据 ,并从数据目录中删除元数据 用户的数据库中数据表有删除的情况,采集任务能够删除数据目录中对应的数据表。 例如数据库删除table1的情况下: 采集前的数据表元数据:table1,table2,table3 采集后的
如图所示,DataArts Studio基于数据底座,提供数据集成、开发、治理等能力。DataArts Studio支持对接所有华为云的数据湖与数据库云服务作为数据底座,例如MRS Hive、数据仓库服务DWS等,也支持对接企业传统数据仓库,例如Oracle、MySQL等。 DataArts
新建数据连接 通过新建数据连接,您可以在数据开发模块中对相应服务进行更多数据操作,例如:管理数据库、管理命名空间、管理数据库模式、管理数据表。 在同一个数据连接下,可支持多个作业运行和多个脚本开发,当数据连接保存的信息发生变化时,您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接 数
ORACLE数据库系统是以分布式数据库为核心的一组软件产品,是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。 ORACLE数据库是目前世界上使用最为广泛的数据库管理系统,作为一个通用的数据库系统,它具有完整的数据管理功能;作为一个关系数据库,它是一
大子模块。具备的功能如下所示: 权限自助申请:用户可以选择自己需要权限的数据表,在线上快速发起申请。 权限审计:管理员可以快速方便地查看数据库表权限对应人员,进行审计管理。 权限回收/交还:管理员可以通过用户权限管理及时回收用户权限,用户也可以主动交还不再需要的权限。 权限审批管
HANA连接参数说明。 达梦数据库 DM 连接达梦数据库时,具体参数请参见达梦数据库 DM连接参数说明。 MySQL 连接MySQL数据库时,具体参数请参见云数据库MySQL/MySQL数据库连接参数说明。 Oracle 连接Oracle数据库时,具体参数请参见Oracle数据库连接参数说明。
Studio管理中心控制台进行创建,详情请参见配置DataArts Studio数据连接参数。 数据库 选择数据库。如果您还未创建数据库,可以前往DataArts Studio数据开发控制台进行创建,详情请参见新建数据库。 选择逻辑实体 全部:将所有的逻辑实体转换为物理表。 部分:将选择的部分逻辑实体转换为物理表。
名称:用户自定义连接名称,例如“dlilink”。 访问标识(AK)、密钥(SK):访问DLI数据库的AK、SK。 项目ID:DLI所属区域的项目ID。 图2 创建DLI连接 单击“保存”回到连接管理界面。 创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理
示。 按名称和描述搜索:表示按照资产的名称和描述进行搜索。 按所有属性搜索:表示按照资产的全部属性(即详情页中展示的属性)进行搜索。 支持保存当前设置的搜索条件。 支持导入搜索条件。 资产筛选 对于技术资产搜索结果,可以基于条件进行筛选,支持的筛选条件类别如下: 数据连接:数据资产所属数据连接名称。
Hadoop:MRS HDFS,MRS HBase,MRS Hive 对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server,MySQL,PostgreSQL,Microsoft SQL Server,Oracle
DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 可能原因 可能是由于CDM集群被关闭或者并发冲突导致,您可以通过切换agent代理来临时规避此问题。 解决方案 建议您通过以下措施解决此问题: 检查CDM集群是否被关机。 是,将CDM集群开机后,确认管理中心的数据连接恢复正常。
able目的端参数。 是 Redis 清除数据库 在导入数据前清除数据库数据。 是 DDS 数据库名称 待迁移的数据库名称,源连接中配置的用户需要拥有读取该数据库的权限。 mongodb 迁移行为 选择新增或替换。 - 如果是关系型数据库整库迁移,则作业参数配置完成后,单击“下一