检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据质量当前不支持MRS Hive组件的严格模式。 数据库 选择配置的数据质量规则所应用到的数据库。 说明: 数据库基于已建立的数据连接。 当“规则类型”选择“库级规则”或“表级规则”,数据对象选择对应的数据库即可。 当“规则类型”选择“自定义规则”,选择对应的数据库即可。 scheme 如果数据源
3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 - 使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。 是 使用Agent
资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 分区 用于抽取分区的信息。 ['year=2020'] ['year=2020
查看数据资产 通过数据目录可以对各类资产进行搜索、过滤、查看详情等操作。 业务资产来自于数据架构组件中定义并发布过的逻辑实体与数据表。 技术资产来自于数据连接和元数据采集任务,其中的数据连接来源于管理中心的数据连接,库表列等来源于数据目录的元数据采集任务。 指标资产来自于数据架构组件中定义并发布过的业务指标。
新建规则 管理所有业务规则,规则定义了指标间或者指标和数值间的关系,使用目录维护业务规则。 前提条件 已在DataArts Studio控制台的“实例 > 进入控制台 > 空间管理 > 数据质量 > 业务指标监控 > 规则管理”页面创建归属目录。基于指标创建业务规则,需要选择规则归属目录,请参见图1创建归属目录。
DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 可能原因 可能是由于CDM集群被关闭或者并发冲突导致,您可以通过切换agent代理来临时规避此问题。 解决方案 建议您通过以下措施解决此问题: 检查CDM集群是否被关机。 是,将CDM集群开机后,确认管理中心的数据连接恢复正常。
创建DWS连接 创建迁移作业 前提条件 已获取DWS数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有DWS数据库的读、写和删除权限。 已获取连接MySQL数据库的IP地址、端口、数据库名称、用户名、密码,且该用户拥有MySQL数据库的读写权限。 已在CDM集群的“作业管理 >
脚本被作业引用,在作业开发页面可以配置参数值,参数值支持使用EL表达式(参见表达式概述)。 SQL脚本中的参数如果涉及变量,变量的格式应该与脚本变量定义中设置的格式保持一致,如果不一致,变量将不会被识别。 脚本示例如下,其中str1是参数名称,只支持英文字母、数字、“-”、“_”
able目的端参数。 是 Redis 清除数据库 在导入数据前清除数据库数据。 是 DDS 数据库名称 待迁移的数据库名称,源连接中配置的用户需要拥有读取该数据库的权限。 mongodb 迁移行为 选择新增或替换。 - 如果是关系型数据库整库迁移,则作业参数配置完成后,单击“下一
数据安全概述 数据安全以数据为中心,基于数据动态流动场景,构建全链路数据湖安全的解决方案,全方位保障数据湖安全,以此满足不同角色(如数据开发工程师,数据安全管理员,数据安全审计员和数据安全运营人员)对数据安全和数据治理的诉求。 图1 DataArts Studio数据安全框架 资
神通(ST) 请参见神通(ST)数据库迁移时支持的数据类型。 SAP HANA 请参见SAP HANA数据库迁移时支持的数据类型。 DWS 请参见DWS数据库迁移时支持的数据类型。 达梦 请参见达梦数据库迁移时支持的数据类型。 DLI 请参见DLI数据库迁移时支持的数据类型。 Ela
新建数据连接 通过新建数据连接,您可以在数据开发模块中对相应服务进行更多数据操作,例如:管理数据库、管理命名空间、管理数据库模式、管理数据表。 在同一个数据连接下,可支持多个作业运行和多个脚本开发,当数据连接保存的信息发生变化时,您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接
高级属性里的可选参数保持默认。 目的连接名称:选择创建DLI连接中的“dlilink”。 资源队列:选择目的表所属的资源队列。 数据库名称:写入数据的数据库名称。 表名:写入数据的目的表。CDM暂不支持在DLI中自动创表,这里的表需要先在DLI中创建好,且该表的字段类型和格式,建议与待迁移数据的字段类型、格式保持一致。
型,再进一步细化设计出逻辑模型,最后设计物理模型。 物理模型:是在逻辑数据模型的基础上,考虑各种具体的技术实现因素,进行数据库体系结构设计,真正实现数据在数据库中的存放,例如:所选的数据仓库是DWS或DLI。 维度建模 维度建模是从分析决策的需求出发构建模型,它主要是为分析需求服
取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可
Studio管理中心控制台进行创建,详情请参见配置DataArts Studio数据连接参数。 数据库 选择数据库。如果您还未创建数据库,可以前往DataArts Studio数据开发控制台进行创建,详情请参见新建数据库。 选择逻辑实体 全部:将所有的逻辑实体转换为物理表。 部分:将选择的部分逻辑实体转换为物理表。
HANA连接参数说明。 达梦数据库 DM 连接达梦数据库时,具体参数请参见达梦数据库 DM连接参数说明。 MySQL 连接MySQL数据库时,具体参数请参见云数据库MySQL/MySQL数据库连接参数说明。 Oracle 连接Oracle数据库时,具体参数请参见Oracle数据库连接参数说明。
行程记录 > 原始记录”,单击“逆向数据库”,通过逆向数据库,导入原始表。 逆向数据库依赖于数据资产采集,请您确保已对所需逆向的数据库完成数据资产采集。 图25 模型目录 在“逆向数据库”窗口中,配置如下所示参数,然后单击“确定”。在本示例中选择贴源层数据库demo_sdi_db中的原始数据表。
通过CDM Job节点执行一个预先定义的CDM作业,实现数据迁移功能。 如果CDM作业中配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为(数据开发作业计划启动时间-偏移量),而不是(CDM作业实际启动时间-偏移量)。 参数 用户可参考表1,表2和表3配置CDM
执行SQL语句所关联的数据库,当type参数值为DLISQL、SparkSQL、HiveSQL、DWSSQL、PRESTO、ClickHouseSQL、ImpalaSQL、HetuEngineSQL、RDSSQL其中之一时,才支持此参数。 type为DLISQL时,可以通过查看所有数据库接口获取数据库信息。