检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行程记录 > 原始记录”,单击“逆向数据库”,通过逆向数据库,导入原始表。 逆向数据库依赖于数据资产采集,请您确保已对所需逆向的数据库完成数据资产采集。 图25 模型目录 在“逆向数据库”窗口中,配置如下所示参数,然后单击“确定”。在本示例中选择贴源层数据库demo_sdi_db中的原始数据表。
基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任
sap_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同,请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname 用户名
表等),分别在开发和生产环境的数据湖服务中,新建数据库、数据库模式(仅DWS需要)、数据表等。 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),使用两套集群资源,两套环境中的数据库、数据库模式(仅DWS需要)和数据表必须保持同名。 对于
String 数据库名,当存在多个值时以逗号分隔。 sql String 自定义规则中的SQL脚本,系统内置规则时返回。 tables String 表名,当存在多个值时以逗号分隔。 reference_tables String 跨字段规则中的参考表名,当存在多个值时以逗号分隔。
必须指定主机端口。 未指定主机端口。 未指定主机端口,请指定主机端口后,再重试。 Cdm.0964 400 必须指定数据库。 未指定数据库。 未指定数据库,请指定数据库后,再重试。 Cdm.1000 400 Hive表[%s]不存在。 Hive表不存在。 请输入正确的Hive表名后,再重试。
数据质量当前不支持MRS Hive组件的严格模式。 数据库 选择配置的数据质量规则所应用到的数据库。 说明: 数据库基于已建立的数据连接。 当“规则类型”选择“库级规则”或“表级规则”,数据对象选择对应的数据库即可。 当“规则类型”选择“自定义规则”,选择对应的数据库即可。 scheme 如果数据源
在“数据预览”页签,预览当前表的业务数据。根据列的分类信息,支持对预览数据根据配置脱敏策略的设置进行实时脱敏。 数据预览支持的数据源类型:DWS、DLI、Hive、MySQL。 列的分类信息支持在新建采集任务时自动设置和在数据分类菜单中手动添加两种方式。其中仅DWS、DLI支持新建采集任务时自动设置分类。 在“变更记录”页签,查看数据表变更详情。
待写入数据的数据库名称,支持自动创建Schema。 单击输入框后面的按钮可选择模式或表空间。 整库迁移时无该参数。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 整库迁移时无该参数。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量
如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择“否”时,显示该参数,表示要抽取的表名。 单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。
Redis服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 密码 连接Redis的密码。 - Redis数据库索引 Redis分库的索引标识。 Redis的分库,相当于关系型数据库中的data
若选择SQL语句方式,数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 默认选择SQL脚本中设置的数据连接,支持修改。 数据库 是 默认选择SQL脚本中设置的数据库,支持修改。 脚本参数 否 关联的SQL脚本如果使用了参数,此处显示参数名称,请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。
配置连接参数 OBS连接参数说明 PostgreSQL/SQLServer连接参数说明 数据仓库服务(DWS)连接参数说明 云数据库MySQL/MySQL数据库连接参数说明 Oracle数据库连接参数说明 DLI连接参数说明 Hive连接参数说明 HBase连接参数说明 HDFS连接参数说明
ClickHouse数据连接参数说明。 RDS 请参见RDS数据连接参数说明。 RDS连接类型支持连接RDS中的MySQL/PostgreSQL/达梦数据库 DM/SQL Server/SAP HANA等关系型数据库。 MySQL(待下线) 不建议使用MySQL(待下线)连接器,推荐使用RDS连接MySQL数据源,请参见RDS数据连接参数说明。
资产关联分类 功能介绍 将一个分类关联到一个或多个指定guid的资产上。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/asset/entities/guid/{guid}/classification 表1 路径参数 参数 是否必选 参数类型
String RDS的访问端口。 通过RDS管理控制台获取访问端口: 登录管理控制台。 单击“关系型数据库服务”,左侧列表选择实例管理。 单击某一个实例名称,进入实例基本信息页面。 在连接信息标签中可以获取到数据库端口。 userName 是 String 数据库的用户名,创建集群的时候,输入的用户名。
作空间与企业模式工作空间物理形态、对开发行为的影响等多个维度为您介绍两种模式工作空间的区别。 目前,仅管理中心和数据开发组件支持企业模式。 简单模式下为实现开发和生产环境隔离,需要创建两个工作空间,一个是开发环境工作空间,一个是生产环境工作空间,然后将开发工作空间导出的脚本或作业
RS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 connection_id 否 String 转化后物理表所属的数据连接ID。 database 否 String 转化后物理表所属的数据库。 queue 否
您需要在云数据库RDS服务控制台,创建一个MySQL数据库实例,用于模拟原始数据源。建议创建MySQL数据库时,相关网络参数与DataArts Studio实例中的CDM集群的所在区域、虚拟私有云、子网、安全组保持一致,默认内网互通,否则还需手动打通MySQL数据库与CDM集群的网络。二者的企业项目也应保持一致。
高级属性里的可选参数保持默认。 目的连接名称:选择创建DLI连接中的“dlilink”。 资源队列:选择目的表所属的资源队列。 数据库名称:写入数据的数据库名称。 表名:写入数据的目的表。CDM暂不支持在DLI中自动创表,这里的表需要先在DLI中创建好,且该表的字段类型和格式,建议与待迁移数据的字段类型、格式保持一致。