检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
担压力。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 例如:dbname 驱动版本 否 选择ClickHouse驱动版本。 CLICKHOUSE_0_3_1:适用于连接ClickHouse 20.7以下版本,此驱动版本不支持多IP连接数据库服务器。 CLICKHOU
"connection_type" : "DWS", "databases" : "1_database", "sql" : "", "tables" : "1_database.dqc_test2", "reference_tables" : null,
配置Doris目的端参数 表1 Doris作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。
0028 用户名或密码错误,请参考数据库返回的错误消息: %s 请修改用户名或者密码,再重试。 Cdm.0029 数据库名称不存在,请参考数据库返回的错误消息: %s 请选择正确的数据库, 再重试。 Cdm.0030 用户名或密码或数据库名称错误,请参考数据库返回的错误消息: %s 请根
Hive、DLI、MRS ClickHouse、DORIS。 指标都是基于数据连接的,所以在建立指标之前需要先到元数据管理模块中建立数据连接。 数据库/队列 选择指标运行的数据库。 说明: 当数据源为DLI时,需要选择运行的队列。 描述 为更好的识别业务指标 ,此处加以描述信息。描述信息长度不能超过4096个字符。
SQL节点属性说明 参数名 是否必选 参数类型 说明 scriptName 是 String 脚本名称。 database 否 String 数据库名称。 MRS Hive中的数据库,默认default。 connectionName 否 String 连接名称。 scriptArgs
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
创建当前工作空间下的数据标准模板自定义项。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/standards/templates 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
build(); ListAllStandardsRequest request = new ListAllStandardsRequest(); try { ListAllStandardsResponse response = client
查看逆向维度表任务。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/design/dimension/database 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
访问日志,仅API方可见)。 CDM中代理异常,错误原因详见返回的DLG错误信息。 调用超时,若为DWS数据库,建议API采用自定义分页。 调用超时,请优化查询语句,确保数据库中能短时间内完成执行。 DLM.4211 Token invalid token校验不通过。 确认token是否正确。
dws_link 数据库服务器 单击输入框后的“选择”,可获取用户的DWS实例列表。 - 端口 配置为要连接的数据库的端口。DWS数据库端口默认为8000。 8000 数据库名称 配置为要连接的数据库名称。 demo 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
(DWS),简称DWS)作为数据湖底座,进行数据集成、开发、治理与开放。 云数据库服务 DataArts Studio支持将云数据库服务(Relational Database Service,简称RDS)作为作为数据源,进行数据集成、开发与开放。 云数据迁移服务 DataArts
表6 value 参数 参数类型 描述 total Integer 总量。 records Array of records objects RelationVO信息。 表7 records 参数 参数类型 描述 tables Array of TableModelVO objects
置和管理,支持单表、整库、增量、周期性数据集成。DataArts Studio基础包中已经包含一个数据集成CDM集群,由于规格限制,仅用于测试、试用等非正式业务场景。如果您需要创建用于业务场景的CDM集群,则可通过购买按需计费的批量数据迁移增量包来进行创建。 按需计费 套餐包(按需资源包)
"dli:database:explain", "dli:database:createDatabase", "dli:database:dropFunction",
参考创建DataArts Studio数据连接。 网络准备 数据库部署在本地IDC 参考数据库部署在本地IDC进行网络准备。 数据库部署在其他云 参考数据库部署在其他云进行网络准备。 数据库部署在华为云 参考数据库部署在华为云进行网络准备。 父主题: 数据集成(实时作业)
dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2
作业中目的连接为Hive连接时,目的端作业参数如表1所示。 表1 Hive作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。