检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
(DWS),简称DWS)作为数据湖底座,进行数据集成、开发、治理与开放。 云数据库服务 DataArts Studio支持将云数据库服务(Relational Database Service,简称RDS)作为作为数据源,进行数据集成、开发与开放。 云数据迁移服务 DataArts
关系建模和维度建模的区别是什么。 解决方案 关系建模为事务性模型,对应三范式建模。 维度建模为分析性模型,主要包括事实表、维度表的设计,多用于实现多角度、多层次的数据查询和分析。 DataArts Studio是基于数据湖的数据运营平台,维度建模使用的场景比较多。 父主题: 数据架构
MRS资源队列 否 选择已创建好的MRS资源队列。 说明: 数据连接为MRS API连接时支持为Spark SQL作业独立配置需要的资源(例如线程、内存、CPU核数并指定MRS资源队列等)。代理连接时不支持配置。 您需要先在数据安全组件中配置对应的队列(参考配置队列权限,)后,才
关系数据库连接 介绍 通过JDBC连接,可以对以下关系型数据库抽取、加载数据: 云数据库 PostgreSQL 云数据库 SQL Server PostgreSQL Microsoft SQL Server 连接样例 { "links": [ {
整表。 Where子句支持配置为时间宏变量,当数据表中有时间日期字段或时间戳字段时,配合定时执行作业,能够实现抽取指定日期的数据。 配置样例: 假设数据库表中存在表示时间的列DS,类型为“varchar(30)”,插入的时间格式类似于“2017-xx-xx”,如图1所示,参数配置如下:
√ √ √ × √ × 云数据库 RDS(云数据库MySQL) √ √ √ √ √ √ × 云数据库 RDS(云数据库PostgreSQL) √ √ √ √ √ × × 云数据库 RDS(云数据库SQL Server) √ × × √ × × × MySQL √ √ × × √ √
及的分区不删除) 队列名称 是 默认选择SQL脚本中设置的DLI队列,支持修改。 如需新建资源队列,请参考以下方法: 单击,进入DLI的“队列管理”页面新建资源队列。 前往DLI管理控制台进行新建。 说明: 当子用户在创建作业时,子用户只能选择已经被分配的队列。 当前由于DLI的
配置委托时获取委托列表失败如何处理? 可能原因 当配置工作空间级或者作业级委托,查看委托列表时,报错信息如“Policy doesn't allow iam:agencies:listAgencies to be performed.”,可能是权限不足引起的。 解决方案 则需要使
服务。 目前支持的数据库链路有: 自建/他云MySQL->RDS for MySQL 自建/他云PostgreSQL->RDS for PostgreSQL 自建/他云MongoDB->DDS Oracle->RDS for MySQL ...... DRS与CDM的区别: DR
购买时长:表示此套餐包的有效时长。 自动续费:勾选自动续费前的复选框,可实现自动按月或者按年续费。购买时长为按月购买时,自动续费周期为1个月;购买时长为按年购买时,自动续费周期为1年。 单击“立即购买”,确认规格后提交订单。 购买套餐包成功后,系统配额会在默认规格基础上,增加规格增量包部分。 父主题: 购买DataArts
不支持使用新版本(如Oracle Database 21c (21.3) drivers),会导致创建作业时无法获取模式名。 云数据库 PostgreSQL PostgreSQL POSTGRESQL https://mvnrepository.com/artifact/org.postgresql/postgresql
数据表。 单击“清除”,可对已选择的数据库和数据表进行修改。 *源表名 *水印嵌入列 下拉选择常见的字段类型作为嵌入列。如数值型、字符型。 注意:当选择水印版本为V1时,不支持选取主键列作为嵌入列。 *数据集范围 只有使用时间字段timestamp、Date来确定增量范围时,才可以选择增量模式
NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) 云数据库 PostgreSQL MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
驱动程序名称 是 驱动程序名称: com.mysql.jdbc.Driver:连接RDS for MySQL或MySQL数据源时,选择此驱动程序名称。 org.postgresql.Driver:连接RDS for PostgreSQL或PostgreSQL数据源时,选择此驱动程序名称。 com
NoSQL:表格存储服务(CloudTable) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch,云搜索服务(CSS) 云数据库 PostgreSQL MySQL 数据仓库:数据仓库服务(DWS),数据湖探索(DLI)
分布列。 在没有主键的场景下,如果没有选择分布列,DWS会默认第一列作为分布列,可能会有数据倾斜风险。 因此,在单表或整库导入到DWS/FusionInsight LibrA时,建议您在此处手动选择分布列,如果您没有选择,CDM会自动选择一个分布列。关于分布列的更多信息,请参见数据仓库服务。
配置PostgreSQL源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 PostgreSQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
进行配置: 增加主题别名、表模型别名、字段别名。 启用密级。 设置长度。 增加表的自定义字段。 增加属性的自定义字段。 图4 模型配置 在数据架构控制台,单击左侧导航树中的“配置中心”,进入相应页面后再单击“模型配置”页签。 启用别名。在“模型配置”页面,您可以增加别名。 选项说明如下:
配置SQLServer源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - 后端数据源 输入后端数据库的类型,当前仅支持MYSQL。 MYSQL 数据源列表 输入后端数据库的IP、端口、数据库名称、账户名、密码,以“:”隔开。即ip:port:dbs:username:pass