检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'YourTable'; 源端SQLServer需要给管理中心数据连接中配置的用户赋予以下全部权限。 给用户添加数据库CONNECT, VIEW DATABASE STATE 权限。 USE YourDatabaseName; GRANT CONNECT, VIEW DATABASE STATE TO
关系建模和维度建模的区别? 问题描述 关系建模和维度建模的区别是什么。 解决方案 关系建模为事务性模型,对应三范式建模。 维度建模为分析性模型,主要包括事实表、维度表的设计,多用于实现多角度、多层次的数据查询和分析。 DataArts Studio是基于数据湖的数据运营平台,维度建模使用的场景比较多。
质量作业和对账作业有什么区别? 可能原因 质量作业和对账作业的区别不清楚,需要说明下。 解决方案 质量作业可将创建的规则应用到建好的表中进行质量监控。 对账作业支持跨源数据对账能力,可将创建的规则应用到两张表中进行质量监控,并输出对账结果。 数据对账对于数据开发和数据迁移流程中的
ElasticSearch作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 索引 类似关系数据库的schema或数据库名称,整库迁移多索引以逗号分隔。 支持输入索引别名。 支持输入通配符表达式(*)。如果选择了多个索引,索引的结构必须一致。 该参数支持配置为时间宏变量,且一个路径名中可以有
数据目录组件有什么用? 数据目录的核心是通过元数据采集任务,采集并展示企业在工作空间范围内的数据资产地图,包括元数据信息和数据血缘关系。 元数据管理 元数据管理模块是数据湖治理的基石,支持创建自定义策略的采集任务,可采集数据源中的技术元数据。支持自定义业务元模型,批量导入业务元数
配置PostgreSQL/SQL Server源端参数 作业中源连接为从云数据库 PostgreSQL、云数据库 SQL Server、PostgreSQL、Microsoft SQL Server导出的数据时,源端作业参数如表1所示。 表1 PostgreSQL/SQL Server作为源端时的作业参数
配置PostgreSQL源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 PostgreSQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数
DRS任务切换到实时Migration作业配置 MySQL同步到MRS Hudi作业配置 MySQL同步到DWS作业配置 MySQL同步到DMS Kafka作业配置 DMS Kafka同步到OBS作业配置 Apache Kafka同步到MRS Kafka作业配置 SQLServer同步到MRS Hudi作业配置
配置Hive源端参数 配置DLI源端参数 配置FTP/SFTP源端参数 配置HTTP源端参数 配置PostgreSQL/SQL Server源端参数 配置DWS源端参数 配置SAP HANA源端参数 配置MySQL源端参数 配置Oracle源端参数 配置分库源端参数 配置MongoDB/DDS源端参数
作业任务参数调优 MySQL到MRS Hudi参数调优 MySQL到DWS参数调优 MySQL到DMS Kafka参数调优 DMS Kafka到OBS参数调优 Apache Kafka到MRS Kafka参数调优 SQLServer到MRS Hudi参数调优 PostgreSQL到DWS参数调优
DS='${dateformat(yyyy-MM-dd,-1,DAY)}' 选择源连接名称为分库连接对应的后端连接时,此作业即为普通的MySQL作业。 新建源端为分库连接的作业时,在字段映射阶段,可以在源字段新增样值为“${custom(host)}”样式的自定义字段,用于在多个
业务对象下所有表评分的加权求平均值,即:∑业务对象下所有表评分/表的数量。 主题域 主题域下所有业务对象评分的加权求平均值,即:∑主题域下所有业务对象评分/业务对象的数量。 主题域分组 分组下所有主题域评分的加权求平均值,即:∑分组下所有主题域评分/主题域的数量。 在DataArts Studio控制台首
是否支持增量迁移? 问题描述 CDM是否支持增量迁移? 解决方案 CDM支持增量数据迁移。 利用定时任务配置和时间宏变量函数等参数,可支持以下场景的增量数据迁移: 文件增量迁移 关系数据库增量迁移 HBase/CloudTable增量迁移 详情请参见增量迁移。 父主题: 数据集成(CDM作业)
管理中心 DataArts Studio支持连接哪些数据源? 创建数据连接需要注意哪些事项? DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示? DWS数据连接开启SSL时测试连接失败怎么办?
从字符串中获取指定字符串的第一个索引,没有则返回整数-1。例如从“aabaabaa”中获取“ab”的第一个索引1。 表达式:StringUtils.indexOf(value,"ab") 从字符串中获取指定字符串的最后一个索引,没有则返回整数-1。例如从“aFkyk”中获取“k”的最后一个索引4。 表达式:StringUtils
数据服务SDK支持的语言? 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK支持的语言有:C#、Py
数据开发可以创建多少个作业,作业中的节点数是否有限制? 问题描述 数据开发中,该模块支持创建作业数量和作业中的节点数是否有限制。 解决方案 目前默认每个用户最多可以创建10000个作业,每个作业建议最多包含200个节点。 另外,系统支持用户根据实际需求调整最大配额。如有需求,请提交工单进行申请。
Studio与MRS Hive数据湖的连接 新建DataArts Studio与DWS数据湖的连接 新建DataArts Studio与MySQL数据库的连接 父主题: 管理中心
部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关;开源MySQL数据库支持useCursorFetch参数,无需对此参数进行设置。 allowPublicKeyRetrieval=true:MySQL默认关闭允许公钥检索机制,因此连接MySQL数据源时,如果TLS不
对象存储:对象存储服务(OBS) 关系型数据库:云数据库 MySQL,云数据库 PostgreSQL,云数据库 SQL Server 搜索:Elasticsearch 公测中:云搜索服务(CSS),表格存储服务(CloudTable) 云数据库 PostgreSQL MySQL 数据仓库:数据仓库服务(DWS)