正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上。 可以将离线或历史数据集成到云上。提供同构/异构数据源之间数据集成的服务,支持单表/文件迁移、整库迁移、增量集成,支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成 创建集群 新建数据迁移的源连接、目的连接 新建表/文件迁移作业
工作日期进行调度。如果作业不在日历范围内是空跑,在日历范围内是正常执行。 使用调度日历功能后,在作业正常调度和补数据时,作业实例在执行时,系统会检查计划执行时间,是否是工作日。 如果实例的计划执行时间,是日历中的工作日,则实例正常执行。 如果实例的计划执行时间,是日历中的非工作日,则实例空跑。
解决方案 背景信息 解决方案定位于为用户提供便捷的、系统的方式管理作业,更好地实现业务需求和目标。每个解决方案可以包含一个或多个业务相关的作业,一个作业可以被多个解决方案复用。 数据开发模块目前支持处理以下几种方式的解决方案。 新建解决方案 编辑解决方案 导出解决方案 导入解决方案
简易变量集提供了一系列自定义的变量,自定义参数会根据任务调度的业务日期、计划时间及参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。 当前系统支持业务日期、计划时间、业务id三类参数的自定义。 业务日期是指在调度时间内,任务预期调度运行时间的前一天(即昨天),精确到天。业务日期可
动态水印指在数据的访问过程中,动态地在数据的查询访问请求返回结果集中注入水印的方式。本章主要介绍如何实现数据开发动态水印功能,最终在数据开发组件中转储或下载敏感数据时,系统动态注入数据水印。 在数据安全组件开启数据开发动态水印功能并创建动态水印策略后,当策略中指定的用户组或角色在数据开发组件中转储或下载敏感数
发作业中要包含支持自动血缘解析的节点类型和场景,或者在作业节点中已自定义血缘关系的输入表和输出表。当存在运行成功的数据开发作业调度任务时,系统会生成作业中的血缘关系,并在数据目录中进行可视化展示。 数据血缘的生成和展示,详情请参见节点数据血缘。 父主题: 数据目录
产品功能 数据集成:多种方式异构数据源高效接入 数据集成提供30+同构/异构数据源之间数据集成的功能,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成基于分布式计算框架,利用并行化处理技术,支持用户稳定高效地对
技术元数据是存储关于数据仓库系统技术细节的数据,是用于开发和管理数据仓库使用的数据。在DataArts Studio中,技术元数据即为技术资产,显示数据库、数据表、数据量的数量及其详情。 业务元数据从业务角度描述了数据仓库中的数据,它提供了介于使用者和实际系统之间的语义层,使得不懂计
每个子域名的访问次数限制与API发布到的目标有关。 共享版默认发布到API网关共享版。发布成功后,您可以在API网关服务共享版控制台上查看所发布的API。 系统为API网关共享版的默认分组自动分配一个内部测试用的调试域名,此调试域名唯一且不可更改,此调试域名每天最多可以访问1000次。如果您不希望
)和发展等级的划分(5个等级)以及相关功能介绍和评定指标(445项指标)的制定。 该标准适用于信息系统的建设单位,应用单位等进行数据管理时的规划,设计和评估,也可以作为针对信息系统建设状况的指导、监督和检查的依据。 图1 DCMM标准模型 DCMM将数据管理能力成熟度划分为五个等
例后则处于等待运行中。当运行中的作业运行完(包括执行成功、执行失败、取消)或者停止调度后(不包括暂停调度),其他作业需要重新抢锁才能运行,系统会随机选择等待运行中的作业继续执行。 约束限制 最大可以创建100个互斥组。 作业互斥配置只对正常调度的作业有效,其他调度(如暂停调度)暂不涉及,测试运行不涉及。
使用本地API 可选参数,选择是否使用数据库本地API加速。 创建MySQL连接时,CDM会自动尝试启用MySQL数据库的local_infile系统变量,开启MySQL的LOAD DATA功能加快数据导入,提高导入数据到MySQL数据库的性能。注意,开启本参数后,日期类型将不符合格式的
包,并在实例中管理API。 数据服务共享版仅限于调测使用,受限于服务稳定性和生命周期策略,不可用于生产环境。 专享版数据服务常用于企业内部系统解耦,各服务部署在云上的VPC内,服务之间以RESTful API方式通信,通信链路在VPC内部进行,网络安全得到进一步保障。同时专享版实
含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或者文件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用正则表达式分隔字段,并按照解析后的
警平台,该平台将应用多个云服务,结合数据开发模块的作业编辑和作业调度功能来实现。 假设客户有一个数据中心部署了很多应用,需要建立统一的运维系统,实时接收应用的告警信息。 当告警级别达到严重及以上级别时,向用户发送一条消息。 每天提供一个运维报表,统计各应用的告警级别数据。 为解决以上场景的需求,我们设计了如下方案:
数据资产化前列。面对数据入表的需求,亿信华辰不仅提供全套数据治理软件,让数据采集、加工、治理、应用更加便捷。还为企业搭建数据入表所需的信息系统及提供成本法入表服务,帮助实现半自动化、全自动化的数据入表。 同时, 亿信华辰拉通各生态伙伴成立“数据资产入表服务链合体”,为客户提供数据
含了分隔符,所以无法使用分隔符进行字段分隔,此时可以使用正则表达式分隔。 正则表达式参数在源端作业参数中配置,要求源连接为对象存储或者文件系统,且“文件格式”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用正则表达式分隔字段,并按照解析后的
SDI:Source Data Integration,又称贴源数据层。SDI是源系统数据的简单落地。 DWI:Data Warehouse Integration,又称数据整合层。DWI整合多个源系统数据,对源系统进来的数据进行整合、清洗,并基于三范式进行关系建模。 维度建模:在DWR层
模型设计业务流程步骤:此处勾选的流程,在关系建模或维度建模的对象发布上线时,系统会依次自动执行。一般建议全部勾选。 创建表:当数据架构中的表发布并通过审核后,系统将自动在对应的数据源中创建相应的物理表。在表删除时,系统也会自动删除物理表。 同步技术资产:关系建模或维度建模中的表发布后,同
MRS:表示连接MRS。 FusionInsight HD:表示连接FusionInsight HD。 Apache Hadoop:表示连接开源Apache Hadoop。 linkConfig.zookeeperQuorum 是 String 连接“CloudTable”时必选,