检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通用操作 逆向数据库(关系建模) 逆向数据库(维度建模) 导入导出 关联质量规则 查看表 批量修改主题/目录/流程 管理配置中心 审核中心 父主题: 数据架构
默认值:application/json;charset=UTF-8 可选,有Body体的情况下必选,没有Body体则无需填写和校验。 响应参数 状态码:200 表4 响应Body参数 参数 参数类型 描述 data data object data,统一的返回结果的最外层数据结构。 表5 data 参数 参数类型 描述
原因1:确认作业是否启动调度,如果没有启动,不会进行调度。 原因2:实例查询时间区间过大,如果配置有依赖作业或者自依赖,查看历史作业实例是否因为依赖失败,导致等待运行,没有生成新作业实例。 解决方案 配置作业失败异常告警通知,以及实例超时时间,当等待时间超过实例超时时间,系统将发送告警通知。 父主题: 数据开发
数据架构 码表和数据标准有什么关系? 关系建模和维度建模的区别? 数据架构支持哪些数据建模方法? 规范化的数据如何使用? 数据架构支持逆向数据库吗? 数据架构中的指标与数据质量的指标的区别? 为什么关系建模或维度建模修改字段后,数据库中表无变化? 表是否可配置生命周期管理?
选择“节点并发数”。 配置工作空间的节点并发数,工作空间的节点并发数不能大于DataArts Studio实例的并行节点并发数上限。 DataArts Studio实例的节点并发数上限可通过表1获取。其中的作业节点调度次数/天配额可通过DataArts Studio实例卡片上的“更多 > 配额使
”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用正则表达式分隔字段,并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料,这里举例下面几种日志文件的正则表达式的写法: Log4J日志 Log4J审计日志 Tomcat日志 Django日志
”必须选择“CSV格式”。 图1 正则表达式参数 在迁移CSV格式的文件时,CDM支持使用正则表达式分隔字段,并按照解析后的结果写入目的端。正则表达式语法请参考对应的相关资料,这里举例下面几种日志文件的正则表达式的写法: Log4J日志 Log4J审计日志 Tomcat日志 Django日志
scheduling parameter is invalid. 作业的调度参数不合法。 请检查调度参数。 400 DLF.3050 The job description is invalid. 作业的描述不合法。 请检查作业的描述。 400 DLF.6201 The script does
完成度的重要工具。该章节以“坪效”为例对数据指标的功能进行详细地讲解。 坪效是目前通用的衡量商场经营效益的指标,其概念指的是每坪的经营面积可以产出多少营业额。 图1 业务场景示例 在本示例中,我们最终输出的是客户需求的报表中过去一年全国所有有效经营面积的平均坪效值。我们的数据源提
Studio和ROMA有什么差异? 从数据运营方案(数据中台)的数据集成、数据治理以及数据开放三层结构来看,DataArts Studio和ROMA主要差别在于数据治理方面: ROMA作为连接各个系统的管道,对接入数据没有治理和规划的功能。 DataArts Studio支持对接入数据进
配置Redis源端参数 表1 Redis作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 redis键前缀 对应关系数据库的表名。 TABLENAME 值存储类型 存储类型分STRING、HASH。 STRING 高级属性 键分隔符 用来分隔关系数据库的表和列名。 _ 值分隔符 以STRING方式存储,列之间的分隔符。
认对应连接里的账号是否有元数据查询的权限。 说明: 该参数支持配置正则表达式,实现导出满足规则的所有数据库。 default 表名 单击输入框后面的按钮可进入表的选择界面,用户也可以直接输入表名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。
Studio 创建并调用数据服务API 08:40 创建并调用数据服务API 数据目录 DataArts Studio 数据血缘自动生成 04:44 数据血缘自动生成
离散小时调度与作业最近依赖调度逻辑 补数据场景使用介绍 作业调度支持每月最后一天 获取SQL节点的输出结果值 IF条件判断教程 获取Rest Client节点返回值教程 For Each节点使用介绍 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 跨空间进行作业调度 使用Python脚本连接MRS安全集群执行Impala
查询过程中,其他用户频繁进行commit操作。 Oracel的RBS(rollbackspace 回滚时使用的表空间)较小,造成迁移任务没有完成,源库已更新,回滚超时。 建议与总结 调小每次查询的数据量。 通过修改数据库配置调大Oracle的RBS。 父主题: 数据集成(CDM作业)
不同的数据源类型,并通过角色、集群名称、数据库或表名检索。 通过空间权限集、权限集或角色授权的流程详见配置空间权限集、配置权限集或配置角色。 图3 表-角色 “表-用户组”页签:默认展示当前实例下,通过授权对象为用户组的权限申请和审批流程所获取的表权限。支持筛选不同的数据源类型,
事务模式迁移 CDM的事务模式迁移,是指当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果
测试完成后,单击“确定”返回API列表。已成功修改的API会在API名称后添加“已编辑”标签。 图2 已编辑API 再次发布已编辑的API。在API服务列表操作列中,选择“更多 > 发布”,然后选择已调试通过的集群进行发布。 您可以将已编辑的API发布在上一次发布的集群上,该集群上的API信息将按编辑后的信息进行更新
终止提交到此队列的作业 删除队列 : 删除此队列 赋权 : 当前用户可将队列的权限赋予其他用户 权限回收 : 当前用户可回收其他用户具备的该队列的权限,但不能回收该队列所有者的权限 查看其他用户具备的权限 : 当前用户可查看其他用户具备的该队列的权限 重启队列 : 重启此队列的权限 规格变更
Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。 选择“实时集成作业监控”页签,单击作业名称。 在详情页面,选择“日志信息”,在左侧日志列表中单击具体日志文件,即可实时查看作业的运行日志。 图1 日志信息1