检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 作业监控”。 单击“批作业监控”页签,进入批作业的监控页面。 通过条件筛选,查询CDM作业的调度执行信息。 通过筛选“CDM作业”可以查询CDM作业的调度执行信息。 通过筛选“节点类型 > CDMJob”可以查询CDMJob节点算子的调度执行信息。 图1 批作业监控 父主题:
成,由可枚举数据构成,存储枚举数据名称与编码的映射关系。码表的作用主要有: 在数据清洗中用于标准化业务数据以及补充映射字段。 在质量监控中用于监控业务数据的值域范围。 在维度建模中可以引申为枚举维度。 新建码表并发布 手动新建码表,完成新建后可以参考填写数值到码表中添加码表记录。
FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时,连接参数相同,如表1所示。
环境准备 已开通弹性云服务器,并创建ECS,ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像,并且使用ECS自带的Python环境,您可登录主机后使用python命令确认服务器的Python环境。
图1 网络拓扑样例 操作步骤 找一台Windows机器作为网关机,该机器同时配置内网和外网IP。通过以下测试来确保网关机器的服务要求: 在该机器上ping内网MySQL地址可以ping通,例如:ping 192.168.1.8。 在另外一台可上网的机器上ping网关机的公网地址可以ping通,例如ping
linkConfig.serverlist 是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。 linkConfig.password 是 String 连接Redis服务器的密码。 linkConfig.dbIndex 是 String
是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。 linkConfig.database 是 String MongoDB的数据库名称。 linkConfig.userName 是 String 连接MongoDB服务器的用户名。 linkConfig
新建一个业务场景 场景说明 业务场景用于监控业务指标。本例以新建一个业务场景为例,介绍如何使用业务指标监控功能。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。 新建业务指标。 单击左侧导航“指标管理”。 单击页面上方的“新建”,如下图所示。
作业开发时,测试运行后不知道如何查看运行日志。 解决方案 方式1:待节点测试运行完成后,在当前节点鼠标右键选择查看日志。 方式2:通过画布上方的“前往监控”,在实例监控中展开作业实例,查看节点日志。 父主题: 数据开发
提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型,通过任务间依赖完成复杂数据分析处理。 支持多种作业调度方式。 支持导入和导出作业。 支持作业状态运维监控和作业结果通知。 提供编辑锁定能力,支持多人协同开发场景。 支持作业的版本管理能力,支持生成保存版本和提交版本。
Elasticsearch/云搜索服务(CSS)连接 介绍 通过Elasticsearch连接,可以对Elasticsearch服务器或云搜索服务抽取、加载数据。 连接样例 { "links": [ { "link-config-values": {
等问题,极大降低了开发维护成本。 CDM还提供了REST API,支持第三方系统调用和集成。 实时监控 需要自行选型开发。 您可以使用云监控服务监控您的CDM集群,执行自动实时监控、告警和通知操作,帮助您更好地了解CDM集群的各项性能指标。 免运维 需要自行开发完善运维功能,自行
数据质量配置数据搬迁 数据质量数据搬迁依赖于数据质量监控的规则模板、质量作业、对账作业导入导出功能。 约束与限制 已完成管理中心数据搬迁。 业务指标监控中的指标、规则、业务场景等数据均不支持导入导出,如有涉及,请您进行手动配置同步。 系统支持将自定义的规则模板批量导出,一次最多可导出200个规则模板。
数据架构中指标侧重业务维度,用来衡量目标总体特征的统计数值;数据质量中指标侧重监控维度,用来管理所有业务指标,包括指标的来源、定义等。 注意,数据质量模块的指标与数据架构模块的业务指标、技术指标当前是相互独立的,不支持交互。同时,数据质量模块的业务指标监控即将下线,推荐使用数据架构的业务指标功能。 父主题:
Data Quality Monitor 功能 通过Data Quality Monitor节点可以对运行的数据进行质量监控。 参数 用户可参考表1和表2配置Data Quality Monitor节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包
server 是 String FTP或SFTP服务器的地址。 linkConfig.port 是 String FTP或SFTP服务器端口号。 linkConfig.username 是 String 登录FTP或SFTP服务器的用户名。 linkConfig.password
数据质量模块支持对业务指标和数据质量进行监控,数据质量可检验,帮助用户及时发现数据质量问题。 已发布区域:全部 业务指标监控 数据质量监控 业务指标监控 业务指标监控是对业务指标数据进行质量管理的有效工具,可以灵活的创建业务指标、业务规则和业务场景,实时、周期性进行调度,满足业务的数据质量监控需求。 业务指标监控
慢时,会产生事件。事件会影响基线任务的按时完成。 监控范围 关键任务以及其依赖链上游的所有任务。 功能介绍 将重要任务添加到基线上后,系统将根据基线的优先级保障基线任务的资源,并根据基线任务的上下游依赖关系确定监控范围,根据该监控范围内任务的运行情况触发基线报警或事件报警。基线运维包含的功能如下:
性六个维度进行单列、跨列、跨行和跨表的分析。支持数据的标准化,能够根据数据标准自动生成标准化的质量规则。支持周期性的监控。 业务指标监控 监控业务指标 数据质量监控 查看质量作业 步骤8:数据资产查看 在DataArts Studio数据目录模块中,您可以查看数据地图。 数据地图
后端路径中含有环境变量的API,不支持调试。 API绑定签名密钥时,不支持调试。 如果API已绑定流控策略,在调试API时,流控策略无效。 前提条件 已创建API。 已搭建完成后端服务。 操作步骤 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏