检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
离线处理：对已收集的大量数据进行批量处理和分析，这些任务通常是在计算资源和存储资源方面经过优化，以确保高效的数据处理和分析。这些任务通常是定时（例如每天、每周）执行，主要处理大量历史数据，用于批量分析和数据仓库。 实时处理：对源源不断产生的新数据进行实时处理和分析，以满足业务对数据的即时性
的质量规则，并进行周期性的监控。 数据质量监控主界面包括以下功能模块。 功能 说明 总览 默认首页是总览页面，显示了数据表的报警和阻塞情况。 主要包括以下几部分内容： 所选周期内的作业数、实例数、异常表数，以及各种实例运行状态的分布和变化趋势情况。 当天告警分类统计、当天数据表告
新建脚本 数据开发模块的脚本开发功能支持新建、编辑、调试、执行各类SQL、Python和shell脚本，开发脚本前请先新建脚本。 前提条件 已完成新建数据连接和新建数据库等操作。 脚本在每个工作空间的最大配额为10000，脚本目录最多5000个，目录层级最多为10层。请确保当前数量未达到最大配额。
参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号，获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如
通过新建数据连接，您可以在数据开发模块中对相应服务进行更多数据操作，例如：管理数据库、管理命名空间、管理数据库模式、管理数据表。 在同一个数据连接下，可支持多个作业运行和多个脚本开发，当数据连接保存的信息发生变化时，您只需在连接管理中编辑修改该数据连接的信息。 新建数据连接 数据开发模块的数据连接，是基于管理
即可正常查看。 CDM集群已正常运行一段时间（约10分钟）。 对于新创建的集群，需要等待一段时间，才能查看上报的监控数据和监控视图。 操作步骤 进入CDM主界面，选择“集群管理”，选择集群操作列中的“更多 > 查看监控指标”。 在CDM监控页面，可查看所有监控指标的小图。 图1
分库分表：适用于将多个源端为PostgreSQL实例上的多个分库中的分表实时同步到1个目标端为DWS实例的汇聚表。 支持单机/主备PostgreSQL实例类型下的全量和增量数据迁移。 该链路目前需申请白名单后才能使用。如需使用该链路，请联系客服或技术支持人员。 约束限制 适用PostgreSQL
数据开发配置数据搬迁 当前管理中心支持直接搬迁数据开发组件中已提交版本的脚本和作业数据，但导出作业时默认只导出作业，不包含其依赖的脚本和资源。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过数据开发的导入导出功能进行搬迁。 数据开发数据搬迁依赖于数据开发的脚本、作业、环境变量、资源导入导出功能。
需要配置该参数。 将Spark程序资源包上传到指定的分组中，主Jar包和依赖包会上传到同一个分组中。 已有分组：选择已有的分组 创建新分组：创建新的分组，分组名称只能包含英文字母、数字、点号、中划线和下划线。 不分组 主类入口参数 否 配置该参数时，多个参数请以Enter键进行分隔。
义监控目标与通知策略，及时了解作业状况，从而起到预警作用。 设置作业的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置实时集成作业告警规则的具体方法。 配置一键告警 一键告警为您提供针对DataArts Studio服务下所
才能查看上报的监控数据和监控视图。 操作步骤 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“运维调度
告警：表示实例正常结束，但执行结果不符合预期。 异常：表示实例未正常结束。 --：表示实例正在运行中，无执行结果。 业务指标监控主界面包括以下功能模块。 功能 说明 总览 默认首页是总览页面，显示了业务场景实例的运行状态和告警状态。 主要包括以下几部分内容： 快速入门，介绍业务指标监控的业务流。 最近7天内的业务场
单击“添加参数”。配置参数值和参数名称，参数值可以设置默认值、最大值、最小值。可以对配置的参数进行修改和删除。 如果该模板参数允许作业参数覆盖，则勾选“允许作业参数覆盖”，设置的模板参数可以允许作业参数进行覆盖。 图2 配置参数模板 单击“确定”。 您可以对已创建的参数模板进行查看、修改和删除。 脚
在关系建模中更新一个表模型及其属性，包括逻辑实体和物理表。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/table-model 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 请求参数
数据架构组件：主题设计，逻辑模型，标准设计，物理模型，维度建模和指标。 数据开发组件：作业，作业目录，脚本，脚本目录和资源。 数据质量组件：质量作业和对账作业。 数据目录组件：技术资产中的表（Table）和文件（File）类型资产，以及元数据采集任务。 数据服务组件：数据服务集群，API和APP。 数据安全组件：敏
2，有特殊使用要求时选择对应的版本即可。 作业特性 否 作业使用的Spark镜像类型，当前支持基础型、AI增强型和自定义的Spark镜像。 自定义镜像需要选择自定义镜像名称和对应版本。仅当DLI队列为容器化队列类型时，出现本参数。 自定义镜像是DLI的特性。用户可以依赖DLI提供的S
属性的多张维度表，事实表与维度表通过主/外键实现关联。 典型的维度模型有星形模型，以及在一些特殊场景下使用的雪花模型。 在DataArts Studio数据架构中，维度建模是以维度建模理论为基础，构建总线矩阵、抽象出事实和维度，构建维度模型和事实模型，同时对报表需求进行抽象整理出相关指标体系，构建出汇总模型。
数据架构组件：主题设计，逻辑模型，标准设计，物理模型，维度建模和指标。 数据开发组件：作业，作业目录，脚本，脚本目录和资源。 数据质量组件：质量作业和对账作业。 数据目录组件：技术资产中的表（Table）和文件（File）类型资产，以及元数据采集任务。 数据服务组件：数据服务集群，API和APP。 数据安全组件：敏
勾选后进行筛选，能够显示未来时间内预计可能会生成的实例，显示的未生成实例数量不超过100个。 对于未来时间内尚未生成的作业实例，可以进行“冻结”和“解冻”操作。您可以单击作业实例列表上面的“冻结”和“解冻”按钮，或者通过右侧操作列的“更多”中选择冻结和解冻进行冻结和解冻操作，支持批量操作。 冻结：作业实例尚未生
请您登录控制台首页，选择并进入旧工作空间的“数据质量”模块，然后执行如下操作依次导出规则模板、导出质量作业、导出对账作业。 导出规则模板 在数据质量主界面，单击左侧导航上的“规则模板”，进入规则模板列表。 在规则模板列表，选择自定义的规则模板，然后单击“导出”。 图1 批量导出规则模板 在
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
