检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
新建一个业务场景 场景说明 业务场景用于监控业务指标。本例以新建一个业务场景为例，介绍如何使用业务指标监控功能。 操作步骤 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 新建业务指标。 单击左侧导航“指标管理”。 单击页面上方的“新建”，如下图所示。
将多个来源的多个数据库的多个分表迁移到目的端的一个表中，支持灵活配置来源库来源表和目标表的映射关系。 配置网络资源。 网络资源配置包含选择源端、目的端数据连接、选择资源组、网络连通性检测。 需要选择“数据连接”和“资源组”。配置流程如下： 配置源端数据连接。 选择已创建的数据连接。源端数据连接以MySQL数据连接为例。
慢时，会产生事件。事件会影响基线任务的按时完成。 监控范围 关键任务以及其依赖链上游的所有任务。 功能介绍 将重要任务添加到基线上后，系统将根据基线的优先级保障基线任务的资源，并根据基线任务的上下游依赖关系确定监控范围，根据该监控范围内任务的运行情况触发基线报警或事件报警。基线运维包含的功能如下：
前提条件 已在数据仓库服务创建DWS集群，确保与DataArts Studio实例网络互通，并且具有KMS密钥的查看权限。 已在MapReduce服务创建MRS集群，确保与DataArts Studio实例网络互通。 已创建CDM集群，详情请参见购买批量数据迁移增量包章节。 创建数据迁移连接
提供图形化设计器，支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型，通过任务间依赖完成复杂数据分析处理。 支持多种作业调度方式。 支持导入和导出作业。 支持作业状态运维监控和作业结果通知。 提供编辑锁定能力，支持多人协同开发场景。 支持作业的版本管理能力，支持生成保存版本和提交版本。
连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等，帮助企业构建完整的数据中台解决方案。 全链路数据治理管控 数据全生命周期管控，提供数据架构定义及可视化的模型设计，智能化的帮助用户生成数据处理代码，数据处理全流程质量监控，异常事件实时通知。 丰富的数据开发类型
DataArts Studio各模块之间的示意图 DataArts Studio平台提供了上述各个功能模块，满足数据接入、数据建模、标准化、质量监控、数据服务等全流程的数据管理动作。 父主题： 数据治理框架
另外DataArts Studio可以通过主机连接在ECS上执行Shell或Python脚本。 虚拟私有云服务 DataArts Studio使用虚拟私有云服务（Virtual Private Cloud，简称VPC）来创建隔离的网络环境。 弹性公网IP服务 DataArts
质量作业和对账作业的区别不清楚，需要说明下。 解决方案 质量作业可将创建的规则应用到建好的表中进行质量监控。 对账作业支持跨源数据对账能力，可将创建的规则应用到两张表中进行质量监控，并输出对账结果。 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检
KERBEROS：安全模式选择Kerberos鉴权。 SIMPLE Hive版本 Hive的版本。 HIVE_3_X IP与主机名映射 如果Hadoop配置文件使用主机名，需要配置IP与主机的映射。格式：IP与主机名之间使用空格分隔，多对映射使用分号或回车换行分隔。 - OBS支持 需服务端支持OBS存储。在
数据质量运维管理操作处理&记录 功能介绍 该接口用于数据质量监控实例的问题处理，在控制台上可通过“更多>处理&记录”进入问题处理界面。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/quality/instances/{instance_id}
failed, so the current node status is set to cancel.”。 解决方案 依赖的作业有失败的，在作业实例监控的状态为“已取消”右侧有个问号，单击该问号可以查看依赖作业的失败实例。 父主题： 数据开发
在创建数据连接前，请确保待连接的数据湖与DataArts Studio实例之间网络互通。 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络，确保数据源所在的主机可以访问公网，并且防火墙规则已开放连接端口。 如果数据湖为云上服务（如DWS、MRS等），则网络互通需满足如下条件： DataArts Studio实例（指DataArts
等问题，极大降低了开发维护成本。 CDM还提供了REST API，支持第三方系统调用和集成。 实时监控 需要自行选型开发。 您可以使用云监控服务监控您的CDM集群，执行自动实时监控、告警和通知操作，帮助您更好地了解CDM集群的各项性能指标。 免运维 需要自行开发完善运维功能，自行
执行Python脚本报错：Agent need to be updated？ 问题原因 创建的主机连接的CDM集群版本可能有点低。 解决方案 创建的主机连接需要使用2.8.6版本及以上的CDM集群。 父主题： 数据开发
Python节点运行的输出结果不能大于30M，大于30M会报错。 主机连接 是 选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知： Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中M
一般情况下，建议就近选择靠近您或者您的目标用户的区域，这样可以减少网络时延，提高访问速度。不过，在基础设施、BGP网络品质、资源的操作与配置等方面，中国大陆各个区域间区别不大，如果您或者您的目标用户在中国大陆，可以不用考虑不同区域造成的网络时延问题。 曼谷等其他地区和国家提供国际带宽，主要面向
的数据源。 复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库等多种数据库的数据同步。您可以根据数据库所在网络环境，选择合适的同步解决方案来实现数据源与资源组的网络连通。在配置同步任务前，您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通，对
说明 当前时间 仅单次调度才显示。系统默认为当前时间。 事件触发时间 仅事件驱动调度才显示。系统默认为事件触发时间。 周期调度 仅周期调度才显示。系统默认为调度周期。 具体时间 仅周期调度才显示。周期调度配置的具体运行时间。 起始日期 仅周期调度才显示。周期调度的生效时间。 后N个实例
周边资源？ 配置了SMN通知，却收不到作业失败告警通知？ 作业配置了周期调度，但是实例监控没有作业运行调度记录？ Hive SQL和Spark SQL脚本执行失败，界面只显示执行失败，没有显示具体的错误原因？ 数据开发节点运行中报TOKEN不合法？ 作业开发时，测试运行后如何查看运行日志？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
