检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参考客户建议，根据客户业务需求创建作业。 网络打通 Migration资源组需要打通数据源的网络连通。在DRS任务的基本信息中查看数据源配置，根据Migration网络打通教程完成网络打通。 图4 查看数据源配置 Migration作业创建与启动 创建作业。 根据准备好的作业拆分方案创建Migration作业，暂不启动作业。
DataArts Studio各模块之间的示意图 DataArts Studio平台提供了上述各个功能模块，满足数据接入、数据建模、标准化、质量监控、数据服务等全流程的数据管理动作。 父主题： 数据治理框架
另外DataArts Studio可以通过主机连接在ECS上执行Shell或Python脚本。 虚拟私有云服务 DataArts Studio使用虚拟私有云服务（Virtual Private Cloud，简称VPC）来创建隔离的网络环境。 弹性公网IP服务 DataArts
KERBEROS：安全模式选择Kerberos鉴权。 SIMPLE Hive版本 Hive的版本。 HIVE_3_X IP与主机名映射 如果Hadoop配置文件使用主机名，需要配置IP与主机的映射。格式：IP与主机名之间使用空格分隔，多对映射使用分号或回车换行分隔。 - OBS支持 需服务端支持OBS存储。在
质量作业和对账作业的区别不清楚，需要说明下。 解决方案 质量作业可将创建的规则应用到建好的表中进行质量监控。 对账作业支持跨源数据对账能力，可将创建的规则应用到两张表中进行质量监控，并输出对账结果。 数据对账对于数据开发和数据迁移流程中的数据一致性至关重要，而跨源数据对账的能力是检
failed, so the current node status is set to cancel.”。 解决方案 依赖的作业有失败的，在作业实例监控的状态为“已取消”右侧有个问号，单击该问号可以查看依赖作业的失败实例。 父主题： 数据开发
数据质量运维管理操作处理&记录 功能介绍 该接口用于数据质量监控实例的问题处理，在控制台上可通过“更多>处理&记录”进入问题处理界面。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/quality/instances/{instance_id}
集群），且待连接的数据湖与CDM集群之间网络互通。 如果数据湖为云下的数据库，则需要通过公网或者专线打通网络。请确保数据源所在的主机和CDM集群均能访问公网，并且防火墙规则已开放连接端口。 如果数据湖为云上服务（如DWS、MRS等），则网络互通需满足如下条件： CDM集群与云上服
等问题，极大降低了开发维护成本。 CDM还提供了REST API，支持第三方系统调用和集成。 实时监控 需要自行选型开发。 您可以使用云监控服务监控您的CDM集群，执行自动实时监控、告警和通知操作，帮助您更好地了解CDM集群的各项性能指标。 免运维 需要自行开发完善运维功能，自行
配置的位点时间早于Binlog日志最早时间点时，默认会以日志最新时间点开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮，可前往作业监控页面查看运行情况、监控日志等信息，并配置对应的告警规则，详情请参见实时集成任务运维。 图13 前往监控 性能调优 若链路同步速度过慢，可参考参见任务性能调优章节中对应链路文档进行排查及处理。
配置的位点时间早于Kafka消息最早偏移量时，默认会从最早偏移量开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮，可前往作业监控页面查看运行情况、监控日志等信息，并配置对应的告警规则，详情请参见实时集成任务运维。 图10 前往监控 性能调优 若链路同步速度过慢，可参考参见任务性能调优章节中对应链路文档进行排查及处理。
执行Python脚本报错：Agent need to be updated？ 问题原因 创建的主机连接的CDM集群版本可能有点低。 解决方案 创建的主机连接需要使用2.8.6版本及以上的CDM集群。 父主题： 数据开发
Python节点运行的输出结果不能大于30M，大于30M会报错。 主机连接 是 选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知： Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中M
配置的位点时间早于Binlog日志最早时间点时，默认会以日志最新时间点开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮，可前往作业监控页面查看运行情况、监控日志等信息，并配置对应的告警规则，详情请参见实时集成任务运维。 图12 前往监控 性能调优 若链路同步速度过慢，可参考参见任务性能调优章节中对应链路文档进行排查及处理。
一般情况下，建议就近选择靠近您或者您的目标用户的区域，这样可以减少网络时延，提高访问速度。不过，在基础设施、BGP网络品质、资源的操作与配置等方面，中国大陆各个区域间区别不大，如果您或者您的目标用户在中国大陆，可以不用考虑不同区域造成的网络时延问题。 曼谷等其他地区和国家提供国际带宽，主要面向
说明 当前时间 仅单次调度才显示。系统默认为当前时间。 事件触发时间 仅事件驱动调度才显示。系统默认为事件触发时间。 周期调度 仅周期调度才显示。系统默认为调度周期。 具体时间 仅周期调度才显示。周期调度配置的具体运行时间。 起始日期 仅周期调度才显示。周期调度的生效时间。 后N个实例
也能够“读懂”数据仓库中的数据。在DataArts Studio中，业务元数据包含业务资产和指标资产，业务资产显示业务对象、逻辑实体、业务属性的数量及其详情，指标资产显示业务指标及其详情。 DataArts Studio中的技术元数据来源于元数据采集任务，您需要在创建并运行元数据采集任务后才能在数据地图中查看元数据。
ode实例的ip:8020。 IP与主机名映射 否 是否使用集群配置开关打开时显示该参数。 运行模式选择“EMBEDDED”、“STANDALONE”时，该参数有效。 如果HDFS配置文件使用主机名，需要配置IP与主机的映射。格式：IP与主机名之间使用空格分隔，多对映射使用分号或回车换行分隔。
周边资源？ 配置了SMN通知，却收不到作业失败告警通知？ 作业配置了周期调度，但是实例监控没有作业运行调度记录？ Hive SQL和Spark SQL脚本执行失败，界面只显示执行失败，没有显示具体的错误原因？ 数据开发节点运行中报TOKEN不合法？ 作业开发时，测试运行后如何查看运行日志？
作业实例调度运行状态概览 单击运行状态，可以跳转到实例监控界面，查看该运行状态的所有作业的详细信息。 此处的统计数据包含实时作业的运行实例监控数据。单击运行状态后，实时作业不能跳转到实例监控页面，只能查看批作业的运行实例监控详情。 系统默认查看今天的全部责任人的作业实例调度运行状态概览。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
