检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
invalid。 可能原因 存在多个DataArts Studio作业同时调度同一个CDM任务节点，导致两个作业的事务id冲突报错。 解决方案 调整DataArts Studio作业调度时间，保证同一时间只保留一个调度任务。 父主题： 数据开发
挖掘和探索数据价值。 数据湖就是在这种背景下产生的。数据湖是一个集中存储各类结构化和非结构化数据的大型数据仓库，它可以存储来自多个数据源、多种数据类型的原始数据，数据无需经过结构化处理，就可以进行存取、处理、分析和传输。数据湖能帮助企业快速完成异构数据源的联邦分析、挖掘和探索数据价值。
功能 通过Python节点执行Python语句。 Python节点的具体使用教程，请参见开发一个Python脚本。 Python节点支持脚本参数和作业参数。 参数 用户可以参考表1和表2配置Python节点的参数。 表1 属性参数 参数 是否必选 说明 Python语句或脚本 是
支持单次调度、周期调度和事件驱动调度，周期调度支持分钟、小时、天、周、月多种调度周期。调度周期配置为小时，系统支持按间隔小时和离散小时配置调度周期。 运维监控 支持对作业进行运行、暂停、恢复、终止等多种操作。 支持查看作业和其内各任务节点的运行详情。 支持配置多种方式报警，作业和任务发生错误时可及时通知相关人，保证业务正常运行。
Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS Spark Python节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是
如果当前区域下仅有一个DataArts Studio实例，则默认进入DataArts Studio控制台首页。 DataArts Studio新版控制台首页已经上线，您可以通过单击页面上方banner中的“立即体验”进入。 新版控制台首页，从功能组件入口升级为集任务处理、资源监控和场景学习
等多种数据处理节点，提供丰富的调度配置策略与海量的作业调度能力。 统一调度和运维 全面托管的调度，支持按时间、事件触发的任务触发机制，支持分钟、小时、天、周和月等多种调度周期。 可视化的任务运维中心，监控所有任务的运行，支持配置各类报警通知，便于责任人实时获取任务的情况，保证业务正常运行。
单表同步：支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 整库同步：支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表，一个任务中最多支持200张目标表。 分库分表同步：支持将源端多个实例下多个分库的多张分表同步到目的端一个实例下的单个库表。
配置互斥 通过配置互斥组，可以避免多个作业去并发的运行。配置好互斥组以后，本次设置将在作业的下一个调度周期生效。 互斥组配置完成后，在同一个互斥组内的作业，只能有一个作业是运行中，其他作业生成实例后则处于等待运行中。当运行中的作业运行完（包括执行成功、执行失败、取消）或者停止调度
如果当前区域下仅有一个DataArts Studio实例，则默认进入DataArts Studio控制台首页。 DataArts Studio新版控制台首页已经上线，您可以通过单击页面上方banner中的“立即体验”进入。 新版控制台首页，从功能组件入口升级为集任务处理、资源监控和场景学习
包含“z”或“a”任意一个，则返回true。 表达式：StringUtils.containsAny(value,"za") 如果字符串中不包含指定的所有字符，则返回布尔值true，包含任意一个字符则返回false。例如“abz”中包含“xyz”里的任意一个字符，则返回false。
个解决方案可以包含一个或多个业务相关的作业，一个作业可以被多个解决方案复用。 数据开发模块目前支持处理以下几种方式的解决方案。 新建解决方案 编辑解决方案 导出解决方案 导入解决方案 升级解决方案 删除解决方案 新建解决方案 在数据开发模块的开发页面，新建一个解决方案，设置解决方案名称并选择业务相关的作业。
务使用计划，再购买套餐包。 如果您希望享受套餐包的优惠价格，需要先购买一个“套餐包”增量包，再购买一个和套餐包具有相同区域和规格的“按需计费”增量包。 如果您先购买一个“按需计费”增量包，再购买一个相同区域和规格的“套餐包”增量包，则在购买套餐包之前已经产生的费用按“按需计费”计
作业开发时，测试运行后不知道如何查看运行日志。 解决方案 方式1：待节点测试运行完成后，在当前节点鼠标右键选择查看日志。 方式2：通过画布上方的“前往监控”，在实例监控中展开作业实例，查看节点日志。 父主题： 数据开发
单击“执行调度”，让该作业运行起来。 创建补数据。 您在创建了一个周期调度作业后，用户需要为该任务进行补数据的操作。 在数据开发主界面的左侧导航栏，选择“运维调度 > 作业监控”。 单击“批作业监控”页签，进入批作业的监控页面。在该作业的“操作”列，选择“更多 > 补数据”。进入“补数据”页面。
单击“执行调度”，让该作业运行起来。 创建补数据。 您在创建了一个周期调度作业后，用户需要为该任务进行补数据的操作。 在数据开发主界面的左侧导航栏，选择“运维调度 > 作业监控”。 单击“批作业监控”页签，进入批作业的监控页面。在该作业的“操作”列，选择“更多 > 补数据”。进入“补数据”页面。
费者机制。 它是一个组，所以内部可以有多个消费者，这些消费者共用一个ID，一个组内的所有消费者共同协作，完成对订阅的主题的所有分区进行消费。其中一个主题中的一个分区只能由一个消费者消费。 说明： 一个消费者组可以有多个消费者。 Group ID是一个字符串，在一个kafka集群中，它标识唯一的一个消费者组。
单击“关系型数据库服务”，从左侧列表选择实例管理。 单击某一个实例名称，进入实例基本信息页面。 在连接信息标签中可以获取到内网地址。 port 是 String RDS的访问端口。 通过RDS管理控制台获取访问端口： 登录管理控制台。 单击“关系型数据库服务”，左侧列表选择实例管理。 单击某一个实例名称，进入实例基本信息页面。
在任务管理页面单击“新建”，新建一个元数据采集任务。 配置任务信息，如下图所示。 图1 配置任务信息 单击“下一步”，配置调度属性如下图所示。 图2 配置调度属性 单击“提交”，完成采集任务的创建。 单击任务管理列表中的“运行”或“启动调度”，跳转到任务监控页面并查看任务状态。 场景二：更新数据目录中的元数据，添加新元数据
说明 单表 支持将源端一个实例下的单张表实时同步至目的端一个实例下的单张表。 整库 支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表，一个任务中最多支持200张目标表。 分库分表 支持将源端多个实例下多个分库的多张分表同步到目的端一个实例下的单个库表。 图2
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
