检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
补数据场景使用介绍 适用场景 在某项目搬迁场景下，当您需要补充以前时间段内的历史业务数据，需要查看历史数据的详细信息时，可以使用补数据特性。 补数据是指作业执行一个调度任务，在过去某一段时间里生成一系列的实例。用户可以通过补数据，修正历史中出现数据错误的作业实例，或者构建更多的作业记录以便调试程序等。
补数据场景使用介绍 适用场景 在某项目搬迁场景下，当您需要补充以前时间段内的历史业务数据，需要查看历史数据的详细信息时，可以使用补数据特性。 补数据是指作业执行一个调度任务，在过去某一段时间里生成一系列的实例。用户可以通过补数据，修正历史中出现数据错误的作业实例，或者构建更多的作业记录以便调试程序等。
DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称
SAP HANA数据连接参数说明 表1 SAP HANA数据连接 参数 是否必选 说明 数据连接类型 是 RDS(SAP HANA)连接固定选择为RDS(SAP HANA)。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否
数据开发概述 数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助您快速构建大数据处理中心。 数据开发模块曾被称为数据湖工厂（Data Lake Factory，后简称DLF）服务，因此在本文中，“数据湖
开发实时处理单任务DLI Spark作业 前提条件 参见新建作业创建一个实时处理的单任务DLI Spark作业。 配置DLI Spark作业 表1 配置属性参数 参数 是否必选 说明 作业名称 是 输入DLI Spark作业名称。 作业名称只能包含英文字母、数字、下划线和中划线，且长度为1~64个字符。
MRS Flink Job 功能 通过MRS Flink Job节点执行数据开发模块中预先定义的Flink SQL脚本和Flink作业。 MRS Flink Job节点的具体使用教程，请参见开发一个MRS Flink作业。 参数 用户可参考表1和表2配置MRS Flink节点的参数。
MRS Spark Python 功能 通过MRS Spark Python节点实现在MRS中执行预先定义的Spark Python作业。 MRS Spark Python算子的具体使用教程，请参见开发一个MRS Spark Python作业。 参数 用户可参考表1，表2和表3配置MRS
配置模板 本章节主要介绍如何创建并使用模板。用户在编写业务代码时，对于重复的业务逻辑，可以直接引用SQL模板，同时在配置作业运行参数的时候，可以直接使用作业参数模板，不用再进行重复配置。 约束限制 该功能适用于以下场景： Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中，MRS
RDS数据连接参数说明 RDS数据连接支持连接MySQL、PostgreSQL、SQL Server等数据库。 表1 RDS数据连接 参数 是否必选 说明 数据连接类型 是 RDS连接固定选择为RDS。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。
数据管理能力概述 《大数据产业发展十四五规划》多次提到“数据管理”和“数据管理能力”，进入数字化经济时代，数据已成为产业发展的生产要素，企业的数据管理能力成为企业竞争的核心能力之一。 DCMM（Data management Capability Maturity Model）是《数据管理能力成熟度评估模型》GB/T
运维者操作 运维者作为运维管理的负责人，需要对生产环境的作业、实例、通知、备份等进行统一管控，相关操作如下表所示。 表1 运维者操作 操作 说明 作业监控 包含对批作业、实时作业的监控。 具体请参见作业监控。 实例监控 对作业实例进行监控，作业每次运行，都会对应产生一次作业实例记录。
GBase数据连接参数说明 表1 GBASE数据连接 参数 是否必选 说明 数据连接类型 是 GBASE连接固定选择为GBASE。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。
MRS Spark SQL 功能 通过MRS Spark SQL节点实现在MRS中执行预先定义的SparkSQL语句。 参数 用户可参考表1，表2和表3配置MRS Spark SQL节点的参数。 表1 属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未
MRS Hive SQL 功能 通过MRS Hive SQL节点执行数据开发模块中预先定义的Hive SQL脚本。 MRS Hive SQL节点的具体使用教程，请参见开发一个Hive SQL作业。 MRS Hive SQL节点不支持Hive的事务表。 参数 用户可参考表1，表2和表3配置MRS
源端为DIS JSON样例 "from-config-values": { "configs": [ { "inputs": [ {
开发实时处理单任务MRS Flink Jar作业 前提条件 参见新建作业创建一个实时处理的单任务Flink Jar作业。 配置MRS Flink Jar作业 表1 配置MRS Flink Jar作业属性参数 参数 是否必选 说明 Flink作业名称 是 输入Flink作业名称。
新建DataArts Studio与MySQL数据库的连接 本章节以新建MySQL连接为例，介绍如何建立DataArts Studio与数据库底座之间的数据连接。 前提条件 在创建数据连接前，请确保您已创建所要连接的数据湖（如DataArts Studio所支持的数据库、云服务等）。
配置DIS源端参数 消息体中的数据是一条类似CSV格式的记录，可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。 作业中源连接为DIS连接时，源端作业参数如所表1示。 表1 DIS作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。
开发实时处理单任务MRS Flink SQL作业 对已新建的作业进行开发和配置。 开发单任务模式的实时处理Flink SQL作业，请您参考开发SQL脚本、配置作业参数、保存作业和模板章节。 前提条件 已新建作业。 当前用户已锁定该作业，否则需要通过“抢锁”锁定作业后才能继续开发作
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
