检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
备份任务执行完成后，系统自动在备份目录中为每个备份任务创建子目录，目录名为“备份任务名_任务创建时间”，用于保存数据源的备份文件。备份文件的名称为“版本号_数据源_任务执行时间.tar.gz”。 父主题： 备份MRS集群组件数据
hadoop distcp 主集群保存源数据的目录 hdfs://ActiveNameNodeIP:8020/备集群保存源数据的目录 其中，ActiveNameNodeIP是备集群中主NameNode节点的IP地址。
union(other: RDD[T]): RDD[T] 返回一个新的RDD，包含源RDD和给定RDD的元素的集合。 distinct([numPartitions: Int]): RDD[T] 去除重复元素，生成新的RDD。
Java SparkOnHbaseScalaExample-HbaseSource Spark on HBase 程序-操作HBase数据源 Scala SparkOnHbasePythonExample-HbaseSource Spark on HBase 程序-操作HBase数据源
union(other: RDD[T]): RDD[T] 返回一个新的RDD，包含源RDD和给定RDD的元素的集合。 distinct([numPartitions: Int]): RDD[T] 去除重复元素，生成新的RDD。
设置数据源信息 单击“下一步”，进入“输入设置”界面，设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 SFTP服务器中源文件的输入路径，如果连接器配置多个地址此处可对应使用“;”分隔多个输入路径，数量需要与连接器中服务器的数量一致。
Java SparkOnHbaseScalaExample-HbaseSource Spark on HBase 程序-操作HBase数据源 Scala SparkOnHbasePythonExample-HbaseSource Spark on HBase 程序-操作HBase数据源
union(other: RDD[T]): RDD[T] 返回一个新的RDD，包含源RDD和给定RDD的元素的集合。 distinct([numPartitions: Int]): RDD[T] 去除重复元素，生成新的RDD。
union(other: RDD[T]): RDD[T] 返回一个新的RDD，包含源RDD和给定RDD的元素的集合。 distinct([numPartitions: Int]): RDD[T] 去除重复元素，生成新的RDD。
数据源为HDFS，指定目录时需要此目录已经存在，Hive用户是目录属主，且用户对此目录及其子目录拥有“读”、“写”和“执行”权限，并且其上层的每一级目录拥有“读”和“写”权限。
标签允许您从不同的源或相关实体中分离出类似的数据点，因此您可以轻松地单独或成组地绘制它们。标签的一个常见用法是使用生成数据点的机器名称以及机器所属的集群或池的名称来注释数据点。这使您可以轻松地制作显示每个服务器的服务状态的仪表盘，以及显示跨逻辑服务器池的聚合状态的仪表盘。
备份任务执行完成后，系统自动在备集群的备份路径中为每个备份任务创建子目录，目录名为“数据源_任务创建时间”，数据源每次备份的最新备份文件保存在此目录中。
设置数据源信息 单击“下一步”，进入“输入设置”界面，设置数据源信息。 表1 输入设置参数 参数名 说明 示例 输入路径 HDFS中源文件的输入路径。 说明： 路径参数可以使用宏定义，具体请参考配置项中使用宏定义。
对于数据从集群导出去的场景来说，就是将数据写入到外部数据源。
与外部组件集成 支持与多种外部组件集成，包括：Kafka、HDFS、HBase、Redis或JDBC/RDBMS等服务，便于实现涉及多种数据源的业务。 父主题： Storm
设置数据源信息 单击“下一步”，进入“输入设置”界面，设置数据源信息。 表2 输入设置参数 参数名 说明 示例 输入路径 SFTP服务器中源文件的输入路径，如果连接器配置多个地址此处可对应使用“;”分隔多个输入路径，数量需要与连接器中服务器的数量一致。
首先需要确认能否保证EXACTLY_ONCE（严格一次），因为端到端EXACTLY ONCE语义需要输入数据源的可回放（例如Kafka可回放数据），输出数据源的事务性（例如MySQL可原子性写入数据）。
备份任务执行完成后，系统自动在备份目录中为每个备份任务创建子目录，目录名为“备份任务名_任务创建时间”，用于保存数据源的备份文件。备份文件的名称为“版本号_数据源_任务执行时间.tar.gz”。 父主题： 备份MRS集群组件数据
设置数据源信息 单击“下一步”，进入“输入设置”界面，设置数据源信息。 表1 输入设置参数 参数名 说明 示例 输入路径 HDFS/OBS中源文件的输入路径。 说明： 路径参数可以使用宏定义，具体请参考配置项中使用宏定义。
对于数据从集群导出去的场景来说，就是将数据写入到外部数据源。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
