检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发MapReduce应用 MapReduce统计样例程序开发思路 MapReduce访问多组件样例程序开发思路 父主题: MapReduce开发指南
准备Spark应用开发环境 Spark应用开发环境简介 准备Spark应用开发用户 准备Spark应用Java开发环境 准备Spark应用Scala开发环境 准备Spark应用Python开发环境 准备Spark应用运行环境 导入并配置Spark样例工程 新建Spark应用开发工程(可选)
Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出
创建Storm Spout 功能介绍 Spout是Storm的消息源,它是Topology的消息生产者,一般来说消息源会从一个外部源读取数据并向Topology中发送消息(Tuple)。 一个消息源可以发送多条消息流Stream,可以使用OutputFieldsDeclarer.
准备OpenTSDB应用开发环境 OpenTSDB应用开发环境简介 准备OpenTSDB应用开发环境 准备OpenTSDB应用开发用户 导入并配置OpenTSDB样例工程 父主题: OpenTSDB开发指南
Alluxio应用开发概述 Alluxio应用开发简介 Alluxio常用概念 Alluxio应用开发流程介绍 父主题: Alluxio开发指南
使用HDFS Colocation存储Hive表 操作场景 HDFS Colocation(同分布)是HDFS提供的数据分布控制功能,利用HDFS Colocation接口,可以将存在关联关系或者可能进行关联操作的数据存放在相同的存储节点上。Hive支持HDFS的Colocati
Spark Streaming Streaming任务打印两次相同DAG日志 Spark Streaming任务一直阻塞 运行Spark Streaming任务参数调优的注意事项 为什么提交Spark Streaming应用超过token有效期,应用失败 为什么Spark Str
PyFlink样例程序 PyFlink样例程序开发思路 PyFlink样例程序代码说明 使用Python提交Flink普通作业 使用Python提交Flink SQL作业 父主题: 开发Flink应用
Spark Spark jar包冲突列表 Jar包名称 描述 处理方案 spark-core_2.1.1-*.jar Spark任务的核心jar包。 Spark可以直接使用开源同版本的Spark包运行样例代码,但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样,因此建议使用集群自带jar包。
删除HDFS指定文件 功能简介 删除HDFS上某个指定文件。 被删除的文件会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
删除HDFS指定目录 功能简介 删除HDFS上某个指定目录。 被删除的目录会被直接删除,且无法恢复。所以,执行删除操作需谨慎。 代码样例 如下是删除文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsExample类。 /**
HDFS应用开发常见问题 HDFS常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问安全模式集群HDFS 父主题: HDFS开发指南(安全模式)
Oozie应用开发常见问题 常用Oozie API接口介绍 父主题: Oozie开发指南(安全模式)
ClickHouse应用开发简介 ClickHouse简介 ClickHouse是面向联机分析处理的列式数据库,支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 ClickHouse的设计优点: 数据压缩比高 多核并行计算
准备Doris应用开发环境 准备本地应用开发环境 准备连接Doris集群配置文件 配置并导入JDBC样例工程 配置并导入SpringBoot样例工程 父主题: Doris开发指南(安全模式)
Doris JDBC接口调用样例程序 Doris JDBC接口样例程序开发思路 创建Doris连接 创建Doris数据库 创建Doris表 向Doris表中插入数据 查询Doris表数据 删除Doris表 父主题: Doris开发指南(普通模式)
使用HDFS快照快速恢复组件业务数据 操作场景 使用DistCp备份数据时,本集群HDFS中将保存备份数据的快照信息。FusionInsight Manager支持使用本地的快照快速恢复数据,减少从备集群恢复数据使用的时间。 管理员可以通过FusionInsight Manage
管理MRS集群备份恢复任务 系统管理员可以通过Manager修改已创建的备份任务的配置参数,以适应业务需求的变化。不支持修改任何恢复任务配置参数,只能查看恢复任务的配置参数。 对系统的影响 修改备份任务后,新的参数在下一次执行任务时生效。 前提条件 已创建备份任务。 已根据业务实际需求,规划新的备份任务策略。
回滚补丁 回滚补丁前检查 回滚补丁 回滚补丁后操作 父主题: MRS 3.2.0-LTS.1.10补丁说明