检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Java样例代码 功能介绍 实时统计连续网购时间超过半个小时的女性网民信息,将统计结果直接打印或者输出写入到Kafka中。 Spark Streaming Write To Print代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples
在Linux环境中调测Spark应用 在Linux环境中编包并运行Spark程序 在Linux环境中查看Spark程序调测结果 父主题: 调测Spark应用
个JDBCServer,从而实现在JDBCServer-ha模式下,出现主备倒换后不需要修改代码依旧就能直接访问新的主JDBCServer服务。 该功能仅支持普通集群(未开启Kerberos认证的集群)使用。 环境准备 安装支持环境。(开发环境请参考Spark应用开发环境简介准备)
zk.quorum:为访问ZooKeeper quorumpeer的地址,请修改为集群部署有FusionInsight ZooKeeper服务的IP地址。 访问开源 ZooKeeper 使用“testConnectApacheZk”连接开源ZooKeeper的代码,只需要将以下代码中的“xxx
Spark Python API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类: pyspark.SparkContext:是Spark的对外接口。负责向调用
Spark Java API接口介绍 由于Spark开源版本升级,为避免出现API兼容性或可靠性问题,建议用户使用配套版本的API。 Spark Core常用接口 Spark主要使用到如下这几个类: JavaSparkContext:是Spark的对外接口,负责向调用该类的Jav
MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码? 回答 MapReduce开发调试采用的原理是Java的远程调试机制,在Map/Reduce任务启动时,添加Java远程调试命令。 首先理解两个参数:“mapreduce.map.java
> ClickHouseServer > 自定义 > clickhouse-config-customize”,添加如下配置,保存配置,重启服务。 配置项 参考值 作用 merge_tree.max_replicated_merges_with_ttl_in_queue CPU核数一半
创建Hue操作任务 在Hue WebUI使用HiveQL编辑器 在Hue WebUI使用SparkSql编辑器 在Hue WebUI使用元数据浏览器 在Hue WebUI使用文件浏览器 在Hue WebUI使用作业浏览器 在Hue WebUI使用HBase 父主题: 使用Hue(MRS
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 父主题: Hive企业级能力增强
Ranger权限策略配置示例 添加HDFS的Ranger访问权限策略 添加HBase的Ranger访问权限策略 添加Hive的Ranger访问权限策略 添加Impala的Ranger访问权限策略 添加Yarn的Ranger访问权限策略 添加Spark2x的Ranger访问权限策略
开发Oozie应用 开发Oozie配置文件 Oozie代码样例说明 通过Java API提交Oozie作业 使用Oozie调度Spark2x访问HBase以及Hive 父主题: Oozie开发指南(安全模式)
开发HDFS应用 HDFS样例程序开发思路 初始化HDFS 创建HDFS目录 创建HDFS文件并写入内容 追加信息到HDFS指定文件 读取HDFS指定文件内容 删除HDFS指定文件 删除HDFS指定目录 创建HDFS多线程任务 配置HDFS存储策略 配置HDFS同分布策略(Colocation)
配置Flume加密传输数据采集任务 配置Flume加密传输 使用多级agent串联从本地采集静态日志保存到HDFS 父主题: 使用Flume
开发Impala应用 Impala样例程序开发思路 创建Impala表 加载Impala数据 查询Impala数据 开发Impala用户自定义函数 Impala样例程序指导 父主题: Impala开发指南(安全模式)
开发Alluxio应用 Alluxio样例程序开发思路 Alluxio初始化 写Alluxio文件 读Alluxio文件 父主题: Alluxio开发指南
开发Kudu应用 Kudu应用程序开发思路 开发Kudu应用 父主题: Kudu开发指南(普通模式)
Spark2x开发指南(普通模式) Spark应用开发简介 Spark应用开发流程介绍 Spark2x样例工程介绍 准备Spark应用开发环境 开发Spark应用 调测Spark应用 Spark应用开发常见问题
HDFS应用开发常见问题 HDFS常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问安全模式集群HDFS 父主题: HDFS开发指南(安全模式)
Oozie应用开发常见问题 常用Oozie API接口介绍 父主题: Oozie开发指南(普通模式)