检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Storm应用开发环境 Storm应用开发环境简介 准备Eclipse与JDK 准备Linux客户端环境 导入并配置Storm样例工程 父主题： Storm开发指南
准备Kafka应用开发环境 Kafka应用开发环境简介 准备Maven和JDK 导入并配置Kafka样例工程 准备Kafka应用安全认证 父主题： Kafka开发指南
Kafka应用开发常见问题 Kafka接口介绍 运行Producer.java样例运行获取元数据失败如何处理 父主题： Kafka开发指南
Presto应用开发概述 Presto应用开发简介 Presto应用开发常用概念 Presto应用开发流程介绍 父主题： Presto开发指南
函数genQueryReq()生成删除请求，函数deleteData()把删除请求发送到OpenTSDB服务端。
OpenTSDB应用开发常见问题 OpenTSDB CLI Tools介绍 OpenTSDB HTTP API接口介绍 父主题： OpenTSDB开发指南
DataStream程序 Flink DataStream应用开发思路 Flink DataStream Java样例代码 Flink DataStream Scala样例代码 父主题： 开发Flink应用
准备Impala应用开发环境 Impala应用开发环境简介 准备本地应用开发环境 准备Impala应用开发用户 准备Impala JDBC客户端 父主题： Impala开发指南
Impala应用开发常见问题 Impala JDBC接口介绍 Impala SQL接口介绍 父主题： Impala开发指南
Hive应用开发概述 Hive应用开发简介 Hive应用开发常用概念 Hive应用开发开发流程 Hive应用开发样例工程介绍 父主题： Hive开发指南（安全模式）
经验总结 使用mapPartitions，按每个分区计算结果 如果每条记录的开销太大，例： rdd.map{x=>conn=getDBConn;conn.write(x.toString);conn.close} 则可以使用MapPartitions，按每个分区计算结果，如 rdd.mapPartitions
进入Tez WebUI界面显示异常 问题 登录Manager界面，跳转Tez WebUI界面，显示404异常或503异常。 回答 Tez WebUI依赖Yarn的TimelineServer实例，需要预先安装TimelineServer，且处于良好状态。 父主题： Tez常见问题
回答 NodeManager有重启恢复机制，详情请参见： https://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/NodeManager.html#NodeManager_Restart 可以参考修改集群服务配置参数
使用Hue提交Oozie HQL脚本 操作场景 该任务指导用户通过Hue界面提交Hive脚本作业。 操作步骤 访问Hue WebUI，请参考访问Hue WebUI界面。 在界面左侧导航栏选择“ > Workflow”，打开Workflow编辑器。 单击“文档”， 在操作列表中选择Hive
在Oozie的“概览”界面，选择右上角“更多 > 重启服务”，重启Oozie服务。 创建工作流，请参考使用Hue创建工作流。 添加互信操作，请参考配置Oozie节点间用户互信。 在工作流编辑页面，选择“Ssh”按钮，将其拖到操作区中。
配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到
Spark2x开启或关闭Ranger鉴权后，需要重启Spark2x服务，并重新下载客户端，或刷新客户端配置文件spark/conf/spark-defaults.conf： 开启Ranger鉴权：spark.ranger.plugin.authorization.enable=true
参数入口： 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面，在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 fs.permissions.umask-mode 当客户端在HDFS上创建文件和目录时使用此umask值（用户掩码）。
图1 AM作业保留 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面，在搜索框中输入参数名称。 根据表1，对如下参数进行设置。
调测Strom应用 打包Strom样例工程应用 打包Strom应用业务 提交Storm拓扑 查看Storm应用调测结果 父主题： Storm开发指南（普通模式）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
