检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Kafka应用开发环境 Kafka应用开发环境简介 准备Maven和JDK 导入并配置Kafka样例工程 准备Kafka应用安全认证 父主题: Kafka开发指南
开发Oozie应用 开发Oozie配置文件 Oozie样例代码说明 通过Java API提交Oozie作业 使用Oozie调度Spark2x访问HBase以及Hive 父主题: Oozie开发指南(普通模式)
path”用来设置访问FusionInsight ZooKeeper客户端的配置,主要涉及如下三个参数: zookeeper.sasl.clientconfig:指定使用jaas.conf文件中的对应配置访问FusionInsight ZooKeeper; zookeeper.server
jobManager可以访问的,由于targetDirectory是可选的,如果用户没有配置targetDirectory,则是使用配置文件中“state.savepoints.dir”配置的目录来存放savepoint。 用户可以在“flink-conf.yaml”中通过“state
ons, true)。 localDir配置 Spark的Shuffle过程需要写本地磁盘,Shuffle是Spark性能的瓶颈,I/O是Shuffle的瓶颈。配置多个磁盘则可以并行的把数据写入磁盘。如果节点中挂载多个磁盘,则在每个磁盘配置一个Spark的localDir,这将有
参见运行Spark作业。 图2 sparkPi作业 作业类型选择“SparkSubmit”。 作业名称为“sparkPi”。 执行程序路径配置为OBS上存放程序的地址。例如:obs://sparkpi/program/spark-examples_2.11-2.1.0.jar。
main()”运行应用工程。 如果集群开启了ZooKeeper SSL,则运行该样例前,需要检查配置文件mapred-site.xml(准备运行环境中样例工程的“conf”配置文件目录中获取)的配置项“mapreduce.admin.map.child.java.opts”和“mapreduce
勾选MetaStore内存使用率统计 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置”,选择“全部配置”, 选择“HiveServer/MetaStore > JVM”,将“HIVE_GC_OPTS/METASTORE_GC_OPT
勾选MetaStore内存使用率统计 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置”,选择“全部配置”, 选择“HiveServer/MetaStore > JVM”,将“HIVE_GC_OPTS/METASTORE_GC_OPT
准备Storm应用开发环境 Storm应用开发环境简介 准备Eclipse与JDK 准备Linux客户端环境 导入并配置Storm样例工程 父主题: Storm开发指南
MRS集群规划 业务选型 MRS集群部署说明
在本地Windows环境中调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中编包并运行Spark程序 在本地Windows环境中查看Spark程序调试结果 父主题: 调测Spark应用
在本地Windows环境中调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中编包并运行Spark程序 在本地Windows环境中查看Spark程序调试结果 父主题: 调测Spark应用
Kafka应用开发常见问题 Kafka常用API介绍 配置Windows通过EIP访问普通模式集群Kafka 运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 父主题: Kafka开发指南(普通模式)
准备MapReduce应用开发环境 准备MapReduce开发和运行环境 导入并配置MapReduce样例工程 (可选)创建MapReduce样例工程 父主题: MapReduce开发指南(普通模式)
Hive应用开发常见问题 Hive对外接口介绍 配置Windows通过EIP访问普通模式集群Hive 使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 父主题: Hive开发指南(普通模式)
Kafka应用开发常见问题 Kafka常用API介绍 配置Windows通过EIP访问集群Kafka 运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 父主题: Kafka开发指南(普通模式)
Hive运维管理 Hive常用常用配置参数 Hive日志介绍 父主题: 使用Hive
附录 修改集群服务配置参数 访问集群Manager 使用MRS客户端
准备HDFS应用开发环境 准备本地应用开发环境 准备HDFS应用开发用户 准备Eclipse与JDK 准备HDFS应用运行环境 导入并配置HDFS样例工程 父主题: HDFS开发指南