检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kafka应用开发常见问题 Kafka常用API介绍 配置Windows通过EIP访问普通模式集群Kafka 运行Producer.java样例报错获取元数据失败“ERROR fetching topic metadata...” 父主题： Kafka开发指南（普通模式）
当集群的ResourceManager以HA方式部署时，客户端使用的“yarn-site.xml”需要配置所有ResourceManager地址。客户端（包括ApplicationMaster和NodeManager）会以轮询的方式寻找Active状态的ResourceManage
调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中调测Spark应用 在Linux环境中调测Spark应用 父主题： Spark2x开发指南（安全模式）
HDFS应用开发常见问题 常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问安全模式集群HDFS 父主题： HDFS开发指南（安全模式）
HDFS应用开发常见问题 HDFS常用API介绍 HDFS Shell命令介绍 配置Windows通过EIP访问普通模式集群HDFS 父主题： HDFS开发指南（普通模式）
'topic' = 'test_source', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id' = 'testGroup', 'scan.startup.mode'
Flink常见问题 数据倾斜 当数据发生倾斜（某一部分数据量特别大），虽然没有GC（Gabage Collection，垃圾回收），但是task执行时间严重不一致。 需要重新设计key，以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作，使数据分区均匀。
sum(l_extendedprice * (1 - l_discount)) as revenue, o_orderdate, o_shippriority from customer, orders, lineitem where c_mktsegment =
conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目
Slave上运行DataNode，ZKFC需要和NameNode一起运行。 NameNode和DataNode之间的通信都是建立在TCP/IP的基础之上的。NameNode、DataNode、ZKFC和JournalNode能部署在运行Linux的服务器上。 图1 HA HDFS结构
在开始开发应用前，需要了解MapReduce的基本概念。 MapReduce应用开发常用概念 准备开发环境 使用Eclipse工具，请根据指导完成开发环境配置。 准备Eclipse与JDK 准备运行环境 MapReduce的运行环境即MapReduce客户端，请根据指导完成客户端的安装和配置。
在本地Windows环境中查看Spark程序调试结果 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/D:/mavenlocal/org/apache/l
因为当前系统上已安装Python3，所有直接安装Python2会有上面的冲突提示。 可以选择--allowerasing或--skip-broken安装，例如： yum install python2 --skip-broken 安装完成后，会自动将Python版本修改为Python2，如下所示： 如果Pyth
Hive应用开发常见问题 Hive对外接口介绍 配置Windows通过EIP访问普通模式集群Hive 使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 父主题： Hive开发指南（普通模式）
概述 “数据导出”章节适用于MRS 3.x及后续版本。 简介 Loader是实现MRS与关系型数据库、文件系统之间交换数据和文件的ETL工具，支持将数据或者文件从MRS系统中导出到关系型数据库或文件系统中。 Loader支持如下数据导出方式： 从HDFS/OBS中导出数据到SFTP服务器
Flink常见问题 数据倾斜 当数据发生倾斜（某一部分数据量特别大），虽然没有GC（Gabage Collection，垃圾回收），但是task执行时间严重不一致。 需要重新设计key，以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作，使数据分区均匀。
PRINCIPAL, hbaseKeytab); LoginUtil.setZookeeperServerPrincipal(ZOOKEEPER_DEFAULT_SERVER_PRINCIPAL); LoginUtil.login(PRINCIPAL, KEYTAB
重新下载并安装MRS集群完整客户端。具体操作请参考安装客户端。 如果需要在管理控制台执行作业提交操作，需要更新集群内置客户端配置文件。 在MRS集群概览页面，获取弹性IP，使用该IP登录Master节点，执行如下命令刷新集群内置客户端。 su - omm sh /opt/executor/bin/refresh-client-config
Flink DataStream样例程序 Flink Kafka样例程序 Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 父主题： Flink开发指南（安全模式）
准备Storm应用开发环境 Storm应用开发环境简介 准备Eclipse与JDK 准备Linux客户端环境 导入并配置Storm样例工程 父主题： Storm开发指南
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
