检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
融入了MRS服务自研组件，提供长期的支持和演进。 普通版：主要依托开源组件的能力，融入了MRS服务自研、成熟稳定的特性和功能，带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。
Spark2x的开源新特性请参考Spark2x开源新特性说明。 Spark的特点如下： 通过分布式内存计算和DAG（无回路有向图）执行引擎提升数据处理能力，比MapReduce性能高10倍到100倍。 提供多种语言开发接口（Scala/Java/Python），并且提供几十种高
创建独立资源池。 HetuEngine计算实例启动依赖Python3，需确保集群所有节点已安装Python3，并在“/usr/bin/”目录下添加Python软链接，可参考HetuEngine计算实例启动失败报错Python不存在。 HetuEngine服务处于正常运行状态。 创建HetuEngine计算实例步骤
Phoenix实现了大部分java.sql接口，SQL紧跟ANSI SQL标准。 MRS 1.9.2之后的版本需要按HBase Phoenix API接口介绍中下载和配置开源的phoenix包。 父主题： HBase应用开发常见问题
“TRACE”：跟踪日志级别，设置后日志打印输出“TRACE”、“DEBUG”、“INFO”、“WARN”、“ERROR”和“FATAL”信息。 由于开源中定义的不同，组件的日志级别定义略有差异。 验证日志级别设置已生效，请下载日志并查看。请参见下载MRS集群日志（MRS 3.x及之后版本）。
户进行认证。keytab文件也支持在kinit命令中使用。 普通模式（不启用Kerberos认证） 普通模式集群，MRS集群各组件使用原生开源的认证机制，一般为Simple认证方式。而Simple认证，在客户端连接服务端的过程中，默认以客户端执行用户（例如操作系统用户“root”
如果遇到其他三方包冲突，可以通过查找依赖关系确认是否存在相同包不同版本的情况，尽量修改成集群自带的jar包版本。 可以参考MRS样例工程自带的pom.xml文件：通过开源镜像站获取样例工程。 打印依赖树方式： 在pom.xml文件同目录下执行命令：mvn dependency:tree 父主题： Spark应用开发常见问题
使用预测模型并基于所有历史数据定期刷新预测模型来做出实时决策的应用。 Kudu开发接口简介 Kudu本身是由C++语言开发的，但它支持使用C++、Java、Python等语言进行程序开发，推荐用户使用Java语言进行Kudu应用程序开发。 Kudu采用的接口与Apache Kudu保持一致，请参考https://kudu
使用并发的标记-清理GC算法减少GC暂停时间。 运行pyspark建议 运行pyspark应用时，不能使用集群自带的python环境，需要用户自行安装python环境，并将python相关依赖包打包上传到HDFS。 父主题： Spark应用开发规范
令，提交MapReduce任务。 Hive客户端 包括人机交互命令行Beeline、提供给JDBC应用的JDBC驱动、提供给Python应用的Python驱动、提供给MapReduce的HCatalog相关JAR包。 ZooKeeper集群 ZooKeeper作为临时节点记录各H
使用预测模型并基于所有历史数据定期刷新预测模型来做出实时决策的应用。 Kudu开发接口简介 Kudu本身是由C++语言开发的，但它支持使用C++、Java、Python等语言进行程序开发，推荐用户使用Java语言进行Kudu应用程序开发。 Kudu采用的接口与Apache Kudu保持一致，请参考https://kudu
使用Kafka 运行Kafka客户端获取Topic时报错 安全集群中使用Python3.x对接Kafka Flume正常连接Kafka后发送消息失败 Producer发送数据失败，报错“NullPointerException” Producer发送数据失败，报错“TOPIC_A
（`~!@#$%^&*()\\-_=+\\[\\]{}\\\\|;:'\",<>./?）。 自定义分隔符不能首尾相同。 新增参数说明 基于开源CsvBulkloadTool，新增以下两个参数： --multiple-delimiter(-md) 用于指定自定义分隔符，当此命令参数
本章节仅适用于MRS 3.0.2及MRS 3.0.5版本。 前提条件 已安装MRS客户端的节点，且已安装 jdk环境。 Sqoop1.4.7适配步骤 下载开源sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz包（下载地址http://archive.apache.org/dist/sqoop/1
主要在组件应用开发场景中使用“机机”用户进行认证。keytab文件也支持在kinit命令中使用。 普通模式 普通模式的集群不同组件使用原生开源的认证机制，不支持kinit认证命令。FusionInsight Manager（含DBService、KrbServer和LdapSer
<local Path>/user.keytab //使用--files指定jaas.conf和keytab文件。 运行Python样例代码： 运行Python样例代码时需要将打包后的Java项目的jar包添加到streamingClient010/目录下。 bin/spark-submit
到其他节点。 节点失效 该节点上的所有分配的任务会超时，而Nimbus会将这些Worker重新分配到其他节点。 Storm开源特性 分布式实时计算框架 开源Storm集群中的每台机器上都可以运行多个工作进程，每个工作进程又可创建多个线程，每个线程可以执行多个任务，任务是并发进行数据处理。
融入了MRS服务自研组件，提供长期的支持和演进。 普通版：主要依托开源组件的能力，融入了MRS服务自研、成熟稳定的特性和功能，带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本，不同版本所包含的开源组件版本及功能特性可能不同，推荐选择最新版本。 版本详细包含的组件详细可参考MRS组件版本一览表。
上传PostgreSQL或MySQL对应的开源驱动包到所有MetaStore实例所在节点中，替换集群已有的驱动包： PostgreSQL：将驱动包“postgresql-42.2.5.jar”上传至所有MetaStore实例节点“${BIGDATA_HOME}/third_lib/Hive”目录下（开源驱动包下载地址：https://repo1
<local Path>/user.keytab //使用--files指定jaas.conf和keytab文件。 运行Python样例代码： 运行Python样例代码时需要将打包后的Java项目的jar包添加到streamingClient010/目录下。 bin/spark-submit
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
