检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce基本原理 如需使用MapReduce，请确保MRS集群内已安装Hadoop服务。 MapReduce是Hadoop的核心，是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（化简）”及其主要思想，均取自于函数式编程语言及矢量编程语言。
Kafka提供了如表4所示的日志级别。 运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表4 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。
间来预留磁盘百分比。 如果用户同时配置“dfs.datanode.du.reserved.percentage”和“dfs.datanode.du.reserved”，则采用这两个参数较大的数值作为DataNode的预留空间大小。 建议基于磁盘空间设置“dfs.datanode.du
timeouts 客户端与服务端建立Socket连接超时时，客户端的重试次数。 取值范围：1~256 45 ipc.client.connect.timeout 客户端与服务端建立socket连接的超时时间。增大该参数值，可以增加建立连接的超时时间。 单位：毫秒。取值范围：1~3600000
defaultFS不能配置为viewfs://ClusterX。 设置系统的环境变量说明 Hadoop在安全认证的时候，需要获取客户端所在主机的域名（Default Realm，从环境变量USERDNSDOMAIN中获取）。如果该主机没有域名，则运行样例程序会有如下报错： 此时需要用户设置系统的环境变量USERDNSDOMAIN以规避该问题，具体如下：
SPATIAL_INDEX：自定义索引处理器。此处理程序允许用户从表结构列集合中创建新的列。新创建的列名与处理程序名相同。处理程序的type和sourcecolumns属性是必需的属性。目前，type属性只支持“geohash”。Carbon提供一个简单的默认实现类。用户可以通过扩展默认实现类来挂载geo
以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行以
table_name”。 JDBC超时限制 Hive提供的JDBC实现有超时限制，默认是5分钟，用户可以通过java.sql.DriverManager.setLoginTimeout(int seconds)设置，seconds的单位为秒。 UDF管理 建议由管理员创建永久UDF，避免每次使用时都去add
以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行以
指定的目录下已经安装有Flume客户端。 解决办法 如果报JAVA_HOME is null错误，需要使用命令： export JAVA_HOME=java路径 设置JAVA_HOME，重新运行安装脚本。 如果指定的目录下已经安装有Flume客户端，需要先卸载已经存在的Flume客户端，或指定其他目录安装。
场景： 增量avro格式表，需要创建表之前设置参数spark.sql.forceConvertSchema.enabled=true，会将avro表格式强转指定数据类型，一次性修改schema。 存量avro格式表，查询avro表之前设置参数spark.sql.forceConvertSchema
0版本（MRS 3.3.1-LTS和MRS 3.5.0-LTS）查询低版本的Kudu（MRS 3.0.5版本）表时（<=1.15.0），需要设置查询参数：set enabled_runtime_filter_types=MIN_MAX 父主题： Impala常见问题
defaultFS不能配置为viewfs://ClusterX。 设置系统的环境变量说明 Hadoop在安全认证的时候，需要获取客户端所在主机的域名（Default Realm，从环境变量USERDNSDOMAIN中获取）。如果该主机没有域名，则运行样例程序会有如下报错： 此时需要用户设置系统的环境变量USERDNSDOMAIN以规避该问题，具体如下：
当一个NM（NodeManager）处于unhealthy的状态10分钟时，新应用程序失败。 回答 当nodeSelectPolicy为SEQUENCE，且第一个连接到RM的NM不可用时，RM会在“yarn.nm.liveness-monitor.expiry-interval-ms”属性中指定的周期内，一直尝试为同一个NM分配任务。
erver2创建的UDF，如果不及时同步元数据信息，连接HiveServer1的客户端也会提示上述错误信息。 可能原因 多个HiveServer之间或者Hive与Spark之间共用的元数据未同步，导致不同HiveServer实例内存数据不一致，造成UDF不生效。 解决方案 需要将
当一个NM（NodeManager）处于unhealthy的状态10分钟时，新应用程序失败。 回答 当nodeSelectPolicy为SEQUENCE，且第一个连接到RM的NM不可用时，RM会在“yarn.nm.liveness-monitor.expiry-interval-ms”属性中指定的周期内，一直尝试为同一个NM分配任务。
Kafka Kafka jar包冲突列表 Jar包名称 描述 kafka_2.11-*.jar 连接Kafka服务必须的jar包。 kafka-clients-*.jar 连接Kafka服务必须的jar包。 解决方案 Kafka不建议使用开源版本的包。 父主题： MRS应用开发开源jar包冲突列表说明
应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序，需要配置https ssl证书。 登录集群任意节点，进入如下目录下载ca.crt文件。 cd ${BIGDATA_HOME}/om-agent_8.1.2.2/nodeagen
应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序，需要配置https ssl证书。 登录集群任意节点，进入如下目录下载ca.crt文件。 cd ${BIGDATA_HOME}/om-agent_8.1.2.2/nodeagen
MRS集群创建成功后，集群中已安装的组件能否删除？ 答： 已经创建的MRS 3.1.0及之前版本集群中的组件不可以删除，如果不使用的话可以登录集群Manager页面在服务管理中找到对应的组件将其停止。 MRS 3.1.2-LTS.3及之后版本的自定义类型集群支持删除组件，具体请参见管理服务操作。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
