检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后，客户端长时间无响应。 回答 对于上述出现的问题，ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息，对于一个已经提交到YARN上的MapR
在分组、join等操前做数据过滤，减少计算的数据量。 【效果对比】 用PREWHERE替代WHERE，优先过滤数据，加速查询。 PREWHERE相对于WHERE在执行时的区别：首先只读取PREWHERE表达式所指定的列，根据条件做数据过滤，再根据过滤后的数据读取其他列。这通常会减少磁盘读取数据的压力。
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后，客户端长时间无响应。 回答 对于上述出现的问题，ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息，对于一个已经提交到YARN上的MapR
HAVING HAVING与聚合函数和GROUP BY一起使用，来控制选在哪些组。 HAVING能够在分组和聚合计算之后，过滤掉不满足给定条件的组。 例如： SELECT count(*), mktsegment, nationkey, CAST(sum(acctbal) AS bigint)
操作场景 默认情况下，部署在OMS和集群中的LDAP服务允许任意IP访问。如果需要只允许受信任的IP地址访问LDAP服务，可以配置iptables过滤列表的INPUT策略。 该章节仅适用于MRS 3.x及之后版本。 对系统的影响 配置受信任IP访问LDAP以后，未配置的IP无法访问LDA
对于批量初始化后需要接Flink或Spark流作业实时写入的场景，一般建议通过对上有消息进行过滤，从一个指定的时间范围开始消费来控制数据的重复接入量（例如Spark初始化完成后，Flink消费Kafka时过滤掉2小时之前的数据），如果无法对kafka消息进行过滤，则可以考虑先实时接入生成offset，再truncate
ZooKeeper通过访问控制列表（ACL）来对znode进行访问控制。ZooKeeper客户端为znode指定ACL，ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。 查看ZooKeeper中znode的ACL。
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改，对于高速缓存的客户端将是不可见的，这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后，客户端提示如下信息后长时间无响应。 16/03/03 16:44:56 INFO hdfs.DFSClient: Created HDFS_DELEGATION_TOKEN token
32766:from all lookup main 32767:from all lookup default 没有配置ntp外部服务器时只会有一条om路由信息“om_rt”。 本章节仅适用于MRS 3.x及以后版本。 如果FusionInsight Manager创建的路
Flink常见SQL语法说明 SELECT与WHERE语句 根据where子句对数据进行过滤。 语法： SELECT select_list FROM table_expression [ WHERE boolean_expression ] 示例： SELECT price +
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改，对于高速缓存的客户端将是不可见的，这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。
xxx 指定审计日志转储后存放的SFTP服务器，建议使用基于SSH v2的SFTP服务，否则存在安全风险。 SFTP端口 22 指定审计日志转储后存放的SFTP服务器连接端口。 保存路径 /opt/omm/oms/auditLog 指定SFTP服务器上保存审计日志的路径。 SFTP用户名
准备Spark应用Scala开发环境 操作场景 Scala开发环境可以搭建在Windows环境下，而运行环境（即客户端）只能部署在Linux环境下。 操作步骤 对于Scala开发环境，推荐使用IDEA工具，安装要求如下。 JDK使用1.7版本（或1.8版本） IntelliJ IDEA（版本：13
DataFrame批量/流式写入Doris。 可以将Doris表映射为DataFrame或者RDD，推荐使用DataFrame。 支持在Doris端完成数据过滤，减少数据传输量。 该章节仅适用于MRS 3.5.0及之后版本。 前提条件 已创建包含Doris服务的集群，集群内各服务运行正常。 待连接
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后，客户端提示如下信息后长时间无响应。 16/03/03 16:44:56 INFO hdfs.DFSClient: Created HDFS_DELEGATION_TOKEN token
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。 运行Pyth
两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。 运行Py
ZooKeeper通过访问控制列表（ACL）来对znode进行访问控制。ZooKeeper客户端为znode指定ACL，ZooKeeper服务器根据ACL列表判定某个请求znode的客户端是否有对应操作的权限。ACL设置涉及如下四个方面。 查看ZooKeeper中znode的ACL。
开源sqoop-shell工具使用示例（SFTP - HDFS） 操作场景 本文将以“从SFTP服务器导入数据到HDFS”的作业为例，介绍如何分别在交互模式和批量模式下使用sqoop-shell工具进行创建和启动Loader作业。 本章节适用于MRS 3.x及后续版本。 前提条件
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
