检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
flatMap(_.split(" ")).groupBy("value").count() //开始运行将运行计数打印到控制台的查询。 val query = wordCounts.writeStream .outputMode("complete")
Storm性能调优 操作场景 通过调整Storm参数设置，可以提升特定业务场景下Storm的性能。 本章节适用于MRS 3.x及后续版本。 修改服务配置参数，请参考修改集群服务配置参数。 拓扑调优 当需要提升Storm数据量处理性能时，可以通过拓扑调优的操作提高效率。建议在可靠性要求不高的场景下进行优化。
0-SNAPSHOT-jar-with-dependencies.jar 以上Jar包名称仅供参考，具体名称以实际生成为主。 在命令行终端查看样例代码中的HQL所查询出的结果，运行成功会显示如下信息： Create table success! _c0 0 Delete table success
务量大小设置对应的句柄数，建议不要给太小的值。如果用户需要对HBase和HDFS操作，建议设置较大的值，例如“32768”。 使用如下命令查看某一用户的句柄数限制。 su - user_name ulimit -n 界面会返回此用户的句柄数限制值。如下所示： 8194 父主题： 使用HDFS
SparkScript：提交SparkScript脚本，批量执行Spark SQL语句。 Spark SQL：使用Spark提供的类似SQL的Spark SQL语句，实时查询和分析用户数据。 Hive：建立在Hadoop基础上的开源的数据仓库。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。
Encoders.STRING()).groupBy("value").count(); //开始运行将运行计数打印到控制台的查询。 StreamingQuery query = wordCounts.writeStream() .outputMode("complete")
在Spark应用程序运行节点，执行如下命令使用Spark Launcher方式提交。之后，可通过Spark WebUI查看运行情况，或通过获取指定文件查看运行结果。 java -cp $SPARK_HOME/conf:$SPARK_HOME/jars/*:SparkLauncherExample
compress"="ZSTD_JNI", 'orc.global.compress.level'='3'); 用户可以对特定的数据格式列指定压缩，对业务数据进一步压缩。当前识别的特定格式数据包括：JSON数据列、BASE64数据列、时间戳数据列和UUID数据列。建表时设置表属性参数“orc.column.compress”即可。
如何在CarbonData中配置非安全内存？ 问题 如何在CarbonData中配置非安全内存？ 回答 在Spark配置中，“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”与“Netty
--插入一条Map类型数据 insert into map_tb values(MAP(ARRAY['foo','bar'],ARRAY[1,2])); --查询数据 select * from map_tb; -- {bar=2, foo=1} --创建ROW表 create table row_tb
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示，客户端与服务端的配置相同。要使用表权限功能，需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明（1） 参数 描述 默认值 spark.sql
0-SNAPSHOT-jar-with-dependencies.jar 以上Jar包名称仅供参考，具体名称以实际生成为主。 在命令行终端查看样例代码中的HQL所查询出的结果，运行成功会显示如下信息： Create table success! _c0 0 Delete table success
wordCounts = words.groupBy("word").count() # 开始运行将running counts打印到控制台的查询 query = wordCounts.writeStream\ .outputMode("complete")\
wordCounts = words.groupBy("word").count() # 开始运行将running counts打印到控制台的查询 query = wordCounts.writeStream\ .outputMode("complete")\
权限信息等）缓存起来，后续访问时不需要再次访问Hive metastore，在Hive数据源的表数据变化不频繁的场景下，可以一定程度上提升查询的性能。 调整HetuEngine元数据缓存步骤 使用HetuEngine管理员用户登录FusionInsight Manager页面，选择“集群
的调度池中运行。 设置BroadCastHashJoin的超时时间。 BroadCastHashJoin有超时参数，一旦超过预设的时间，该查询任务直接失败，在多并发场景下，由于计算任务抢占资源，可能会导致BroadCastHashJoin的Spark任务无法执行，导致超时出现。因
关用户密码。 对系统的影响 修改MRS集群用户密码后，如果以前下载过用户认证文件，则需要重新下载并获取keytab文件。 前提条件 已获取当前的密码策略，请参考配置MRS集群用户密码策略。 如需使用客户端重置密码，需在集群内的任一节点安装了集群客户端。 登录Manager界面修改密码
行，也可以将程序编译为Jar包后，提交到Linux节点上运行。 开发Kafka应用 编译与运行程序 指导用户将开发好的程序编译并提交运行并查看结果。 调测Kafka应用 父主题： Kafka开发指南（安全模式）
doop/lib/* com.huawei.bigdata.hive.example.ExampleMain 在命令行终端查看样例代码中的HiveQL所查询出的结果。 Linux环境运行成功结果会有如下信息。 Create table success! _c0 0 Delete table
此时请将“yarn.timeline-service.generic-application-history.enabled”（客户端查询app任务数据时是否从TimelineServer服务获取）参数设置为“false”，直接从ResourceManager上面获取app任务数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
