检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导致解密失败，影响解密相关功能，例如DBservice安装等。 可能原因 rngd服务异常。 处理步骤 在MRS集群详情页面，单击“告警管理”。 查看该告警的详细信息，查看定位信息中对应的“HostName”字段值，获取该告警产生的主机名。 登录告警节点，执行sudo su - root切换用户。 执行/bin/rpm
输入文件数超出设置限制导致任务执行失败 问题背景与现象 Hive执行查询操作时报Job Submission failed with exception 'java.lang.RuntimeException(input file number exceeded the limits
的形式指示YARN。 下面使用HTTPS作为URL的一部分，并且只有HTTPS将得到支持。 Superior Scheduler接口 查询Application 查询scheduler engine中的所有application。 URL GET https://<SS_REST_SERV
的形式指示YARN。 下面使用HTTPS作为URL的一部分，并且只有HTTPS将得到支持。 Superior Scheduler接口 查询Application 查询scheduler engine中的所有application。 URL GET https://<SS_REST_SERV
通过JDBC访问Spark SQL样例程序开发思路 场景说明 用户自定义JDBCServer的客户端，使用JDBC连接来进行表的创建、数据加载、查询和删除。 数据规划 确保以多主实例模式启动了JDBCServer服务，并至少有一个实例可连接客户端。在JDBCServer节点上分别创建“/home/data”文件，内容如下：
的形式指示YARN。 下面使用HTTP作为URL的一部分，并且只有HTTP将得到支持。 Superior Scheduler接口 查询Application 查询scheduler engine中的所有 application。 URL GET http://<SS_REST_SERV
> ZooKeeper > 实例”，可查看所有quorumpeer实例所在主机业务IP地址。 ZooKeeper客户端端口号： 登录FusionInsight Manager，选择“集群 > 服务 > ZooKeeper”，在“配置”页签查看“clientPort”的值。默认为24002。
INSERT...SELECT操作调优 操作场景 在以下几种情况下，执行INSERT...SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在beeline/thriftserver模式下使用非spark用户操作。 操作步骤 可对INSERT
到HBase？ 问： MRS是否支持通过Hive的HBase外表将数据写入到HBase？ 答： 不支持。 Hive on HBase只支持查询，不支持更改数据。 父主题： 应用开发类
调优参数。 图1 Shuffle过程 操作步骤 Map阶段的调优 判断Map使用的内存大小 判断Map分配的内存是否足够，一个简单的办法是查看运行完成的job的Counters中，对应的task是否发生过多次GC，以及GC时间占总task运行时间之比。通常，GC时间不应超过task运行时间的10%，即GC
application的nodeLabel 。 -nm,--name <arg>：为Yarn application自定义名称。 -q,--query：查询可用的Yarn 资源。 -qu,--queue <arg>：指定YARN 队列。 -s,--slots <arg>：设置每个Taskmanager的SLOT个数。
通过Hue界面对HDFS以文本或二进制查看和编辑文件的操作如下： 查看文件 访问Hue WebUI。 左侧导航栏单击文件。进入“文件浏览器”页面。 单击需要查看的文件名。 单击“以二进制格式查看”，可以切换视图从文本到二进制；单击“以文本格式查看”，可以切换视图从二进制到文本。 编辑文件
male,10 GuoYijun,male,5 Map阶段： 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段： 获取Map输出中的最后一条数据。 将数据输出到HBase。
male,10 GuoYijun,male,5 Map阶段： 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段： 获取Map输出中的最后一条数据。 将数据输出到HBase。
INSERT SELECT语句调优 操作场景 在以下几种情况下，执行INSERT...SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在Beeline/JDBCServer模式下使用非Spark用户操作。 操作步骤 可对INSERT.
YuanJing,male,10 GuoYijun,male,5 Map阶段 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段 获取Map输出中的最后一条数据。 将数据输出到HBase。
当前Spark SQL执行一个查询时需要使用大量的内存，尤其是在做聚合（Aggregate）和关联（Join）操作时，此时如果内存有限的情况下就很容易出现OutOfMemoryError。有限内存下的稳定性就是确保在有限内存下依然能够正确执行相关的查询，而不出现OutOfMemoryError。
INSERT SELECT语句调优 操作场景 在以下几种情况下，执行INSERT...SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在Beeline/JDBCServer模式下使用非Spark用户操作。 操作步骤 可对INSERT.
当前Spark SQL执行一个查询时需要使用大量的内存，尤其是在做聚合（Aggregate）和关联（Join）操作时，此时如果内存有限的情况下就很容易出现OutOfMemoryError。有限内存下的稳定性就是确保在有限内存下依然能够正确执行相关的查询，而不出现OutOfMemoryError。
male,10 GuoYijun,male,5 Map阶段： 获取输入数据的一行并提取姓名信息。 查询HBase一条数据。 查询Hive一条数据。 将HBase查询结果与Hive查询结果进行拼接作为Map输出。 Reduce阶段： 获取Map输出中的最后一条数据。 将数据输出到HBase。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
