检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
content" : [ [ "t1", null ], [ null, "t2" ], [ null, "t3" ] ] } 状态码： 400 提交SQL语句失败 { "error_code" : "MRS.0011", "message" : "提交SQL到Executor上失败
对于已启用Ranger授权的组件（HDFS与Yarn除外），Manager上非系统默认角色的权限将无法生效，需要通过配置Ranger策略为用户组赋权。 HDFS与Yarn的资源请求在Ranger中的策略条件未能覆盖的情况下，组件ACL规则仍将生效。
如果在某次提交（commit）之前，数据传输出现了失败，将会再次开始上一次Transactions，并将上次发送失败的数据重新传输。因为commit操作已经将Transactions写入了磁盘，那么在进程故障退出并恢复业务之后，仍然可以继续上次的Transactions。
访问MRS集群Manager（2.x及之前版本） 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理，用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager，请根据实际情况进行选择： 通过弹性IP访问
在MapReduce服务中，JobhistoryServer会定时去清理HDFS上存储的旧的日志文件（默认目录为HDFS文件系统中的“/mr-history/done”），具体清理的时间间隔参数配置为mapreduce.jobhistory.max-age-ms，默认值为1296000000
打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。
节点上所部署的各组件元数据目录和数据目录按照一定映射规则分配到不同的磁盘分区目录下，各组件数据目录说明可参考表2。
在MapReduce服务中，JobhistoryServer会定时去清理HDFS上存储的旧的日志文件（默认目录为HDFS文件系统中的“/mr-history/done”），具体清理的时间间隔参数配置为mapreduce.jobhistory.max-age-ms，默认值为1296000000
在HDFS上建立一个文件夹“/tmp/input”，并上传input_data1.txt、input_data2.txt到此目录。 将生成的jar包上传至Spark2x运行环境下（Spark2x客户端），如“/opt/female”。
说明： 如果是在Manager上新建的用户，首次使用前需要修改初始密码。 useTransaction true 是否使用事务，参数值修改为true。 如果配置为true，则sql语句使用事务。 autoCommit true 自动提交还是手动提交。
说明： 如果是在Manager上新建的用户，首次使用前需要修改初始密码。 useTransaction true 是否使用事务，参数值修改为true。 如果配置为true，则sql语句使用事务。 autoCommit true 自动提交还是手动提交。
如果不清楚哪些Topic业务数据量较大，可以根据2中获取到的主机节点信息，登录到实例节点上，进入对应的数据目录（即6中“log.dirs”修改之前的配置路径），查看该目录下哪些Topic的Patition目录占用的磁盘空间比较大。 是，执行15。 否，执行16。
执行程序路径配置为OBS上存放程序的地址。例如：obs://wordcount01/program/hadoop-mapreduce-examples-x.x.x.jar。
在MySQL数据库上创建表，并插入数据。
可列出文件系统上“huawei”目录下所有目录和文件的详细信息。 LISTSTATUS将在一个请求中返回所有子文件和文件夹的信息。 执行如下命令访问HTTP。
本工程应用程序实现从HDFS上读取文本数据并计算分析。
该锁只适用于一台机器上只运行一个Spark Driver（或者JDBCServer）的情况。 HDFSLOCK：基于HDFS文件系统上的文件来创建的锁。该锁适用于集群上有多个运行的Spark应用而且没有可用的ZooKeeper的情况。
执行程序路径配置为OBS上存放程序的地址。例如：obs://wordcount01/program/hadoop-mapreduce-examples-x.x.x.jar。
表1 多CPU内核设置 配置 参数 配置描述 节点容器槽位数 yarn.nodemanager.resource.memory-mb 参数解释：节点上YARN可使用的物理内存总量。单位：M。
对系统的影响 节点的操作系统熵值不足，可能导致该节点上加解密等命令执行慢，进而引起各实例业务处理性能下降，甚至业务进程无法正常执行。 可能原因 haveged或者rng-tools工具未安装或未启动。 系统熵值连续多次检测低于100。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
