检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在IntelliJ IDEA中选择“File > Project Structure > Modules”，然后将内含“log4j.properties”和“UserInfo.properties”的“conf”文件夹添加为Source Folders。 重新编译程序。
start=-4096 即可看到所有日志文件。 图6 所有日志文件 父主题： 使用Spark
当前系统提供了三种共享状态信息的方法：通过文件系统共享（FileSystemRMStateStore）、通过LevelDB数据库共享（LeveldbRMStateStore）或通过ZooKeeper共享（ZKRMStateStore）。
如果没有使用External Shuffle Service，Executor被杀时会丢失shuffle文件。
Hive作为数据仓库类型数据库，其并不能支持所有的JDBC标准API。例如事务类型的操作：rollback、setAutoCommit等，执行该类操作会获得“Method not supported”的SQLException异常。 父主题： Hive对外接口介绍
Hive作为数据仓库类型数据库，其并不能支持所有的JDBC标准API。例如事务类型的操作：rollback、setAutoCommit等，执行该类操作会获得“Method not supported”的SQLException异常。 父主题： Hive对外接口介绍
然而，开启container日志聚合功能之后，其日志聚合至HDFS目录中，只能通过获取HDFS文件来查看日志。 开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 父主题： Spark Core
图2 选择开发环境 在工程信息页面，填写工程名称和存放路径，设置JDK版本，并勾选“Config later”（待工程创建完毕后引入scala的编译库文件），然后单击“Finish”完成工程创建。 图3 填写工程信息 父主题： 准备Spark应用开发环境
永久调整 在HDFS客户端环境变量配置文件“/opt/client/HDFS/component_env”（其中“/opt/client”需要改为实际客户端路径）增加“export HADOOP_ROOT_LOGGER=日志级别,console”。
安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。 使用Yarn客户端 安装客户端。 MRS 3.x之前版本请参考安装客户端章节。 MRS 3.x及之后版本请参考安装客户端章节。
cd /opt tar -xvf /opt/MRS_Services_Client.tar 执行以下命令校验安装文件包。
则需要添加JVM配置参数，如下所示： -Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty -Dzookeeper.client.secure=true 在“JDBCExampleZK.java”文件下单击右键
在自定义配置项中，给参数文件“core-site.xml”添加配置项“mapreduce.jobhistory.always-scan-user-dir”，设置值为“true”。 图1 新增自定义参数 保存配置，并重启Mapreduce服务。
Oozie Shell接口介绍 表1 接口参数说明 命令 参数 含义 oozie version 无 显示oozie版本信息 oozie job -config <arg> 指定job配置文件（job.properties）路径 -oozie <arg> 指定oozie server
查询中是有数据的）。
可选参数RESTRICT|CASCADE用于指定删除的模式，默认是RESTRICT模式，在这种模式下，数据库必须为空，不包含任何表才能删除，如果是CASCADE模式，表示级联删除，会先删除数据库下面的表 ，再删除数据库。
数据源调优 在实际的应用场景中，数据源为了保证数据的容错性，会将数据保存在本地磁盘中，而Streaming的计算结果往往全部在内存中完成，数据源很有可能成为流式系统的最大瓶颈点。
tar -xvf /opt/MRS_Services_Client.tar 执行以下命令校验安装文件包。
检查并修改resources目录下hiveclient.properties文件中“zk.port”和“zk.quorum”参数的值： zk.port：为访问FusionInsight ZooKeeper的端口，通常保持默认，根据实际使用情况修改。
检查并修改resources目录下hiveclient.properties文件中“zk.port”和“zk.quorum”参数的值： zk.port：为访问FusionInsight ZooKeeper的端口，通常保持默认，根据实际使用情况修改。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
