检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
置调大，在客户端“客户端安装路径/Yarn/config/mapred-site.xml”配置文件中优化如下参数： “yarn.app.mapreduce.am.resource.mb” “yarn.app.mapreduce.am.command-opts”，该参数中-Xmx值建议为0
30 修改parts_to_throw_insert值 增大Too many parts的触发阈值，除非特殊场景，不建议修改此配置。此配置在一定程度起到潜在问题预警的作用，如果集群硬件资源不足，此配置调整不合理，会导致服务潜在问题不能及时被发现，可能进一步引起其他故障，恢复难度增加。
prequery.sql 配置的语句在每个所预热的表中都会执行，表名用%s代替。 脚本使用 命令形式：sh start-prequery.sh 执行此条命令需要：将user.keytab或jaas.conf（二选一），krb5.conf（必须）放入conf目录中。 此工具暂时只支持Carbon表。
daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS，而服务端依然使用HDFS，那么需要显式在命令行使用该参数指定HD
daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS，而服务端依然使用HDFS，那么需要显式在命令行使用该参数指定HD
工为宽表模型，但是在一些情况下，多个表，甚至是维度表变化比较频繁情况下，不太适合进行宽表加工处理，不得已必须使用Join模型以实时查询到最新数据。那么join，建议2表join，大表join小表，小表在后（大表join小表），并必须有关联条件。小表的数据量控制在百万~千万行级别，
daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS，而服务端依然使用HDFS，那么需要显式在命令行使用该参数指定HD
daemonlog 获取或者设置服务LOG级别。 CLASSNAME 运行一个名字为CLASSNAME的类。 top 运行集群利用率监控工具。 -Dmapreduce.job.hdfs-servers 如果对接了OBS，而服务端依然使用HDFS，那么需要显式在命令行使用该参数指定HD
UDF执行结果与Hive执行结果不一致。 需要在maven工程中添加hive-exec-3.1.1的依赖，可从Hive服务安装目录下获取。 （可选）若用户存在Hive UDF依赖的配置文件，建议将其作为资源文件放在resources目录下，即可打包到Hive UDF函数包中。 创建Maven项目，“groupId”配置“com
url命令所支持的SSL协议在集群中已添加支持。若不支持，可对应修改集群中SSL协议。例如，若Curl仅支持TLSv1协议，修改方法如下。 登录MRS Manager页面，单击“服务管理 > HDFS > 服务配置”，在“参数类别”选择“全部配置”，在“搜索”框里搜索“hadoop
把前两步相应的数据记录做相加操作。 把上一步骤的结果写到table2表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/” ）下。 运行任务
例行维护内容 每天 检查集群服务状态 检查每个服务的运行状态和配置状态是否正常，是否为绿色。 检查每个服务中，角色实例的运行状态和配置状态是否正常，是否为绿色。 检查每个服务中，角色实例的主备状态是否可以正常显示。 检查服务与角色实例的“概览”显示结果是否正常。 检查集群主机状态
server.numThreads 每个taskmanager中netty服务端线程数，通过-yD添加。 20 选填 taskmanager.network.netty.client.numThreads 每个taskmanager中netty客户端线程数，通过-yD添加。 20 选填 state
BS问题 解决YARN开源原生界面作业占用队列资源百分比不显示问题 解决YARN开源原生界面查看作业日志时显示不全的问题 解决Hive作业在HDFS上临时文件残留问题 解决开源Sqoop 1.4.7版本对接MRS Hive服务兼容性问题 解决Hive on MR查询Avro表失败问题
余空间多的节点存储数据副本。 针对新写入到本DataNode的数据会优先写磁盘剩余空间多的磁盘。 部分磁盘使用率较高，依赖业务逐渐删除在HDFS中的数据（老化数据）来逐渐降低。 父主题： 使用HDFS
prequery.sql配置的语句在每个所预热的表中都会执行，表名用%s代替。 脚本使用 命令形式：sh start-prequery.sh 执行此条命令需要：将user.keytab或jaas.conf（二选一），krb5.conf（必须）放入conf目录中。 此工具暂时只支持Carbon表。
ou=Users,dc=hadoop,dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”是否被锁定，在集群主管理节点上执行如果下命令查看krbkdc是否被锁定（krbadmin用户方法类似）： oldap端口查询方法： 登录FusionInsight
Manager界面操作入口：登录FusionInsight Manager，选择“集群 > 服务 >HDFS > 配置”。 选择“全部配置”，在搜索框中搜索“dfs.datanode.du.reserved.percentage”。 修改此参数的取值为“10”。 修改完成后，扩容Core节点的磁盘个数。
表的列名以及列族名不能包含特殊字符，可以由字母、数字以及下划线组成。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的testCreateTable方法中 public void testCreateTable() {
apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec”的配置项。 单击“保存”，在弹出的对话框中单击“确定”，保存配置。 单击“概览”，选择“更多 > 重启服务”，输入当前用户密码，单击“确定”，重启HBase服务。 父主题： 使用HBase
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
