检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
":"password"}' 'https://x.x.x.x:28443/web/api/v2/tools/encrypt' 其中user name:password分别为当前系统登录用户名和密码；"plainText"的password为调用“generate_keystore.sh
从https://mrs-obs-cn-north-4.obs.cn-north-4.myhuaweicloud.com/mrs-demon-samples/demon/detail-records.zip获取Spark样例数据到本地。
val file = sc.textFile("hdfs://...") val errors = file.filter(_.contains("ERROR")) errors.cache() errors.count() textFile算子从HDFS读取日志文件，返回file
kerberosHandler.generateServiceToken(PRINCIPAL); return Base64.getEncoder().encodeToString(tokens); } public static void main
MetaspaceSize=128M -XX:MaxMetaspaceSize=128M -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=65 -XX:+PrintGCDetails
thirdparty-kafka也可以使用MRS Kafka作为源端，如果使用用户名（Username）密码（Password）进行登录认证，则需先登录Manager界面，选择“集群 > 服务 > Kafka > 配置”，在搜索框中搜索“sasl.enabled.mechanisms”，为该参数值增加“PLAIN
Create权限 NA 对应列的查询权限 删除物化视图 删除表权限 NA NA 刷新物化视图 表的更新权限 NA 对应列的查询权限 修改物化视图属性或状态 表的Alter权限 NA NA 使用物化视图重写查询语句 NA NA 对应列的查询权限 使用物化视图重写查询语句的执行计划（EXPLAIN
开启Kerberos认证集群开启“enable.advertised.listener”配置后，客户端只支持使用Kerberos认证，不支持使用Plain认证。
table2表获取相应记录，把两者数据后，更新到table2表 */ object SparkHbasetoHbase { case class FemaleInfo(name: String, gender: String, stayTime: Int) def main
" + KerberosUtil.getKrb5DomainRealm().toLowerCase(); LoginUtil.setZookeeperServerPrincipal(ZOOKEEPER_SERVER_PRINCIPAL_KEY, zookeeperDefaultServerPrincipal
（MRS 3.5.0之前版本） “优先级”：在发生资源抢占时，优先级越高则会优先抢占资源，但不确保所有的Container都会被启动。（MRS 3.5.0及之后版本） “最多核数”：表示用户最多可以使用的虚拟核数。 “最大内存”：表示用户最大可以使用的内存。
LogAggregationService在收集日志时会把container产生的本地日志合并成一个日志文件上传到HDFS，在一定程度上可以减少日志文件的数量。但在规模较大且任务繁忙的集群上，经过长时间的运行，HDFS依然会面临存储的日志文件过多的问题。
10 hbase.hstore.blockingStoreFiles 若一个Store内的HStoreFile文件数量超过指定值，则针对此HRegion的更新将被锁定直到一个压缩完成或者base.hstore.blockingWaitTime被超过。
最大并发的container数量应该为[2.5 * Hadoop中磁盘配置数 ]。 mapreduce.map.memory.mb 参数解释：map任务的内存限制。单位：MB。
5 spark.thriftserver.retry.wait.time 重连服务端时的尝试时间间隔，单位秒。 10 表1中的参数应配置在客户端classpath下的“hive-site.xml”文件中，例： <?
以root用户登录节点，执行cat /proc/sys/kernel/random/entropy_avail命令，检查操作系统熵值是否满足集群的安装要求（不低于100）。 是，操作系统熵值不低于100，执行9。
最大并发的container数量应该为[2.5 * Hadoop中磁盘配置数 ]。 mapreduce.map.memory.mb 说明： 需要在客户端进行配置，配置文件路径：客户端安装目录/HDFS/hadoop/etc/hadoop/mapred-site.xml。
10 hbase.hstore.blockingStoreFiles 如果一个Store内的HStoreFile文件数量超过指定值，则针对此HRegion的更新将被锁定直到一个压缩完成或者“base.hstore.blockingWaitTime”被超过。
表4 PgSQL作业参数 参数名称 示例 Link pgsqllink Tasks Max 1 Mode insert、update、delete dbName Alias pgsqldb Schema pgschema Slot Name pg_slot Enable FailOver
', 'properties.kerberos.domain.name' = 'hadoop.系统域名' ); CREATE TABLE cksink ( `pid` TINYINT, `uid` BOOLEAN, `Int_16` SMALLINT, `Int_32` INTEGER
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
