检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kerberos管理员的密码将重新初始化,请使用默认密码并重新修改。组件运行用户的密码是系统随机生成的,如果用于身份认证,请参见下载MRS集群用户认证凭据文件,重新下载keytab文件。 修改域名后,“admin”用户、组件运行用户和系统管理员在修改域名以前添加的“人机”用户,密码会重置为相同密码,请重新修改
监控节点进程的YARN的Container GC日志,如果频繁出现Full GC,需要优化GC。 GC的配置:在客户端的“conf/flink-conf.yaml”配置文件中,在“env.java.opts”配置项中添加参数:“-Xloggc:<LOG_DIR>/gc.log -XX:+PrintGCDetails
添加权限,然后把角色赋予对应用户。如果HDFS Ranger策略可以匹配到Hive库表的文件或目录权限,则优先使用HDFS Ranger策略。 Ranger策略中的URL策略是hive表存储在obs上的场景涉及,URL填写对象在obs上的完整路径。与URL联合使用的Read,Write
的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件。 支持7-zip 16.04版本。 父主题: 准备Oozie应用开发环境
准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-zip 16.04版本。 父主题: 准备Oozie应用开发环境
的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件。 支持7-zip 16.04版本。 父主题: 准备Oozie应用开发环境
不同语言的开发环境配置。Flink的运行环境即Flink客户端,请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备连接集群配置文件 准备工程 Flink提供了样例程序,您可以导入样例工程进行程序学习。或者您可以根据指导,新建一个Flink工程。 导入并配置Flink样例工程
设置的Knox最大连接数较少。 处理步骤 以root用户分别登录OMS主节点和备节点。 在主备OMS节点的gateway-site.xml文件中增加以下配置,适当增加线程池。 vi /opt/knox/conf/gateway-site.xml <property> <name>gateway
spark-sql 场景:在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置,修改如下参数: 参数 说明 默认值 spark.sql.legacy.correlated.scalar.query.enabled
关闭使用codegen的方式来生成Java代码的功能,从而确保语句的正常执行。即在客户端的“spark-defaults.conf”配置文件中将“spark.sql.codegen.wholeStage”配置为“false”。 父主题: SQL和DataFrame
如果column qualifier上建有索引,在该字段的批量删除是会失败的,即不允许在建有索引的字段上执行批量删除。 如果不设置执行结果输出数据文件(delete.hfile.output),默认是/tmp/deletedata/表名。 父主题: 增强HBase BulkLoad工具数据迁移能力
若以上的参数和值在使用过程中发生了修改,可在“Oozie客户端安装目录/oozie-client-*/conf/hive-site.xml”文件中查询。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Hive2-Workflow”。
否,修改URL中超时参数为600,单击“保存”,执行7。 单击“实例”,选择任意HiveServer实例,并使用root用户登录实例节点。 打开配置文件“${BIGDATA_HOME}/FusionInsight_Current/*HiveServer/etc/hivemetastore-site
如果以上的参数和值在使用过程中发生了修改,可在“Oozie客户端安装目录/oozie-client-*/conf/hive-site.xml”文件中查询。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Hive2-Workflow”。
关闭使用codegen的方式来生成Java代码的功能,从而确保语句的正常执行。即在客户端的“spark-defaults.conf”配置文件中将“spark.sql.codegen.wholeStage”配置为“false”。 父主题: SQL和DataFrame
准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-zip 16.04版本。 父主题: 准备Oozie应用开发环境
如果column qualifier上建有索引,在该字段的批量删除操作会失败,即不允许在建有索引的字段上执行批量删除。 如果不设置执行结果输出数据文件(delete.hfile.output),默认是“/tmp/deletedata/表名”。 父主题: 增强HBase BulkLoad工具数据迁移能力
表3 参数说明 参数 描述 默认值 mapreduce.reduce.merge.inmem.threshold 内存合并进程的文件数阈值。累计文件数达到阈值时会发起内存合并及溢出到磁盘。小于等于0的值表示该阈值不生效且仅基于ramfs的内存使用情况来触发合并。 1000 mapreduce
blockingStoreFiles 若一个Store内的HStoreFile文件数量超过指定值,则针对此HRegion的更新将被锁定直到一个压缩完成或者base.hstore.blockingWaitTime被超过。每冲洗一次MemStore一个StoreFile文件被写入。在put高负载场景下可以适当调大。 15
MRS 2.1.0.7 修复问题列表: MRS Manager 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题 支持presto查询结果保存成一个文件 MRS 2.1.0.6 修复问题列表: MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题