检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
> 服务 > HetuEngine > 实例”,查看HSFabric的业务IP地址。 单击“HSFabric”,选择“实例配置”,查看“server.port”的值,默认为“29900”。 192.162.157.32:29900 远端地址信息 远端MRS集群的HetuEngine
该RegionServer,观察客户端如果打印“ClusterStatusListener: There is a new dead server”关键字日志,即表示客户端成功开启Multicast功能。 以验证hbase shell客户端执行的读写任务是否成功开启Multicast功能为例:
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后,还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项: 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 若您需要对参数配置进行调整,具体操作请参考修改集群服务配置参数。
kafkaSecurityMode Kafka服务是否开启安全模式标记文件。 producer.properties Kafka的producer端配置信息。 server.properties Kafka的服务端的配置信息。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后,还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项: 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 如果您需要对参数配置进行调整,具体操作请参考修改集群服务配置参数。
当目标源为HDFS时,可以修改输出路径。 参数说明 表1 schedule.properties配置参数说明 配置参数 说明 示例 server.url Loader服务的浮动IP地址和端口。端口默认为21351。 为了兼容性,此处支持配置多个IP地址和端口,并以“,”进行分隔
opts”和“mapreduce.reduce.java.opts”参数,分别加入调试命令“-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8000”,保存文件。 MapReduce为分布式计算框架,Map/Reduce任务启动所在
通过SSH登录Kafka Broker。 通过cd /var/log/Bigdata/kafka/broker命令进入日志目录。 查看server.log发现如下日志抛出java.io.IOException: Too many open files in system。 图3 日志异常
增加Hive最大连接数配置。 登录MRS集群详情页面,选择“组件管理”。 选择“Hive > 服务配置”,将“基础配置”切换为“全部配置”。 然后查找“hive.server.session.control.maxconnections”,调大该配置项的数值。设该配置项的值为A,阈值为B,连接到HiveSe
使用PuTTY工具,以root用户登录该告警的主机地址。 执行命令su - omm,切换至omm用户。 执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh,查询当前HA管理的knox资源状态是否正常(normal:状态正常,其他:状态异常)。 是,执行7。
opts”和“mapreduce.reduce.java.opts”参数,分别加入调试命令“-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8000”,保存文件。 MapReduce为分布式计算框架,Map/Reduce任务启动所在
的端口,可在FusionInsight Manager界面,选择“集群 > 服务 > Hive > 配置”,在搜索框中搜索“hive.server2.thrift.port”查看,默认值为“10000”。 username:参数值为实际使用的用户名,即准备集群认证用户信息创建的用户名。
x.x.x/install/FusionInsight-Oozie-x.x.x/oozie-x.x.x/embedded-oozie-server/webapp/WEB-INF/lib”路径复制“curator-x-discovery-x.x.x.jar”包到“$BIGDATA_
如何获取Spark Jar包? 华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发
执行以下命令,修改“backup.properties”文件的配置参数,参数具体说明如表1所示。 vi backup.properties server.url = 10.0.0.1:21351,10.0.0.2:12000 authentication.type = kerberos
x.x.x/install/FusionInsight-Oozie-x.x.x/oozie-x.x.x/embedded-oozie-server/webapp/WEB-INF/lib”路径拷贝“curator-x-discovery-x.x.x.jar”包到“$BIGDATA_
opts”和“mapreduce.reduce.java.opts”参数,分别加入调试命令“-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8000”,保存文件。 MapReduce为分布式计算框架,Map/Reduce任务启动所在
的端口,可在FusionInsight Manager界面,选择“集群 > 服务 > Hive > 配置”,在搜索框中搜索“hive.server2.thrift.port”查看,默认值为“10000”。 username:参数值为实际使用的用户名,即准备MRS应用开发用户创建的用户名。
opts”和“mapreduce.reduce.java.opts”参数,分别加入调试命令“-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8000”,保存文件。 MapReduce为分布式计算框架,Map/Reduce任务启动所在
登录Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置 > HiveServer(角色) > 自定义”,在“hive.server.customized.configs”中添加如下两个参数,保存配置,并滚动重启服务。 hive-ext.skip.ranger.showtables