检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=10 -XX:GCLogFileSize=1M Region Server -server -Xms6G -Xmx6G -XX:NewSize=1024M -XX:MaxNewSize=1024M -XX:MetaspaceSize=128M
该操作仅适用于MRS 3.x及之后版本。 以omm用户登录主管理节点。 执行以下命令,切换到目录: cd ${BIGDATA_HOME}/om-server/om/ldapserver/ldapserver/local/script 执行以下命令,解锁LDAP用户或管理账户: ./ldapserver_unlockUsers
net.NetUtils.connect(NetUtils.java:495) at org.apache.hadoop.hdfs.server.datanode.DataXceiver.writeBlock(DataXceiver.java:800) at org.apache
sh ${BIGDATA_HOME}/om-server/om/share/om/acs/config/unlockuser.sh --userName 系统内部用户名 例如,sh ${BIGDATA_HOME}/om-server/om/share/om/acs/config/unlockuser
Certificate”,查看“定位信息”获取告警所在节点主机名,使用PuTTY工具以omm用户登录该主机,执行4。 告警附加信息中显示“HA server Certificate”, 查看“定位信息”获取告警所在节点主机名,使用PuTTY工具以omm用户登录该主机,执行5 检查系统中合法证书文件的有效期。
(68.80 million rows/s., 3.21 GB/s.) 6%Received exception from server: Code: 241. DB::Exception: Received from localhost:9000, 127.0.0.1
的端口,可在FusionInsight Manager界面,选择“集群 > 服务 > Hive > 配置”,在搜索框中搜索“hive.server2.thrift.port”查看,默认值为“10000”。 执行SQL语句,样例代码中仅执行查询所有表功能,可根据实际情况修改HQL内容。
port可在FusionInsight Manager界面,选择“集群 > 服务 > Hive > 配置”,在搜索框中搜索“hive.server2.thrift.port”查看,默认值为“10000”。 在“python3-examples/pyCLI_sec.py”中,修改“hadoop
可能原因 Flume实例全部故障。 处理步骤 以omm用户登录Flume实例所在节点,执行ps -ef|grep "flume.role=server"命令查看当前节点是否存在flume进程。 是,执行3。 否,重启Flume故障实例或Flume服务,执行2。 在告警列表中查看“Flume服务不可用”告警是否清除。
如下所示:以clickhouse用户为例,按照提示输入clickhouse和密码,等待密码清除完成。 查看密码清除结果: 登录到ClickHouse Server节点的,查看“${BIGDATA_HOME}/FusionInsight_ClickHouse_*/*_ClickHouseServer/etc/users
在使用spark-submit命令时,添加“--executor-memory MEM”参数设置内存。 示例 在执行spark wordcount计算中。1.6T数据,250个executor。 在默认参数下执行失败,出现Futures timed out和OOM错误。 因为数据量大,t
对Streaming调优,就必须使该三个部件的性能都更优化。 数据源调优 在实际的应用场景中,数据源为了保证数据的容错性,会将数据保存在本地磁盘中,而Streaming的计算结果全部在内存中完成,数据源很有可能成为流式系统的最大瓶颈点。 对Kafka的性能调优,有以下几个点: 使用Kafka-0.8.2以后版本
配置HDFS客户端元数据缓存提高读取性能 操作场景 通过使用客户端缓存元数据块的位置来提高HDFS读取性能。 此功能仅用于读取不经常修改的文件。因为在服务器端由某些其他客户端完成的数据修改,对于高速缓存的客户端将是不可见的,这可能导致从缓存中拿到的元数据是过期的。 本章节适用于MRS 3.x及后续版本。
操作场景 loader-tool工具支持通过作业模板或参数选项的方式,对连接器或者作业进行创建、更新、查询、删除等操作。 本文将以“从SFTP服务器导入数据到HDFS”的作业为例,通过引用作业模板的方式,介绍loader-tool工具的使用方法。 前提条件 已安装并配置Loader客户
HYPERLOGLOG 基数统计。 用HyperLogLog来近似计算唯一数的计数值,其代价要远小于用count来计算。 参见HyperLogLog函数函数。 HyperLogLog A HyperLogLog sketch可以用来高效的计算distinct()的近似值。 它以一个稀疏的表征开
正式编写脚本前,您需要将所需安装包、配置包的所有相关文件都上传到同Region的OBS文件系统中。 因为不同Region间有网络隔离,MRS虚拟机无法下载其他Region上的OBS文件。 脚本中如何从OBS文件系统下载文件。 您可以在脚本中指定从OBS下载需要的文件。如果将文件上传到私有文件系统,需要用hadoop
如果该故障持续存在,管理审计日志可能会丢失。 可能原因 无法连接OBS服务器。 指定的OBS文件系统不存在。 用户AK/SK信息失效。 本地OBS配置信息获取失败。 处理步骤 登录OBS服务器,检查OBS服务器是否可以正常访问。 是,执行3。 否,执行2。 联系运维人员恢复OBS
执行/opt/Bigdata/om-0.0.1/sbin/queryVersion.sh或者sh ${BIGDATA_HOME}/om-server/om/sbin/queryVersion.sh命令,查看集群中的HDFS版本号。 根据版本号确认开源组件的端口号,查询开源组件的端口
-tools-1.99.3/sqoop-shell/conf 执行以下命令,配置认证信息。 vi client.properties server.url=10.0.0.1:21351 # simple or kerberos authentication.type=simple
-tools-1.99.3/sqoop-shell/conf 执行以下命令,配置认证信息。 vi client.properties server.url=10.0.0.1:21351 # simple or kerberos authentication.type=simple