检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
备份目录支持以下类型: “LocalDir”:表示将备份文件保存在主管理节点的本地磁盘上,备管理节点将自动同步备份文件。默认保存目录为“数据存放路径/LocalBackup/”。选择此参数值,还需要配置“最大备份数”,表示备份目录中可保留的备份文件集数量。
以客户端安装用户,登录安装客户端的节点。 执行以下命令,配置环境变量。 source /opt/client/bigdata_env 执行以下命令,认证用户。
以omm用户登录集群中的Manager所在节点主机。 可以通过登录FusionInsight Manager浮动IP节点,执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh命令来查看当前Manager的双机信息。
安全风险说明:JDK中包含javac、jmap、jdb等调测工具,攻击者可以利用调测工具调试业务进程,可能造成进程中敏感信息泄露。
用root用户登录故障节点,执行命令id admin,观察命令返回结果时长,观察执行命令是否缓慢(超过3s即可认为执行命令慢)。 是,执行13。 否,执行15。
以root用户登录发生故障的备NameNode节点,将1获取的数据目录中的fsimage文件进行备份。例如备份到“/srv/BigData/namenode/current.bak”路径下。
操作步骤 使用具有ClickHouse系统表修改权限的用户登录客户端节点,连接到ClickHouse服务端,具体请参考使用ClickHouse客户端。
使用约束 写入表的类型为:Hive、Datasource 支持的数据格式:parquet、orc 配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置,修改如下参数: 参数 说明 默认值 spark.sql.mergeSmallFiles.enabled
参数入口: 在Yarn客户端的“mapred-site.xml”配置文件中调整如下参数。“mapred-site.xml”配置文件在客户端安装路径的conf目录下,例如“/opt/client/Yarn/config”。
登录服务器,在默认目录下查看相对路径“保存路径”是否有“FTP用户名”的读写权限。 是,执行9。 否,执行8。 登录服务器,查看绝对路径“保存路径”是否有“FTP用户名”的读写权限。 是,执行9。 否,执行8。 增加读写权限,然后检查告警是否恢复。 是,执行完毕。 否,执行9。
Kafka常用API介绍 Kafka Shell命令介绍 Kafka Java API介绍 父主题: Kafka应用开发常见问题
Kafka常用API介绍 Kafka Shell命令介绍 Kafka Java API介绍 父主题: Kafka应用开发常见问题
以root用户登录HBase客户端,用户密码为安装前用户自定义,请咨询系统管理员。
对系统的影响 影响任务执行和客户端连接FE。 可能原因 FE堆内存过小。 处理步骤 检查堆内存使用率。
外部表,如果数据要被多种工具共同处理,则应该使用外部表,可避免对该数据的误操作。删除外部表时,只删除掉元数据。 根据已有表创建新表,使用CREATE LIKE句式,完全复制原有的表结构,包括表的存储格式。 根据查询结果创建新表,使用CREATE AS SELECT句式。
确认这个方法对应的类所在的jar包是否加载到jvm的classpath里面,spark自带的类都在“spark客户端目录/jars/”。 确认是否有多个jar包包含这个类(尤其注意相同工具的不同版本)。
需要在beeline里面设置指定的参数,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。
确认这个方法对应的类所在的jar包是否加载到jvm的classpath里面,spark自带的类都在“spark客户端目录/jars/”。 确认是否有多个jar包包含这个类(尤其注意相同工具的不同版本)。
图1 导入流程示意 用户也可以通过shell脚本来更新与运行Loader作业,该方式需要对已安装的Loader客户端进行配置。 父主题: 使用Loader
登录MRS集群详情页面,选择“告警管理”。 记录该告警定位信息中的“HostName”的IP地址为IP1(若出现多个告警,则分别记录其中的IP地址为IP1、IP2、IP3等)。