检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS中Kafka在ZooKeeper存储的ZNode是以/kafka为根路径,有别于开源。Kafka对应的ZooKeeper连接配置为192.168.234.231:2181/kafka。 Consumer中配置为ZooKeeper连接配置为192.168.234.231:2181,导致无法正确获取Kafka中Topic相关信息。
"${hdfsCmd}" -chmod 600 "${InnerHdfsDir}"/ssl.jceks >> "${PRESTART_LOG}" 2>&1”修改成“eval "${hdfsCmd}" -chmod 644 "${InnerHdfsDir}"/ssl.jceks >> "${PRESTART_LOG}"
在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。 在计算实例页面,查看是否存在状态为“故障”的计算实例。 是,执行13。 否,执行14。 在实例的“操作”列中,单击“启动”,等待实例启动完成。 在告警列表中,查看“ALM-45001
行过程时发生改变。在滚动升级过程中,首先只会对少数NodeManager进行升级,这些NodeManager会获得新版本的软件。这导致了行为的不一致,并可能发生运行时错误。 同时存在多个Yarn版本 集群管理员可能会在一个集群内运行使用多个版本Yarn及Hadoop jars的任
执行Spark作业时无法加载部分jar,导致找不到class。 处理步骤 使用 --jars 加载flume-ng-sdk-{version}.jar依赖包。 同时修改“spark-default.conf”中两个配置项。 spark.driver.extraClassPath=$PWD/*:{加上原来配置的值}
x及后续版本,登录FusionInsight Manager。然后选择“集群 > 待操作的集群名称 > 服务 > Yarn > 配置 > 全部配置”。 搜索并修改“yarn.nodemanager.resource.memory-mb”的值,请根据集群的节点内存实际情况调大该值。 保存配置并重启受影响的服务或实例。
在产品未发布对应解决方案前,建议您参考以下的相关预防措施。 加固物理设备安全边界,防止外网直接访问及攻击内网管理平面。 排查平台各组件节点是否使用默认密码,如果有,建议修改新密码。 加强环境管理面账户密码管控,确保不泄露不扩散。 部分安全厂商已经提供了针对该漏洞的预防措施,您可联系对应的安全厂商,通过在安全设备上设置拦截规则来预防此类攻击。
鼠标放置饼图上会显示当前区域集群中各节点不同硬件配置下的配置信息及数量,格式为:核数(平台类型)内存大小:数量。 单击相应区域,会在下方显示相应的主机列表。 磁盘配置 横轴为节点上磁盘总容量(包含OS盘),纵轴为逻辑磁盘数量(包含OS盘)。 鼠标放置圆点上会显示处于当前配置状态下的磁盘信息,包括磁盘数量、总容量、主机数。
产生告警的主机名。 对系统的影响 无。 可能原因 Hive SQL语法有问题,导致Hive SQL执行失败。 处理步骤 查看运行失败的Hive SQL,修改为正确语法后再执行。 参考信息 无。 父主题: MRS集群告警处理参考
如果您需要修改日志级别,请执行如下操作: 默认情况下配置Spark2x日志级别不需要重启服务。 登录FusionInsight Manager系统。 选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”。 单击“全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。
DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 默认情况下配置Spark2x日志级别不需要重启服务。 登录FusionInsight Manager系统。 选择“集群 > 服务 > Spark2x > 配置”。 单击“全部配置”。 左边菜单栏中选择所需修改的角色所对应的日志菜单。
Hive不支持对同一张表或分区进行并发数据插入,这样会导致多个任务操作同一个数据临时目录,一个任务将另一个任务的数据移走,导致任务失败。 解决办法 修改业务逻辑,单线程插入数据到同一张表或分区。 父主题: 使用Hive
h1; run clean on "/tmp/hudi/h1"; 注意事项 对表执行clean操作时需要表的owner才可以执行。 如果需要修改clean默认的参数,需要在执行前以set方式设置好需要保留的commit数等参数。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。
SQL操作Hudi,支持在Spark3.1.1及之后版本的客户端执行Spark SQL操作Hudi。 不支持在Hive、Hetu引擎中写hudi表,以及修改hudi表结构,仅支持读。 由于SQL的KeyGenerator默认是org.apache.hudi.keygen.ComplexKeyG
行过程时发生改变。在滚动升级过程中,首先只会对少数NodeManager进行升级,这些NodeManager会获得新版本的软件。这导致了行为的不一致,并可能发生运行时错误。 同时存在多个Yarn版本 集群管理员可能会在一个集群内运行使用多个版本Yarn及Hadoop jars的任
“Move”:表示移动文件,在“移至”选择新的目录并单击“移动”完成移动。 “Copy”:表示复制选中的文件或目录。 “Change permissions”:表示修改选中目录或文件的访问权限。 可以为属主、属组和其他用户设置“Read”、“Write”和“Excute”权限。 “Sticky”表示禁止H
SparkLauncher类。默认提供了SparkLauncherJavaExample和SparkLauncherScalaExample示例,您需要根据实际业务应用程序修改示例代码中的传入参数。 如果您使用Java语言开发程序,您可以参考如下示例,编写SparkLauncher类。 public static
map_filter(map(K, V), function(K, V, boolean)) -> map(K, V) 描述:使用map中仅给定函数映射为true的entry去构造一个新的map。 SELECT map_filter(MAP(ARRAY[], ARRAY[]), (k, v) ->
“选择客户端类型”设置为“完整客户端”,注意平台类型与待安装客户端节点的节点类型相同(x86为x86_64,ARM为aarch64),下载位置选择“浏览器”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如,客户端文件压缩包为“FusionInsi
ClickHouse服务当前的部署不具备跨AZ高可用能力。 可能原因 开启跨AZ高可用之后,同一个shard的所有副本节点在一个AZ内。 处理步骤 修改副本节点AZ 以客户端安装用户,登录安装客户端的节点。执行以下命令,切换到客户端安装目录。 cd {客户端安装路径} 执行以下命令配置环境变量。