检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ZKServerPrincipal zookeeper/hadoop.<系统域名> ZooKeeper服务端principal。请联系管理员获取对应账号。 下列代码片段在样例工程中com.huawei.bigdata.spark.examples包的FemaleInfoCollection类的main方法中。
double getDouble(); void setDouble(double value); } 创建Function Plugin注册类com.test.functions.MyFunctionsPlugin,其内容如下: package com.test.functions;
short-circuit local reads feature cannot be used because UNIX Domain sockets are not available on Windows. 3006 [main] INFO com.huawei.bigdata
{impalad实例ip}:/opt/Bigdata/FusionInsight_Impala_***/***_Impalad/etc/ 登录到manager管理页面上,找到impala组件,然后在impalad实例中添加如下自定义配置项及值: --fair_scheduler_allocation_path
挡”的属性,给用户带来极不友好的体验,所以MRS服务的ClickHouse实例对这些工作做了统一的打包处理,适配成了“自动挡”,实现了统一管理,灵活易用。 具体部署形态上,一个ClickHouse实例将包含3个ZooKeeper节点和多个ClickHouse节点,采用Dedicated
平滑次数为1,Hive数据仓库空间使用率小于或等于阈值时,告警恢复;平滑次数大于1,Hive数据仓库空间使用率小于或等于阈值的90%时,告警恢复。 MRS集群管理员可通过增加仓库容量或释放部分已使用空间的方式降低仓库空间使用率。 告警属性 告警ID 告警级别 是否自动清除 16001 次要 是 告警参数
e/data/default/table”。 是,执行5。 否,执行7。 以root用户登录客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行如下命令: cd 客户端安装目录 source bigdata_env 如为安全模式集群,请执行kinit hbase 登录HMaster
无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > HetuEngine计算实例任务积压”,检查该
无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > HetuEngine计算实例任务积压”,检查该
无资源可用,整个计算实例响应变慢,造成任务积压。 处理步骤 检查计算实例资源配置是否合理 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警 > HetuEngine计算实例查询时延超过阈值”
short-circuit local reads feature cannot be used because UNIX Domain sockets are not available on Windows. 3006 [main] INFO com.huawei.bigdata
实现方案 多主实例模式的HA方案原理如下图所示。 图1 Spark JDBCServer HA JDBCServer在启动时,向ZooKeeper注册自身消息,在指定目录中写入节点,节点包含了该实例对应的IP,端口,版本号和序列号等信息。 客户端连接JDBCServer时,需要指定Nam
正确执行。 是,执行4.e。 否,执行4.a。 检查HDFS、Yarn、ZooKeeper等是否正常。 登录MRS集群详情页面,选择“组件管理”。 在服务列表查看HDFS、Yarn、ZooKeeper等服务是否正常。 是,执行4.e。 否,执行4.c。 查看告警界面的相关告警,参照对应告警帮助进行处理。
以root用户登录发生告警的“主机名”节点,检查“/etc/fstab”文件中是否包含“挂载目录名”的行,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行6。 否,执行7。 执行vi /etc/fstab命令编辑文件,将包含“挂载目录名”的行删除。 联系硬件工程师插入全新磁盘,
查看定位信息中对应的“路径名”字段值,获取异常的文件路径或者名称。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行ll 路径名命令,其中路径名为2获取到的异常文件,获取到该文件或者目录在主机上的当前的用户,权限,用户组等信息。 进入“${BI
已安装客户端,具体请参考安装客户端。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。
已安装客户端,具体请参考安装客户端。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。
相关配置文件。 例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载路径为主管理节点的“/tmp/FusionInsight-Client”: cd /tmp/FusionInsight-Client tar -xvf
一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED BY子句定义的。 CREATE EXTERNAL TABLE IF NOT EXISTS
一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED BY子句定义的。 CREATE EXTERNAL TABLE IF NOT EXISTS