检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
masterDataVolumeType String 参数解释: Master节点数据磁盘存储类别,目前支持SATA、SAS和SSD。 取值范围: 不涉及 masterDataVolumeSize Integer 参数解释: Master节点数据磁盘存储空间。为增大数据存储容量,创建集群时可同时添加磁盘。单位为GB。
过邮件或短信方式通知对应用户。 管理面检查大数据集群的告警信息,如果大数据集群的告警信息影响到服务的使用,其告警级别达到致命时,则发送信息通知给对应租户。 在用户集群的ECS机器被删除、关机、修改规格、重启、更新OS的行为,会导致大数据集群异常,当检测到用户的虚拟机出现以上状态的时候,发送通知给对应用户。
连接器的ID不能为空! 不支持的数据类型: xxx! 不支持的组件数据类型: xxx! 没有找到连接ID为xxx的数据连接实例! 没有找到ID为xxx的集群与数据连接映射! 没有找到连接ID为xxx的集群与数据连接映射! RDS的实例ID不能为空! RDS的实例、数据库名、用户名和密码都不能为空!
"fieldNameBasedTupleToKafkaMapper" #定义数据流 streams: - name: "kafkaSpout --> splitBolt" #第一个数据流名称,只作为展示 from: "kafkaSpout" #数据流起点,值为spouts中定义的kafkaSpout
使用文档查看、导入、导出在Hue页面上操作的任务,例如保存的Workflow任务、定时任务、Bundle任务等。 使用表管理Hive、SparkSql中的元数据。需要MRS集群已安装Hive、Spark2x。 使用文件查看HDFS中的目录和文件。需要MRS集群已安装HDFS。 使用作业查看MRS集
COMPUTE STATISTICS 生成sizeInBytes和rowCount。 使用ANALYZE语句收集统计信息时,无法计算非HDFS数据源的表的文件大小。 生成表级别统计信息(不扫表): ANALYZE TABLE src COMPUTE STATISTICS NOSCAN
"fieldNameBasedTupleToKafkaMapper" #定义数据流 streams: - name: "kafkaSpout --> splitBolt" #第一个数据流名称,只作为展示 from: "kafkaSpout" #数据流起点,值为spouts中定义的kafkaSpout
GC_OPTS参数配置如下: 图1 查看NameNode的GC_OPTS参数配置 NameNode内存配置和数据量对应关系参考表1。 表1 NameNode内存配置和数据量对应关系 文件对象数量 参考值 10,000,000 “-Xms6G -Xmx6G -XX:NewSize=512M
在FusionInsight Manager主机管理界面查看。 执行以下命令,切换至omm用户并登录omm数据库。 su - omm gsql -U omm -W omm数据库密码 -p 20015 执行命令 select * from OM_CLUSTERS;,查看集群信息。
spark任务在连接hbase读写数据的时候,如果开启了kerberos认证,需要将客户端的配置文件“spark-defaults.conf”中的配置项spark.yarn.security.credentials.hbase.enabled置为true。所有连接hbase读写数据spark任务均需修改该配置。
); 描述 这条命令并不会将SCHEMA当前的内容移动到修改后的路径下,也不会修改与指定schema关联的表或分区,它只会修改新添加进数据库的表的上级目录。 示例 Create schema foo; --修改schema 存储路径 ALTER SCHEMA foo SET LOCATION
ResourceManager产生故障时,Standby ResourceManager会从Statestore目录获取Application相关信息,恢复数据。 ZooKeeper和HBase的关系 ZooKeeper与HBase的关系如图3所示。 图3 ZooKeeper和HBase的关系 R
保存”,单击“确定”。 出现此告警时,说明当前flume server设置的堆内存无法满足当前数据传输所需的堆内存,建议堆内存调整为: channel capacity * 最大单条数据大小*通道个数,但xmx参数值不能超过节点剩余内存。 重启受影响的服务或实例,观察界面告警是否清除。
阈值时拦截日志会在Yarn任务日志中打印,不支持在Beeline客户端输出。 熔断规则存在统计误差,例如规则running_0004,扫描数据量阈值配置10GB,但是因为判断周期和任务并发影响,可能在15GB甚至更高才进行熔断。 操作步骤 登录FusionInsight Manager,选择“集群
客户端安装目录 source bigdata_env 执行以下命令创建表。 impala-shell -d bigdata 执行以下命令查询表数据。 select strleft(worker,3) from eier; 父主题: 使用Hue
默认配置修改 默认会连接Spark的Executor所在节点本地的TSD进程,在MRS中一般使用默认配置即可,无需修改。 表1 OpenTSDB数据源相关配置 配置名 描述 样例值 spark.sql.datasource.opentsdb.host 连接的TSD进程地址 空(默认值)
的连接数状况。 观察当前告警用户的实时连接数情况,确认当前用户的实时监控数据是否存在。 是,执行4。 否,说明当前用户已经断开所有连接,则手动清除告警,操作结束。 当告警用户断开所有连接之后,该用户的监控数据会消失,此时无法自动清除告警,需要手动清除。 确认该告警的用户是否为业务侧允许的合法用户。
录FusionInsight Manager平台,无法进行正常运维操作。 cep进程持续重启,导致告警上报时间段监控数据采集异常,严重时可导致告警上报时间段监控数据丢失。 可能原因 cep进程异常。 处理步骤 检查cep进程是否异常。 打开FusionInsight Manage
录FusionInsight Manager平台,无法进行正常运维操作。 fms进程持续重启,导致告警上报时间段告警数据上报异常,严重时可导致告警上报时间段告警数据上报和恢复失败。 可能原因 fms进程异常。 处理步骤 检查fms进程是否异常。 打开FusionInsight M
免cookie中的敏感数据泄漏。 加固LDAP 在安装完集群后,针对LDAP做了如下功能增强: LDAP配置文件中管理员密码使用SHA加密,当升级openldap版本为2.4.39或更高时,主备LDAP节点服务自动采用SASL External机制进行数据同步,避免密码信息被非法获取。