检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
columnTypeList 以逗号分隔的带数据类型的列表。列名由字母、数字和下划线(_)组成。 using 参数hudi,定义和创建Hudi table。 table_comment 表的描述信息。 location_path HDFS路径,指定该路径Hudi表会创建为外表。
其中ZooKeeper存储HBase的如下信息:HBase元数据、HMaster地址。 HMaster通过ZooKeeper随时感知各个RegionServer的健康状况,以便进行控制管理。
出现此告警时,说明当前flume server设置的堆内存无法满足当前数据传输所需的堆内存,建议堆内存调整为: channel capacity * 最大单条数据大小*通道个数,但xmx参数值不能超过节点剩余内存。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。
管理面检查大数据集群的告警信息,如果大数据集群的告警信息影响到服务的使用,其告警级别达到致命时,则发送信息通知给对应租户。 在用户集群的ECS机器被删除、关机、修改规格、重启、更新OS的行为,会导致大数据集群异常,当检测到用户的虚拟机出现以上状态的时候,发送通知给对应用户。
表1 OpenTSDB数据源相关配置 配置名 描述 样例值 spark.sql.datasource.opentsdb.host 连接的TSD进程地址 空(默认值) xx.xx.xx.xx,多个地址间用英文逗号间隔。
impala-shell -d bigdata 执行以下命令查询表数据。 select strleft(worker,3) from eier; 父主题: 使用Hue
删除服务前,请先备份该服务的数据,避免数据丢失。 父主题: 管理MRS集群组件
pms进程持续重启,导致告警上报时间段监控数据采集异常,严重时可导致告警上报时间段监控数据丢失。 可能原因 pms进程异常。 处理步骤 检查pms进程是否异常。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称。
修改ZooKeeper的数据盘和日志盘默认配置,改为不同磁盘。 完成后同步修改ClickHouse服务的ZooKeeper相关配置。
Presto应用开发环境简介 根据场景开发工程 提供了Java语言的样例工程和数据查询的样例工程。 Presto样例程序开发思路 运行程序及查看结果 指导用户将开发好的程序编译提交运行并查看结果。 JDBC客户端运行及结果查看 父主题: Presto应用开发概述
header", "true").option("treatEmptyValuesAsNulls", "true").option("nullValue", "").save("/tmp/outputDir") 回答 Spark2x中对join语句重名字段做了判断,需要修改代码保证保存的数据中无重复字段
多副本场景下,运行在副本丢失损坏的BE节点的查询任务报错 现象描述 如果多个副本直接从磁盘上丢失了副本,比如mv改名,内核不会感知到该副本丢失,执行查询时如果请求运行在副本丢失的BE节点,报错: 处理步骤 登录安装了MySQL的节点,连接Doris数据库。
如果集群有混合负载(要求极致性能的点查/范围查询和有大数据量聚合及join查询),建议将不同类型的负载拆分到不同集群;对于集群规划有远远超过100个并发业务系统,也需要设计将业务分摊到不同的集群。 父主题: ClickHouse集群规划
cep进程持续重启,导致告警上报时间段监控数据采集异常,严重时可导致告警上报时间段监控数据丢失。 可能原因 cep进程异常。 处理步骤 检查cep进程是否异常。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称。
fms进程持续重启,导致告警上报时间段告警数据上报异常,严重时可导致告警上报时间段告警数据上报和恢复失败。 可能原因 fms进程异常。 处理步骤 检查fms进程是否异常。
dbName: String) : util.List[LoadMetadataDetails]; 例子: CarbonSegmentUtil.identifySegmentsToBeMerged(sparkSession, "table_test","default") 传入数据库名
在服务列表中选择“大数据 > MapReduce服务”,进入“服务授权”页面。 图1 服务授权 单击“变更权限委托”,在右侧单击,启用委托或权限策略。 委托和策略选择完成后,单击“授权”,完成服务授权。
参数 说明 默认值 取值范围 spark.sql.sources.partitionOverwriteMode 当前执行insert overwrite 命令插入数据到分区表时,支持两种模式:STATIC模式和DYNAMIC模式。
用户可以根据实际情况按照慢查询运行时长、查询id、用户、所属数据库进行查询。 用户可以通过“停止”操作手动停止正在进行查询的任务。 父主题: 使用Impala
Maximum: 100 处理步骤 登录ClickHouse客户端节点,连接报错的服务端,具体请参考ClickHouse客户端使用实践。