检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ClickHouseBalancer服务运行错误日志文件路径。 /var/log/Bigdata/clickhouse/balance/access_http.log ClickHouseBalancer服务运行日志文件路径。 数据迁移日志 /var/log/Bigdata/clickhous
多 > 重启实例”重启FE实例,其他实例依旧停止状态不做操作。 观察FE启动后状态,启动成功后,在浏览器中连接此FE,例如,访问地址为“http://192.168.67.27:29980”。 登录FE WebUI界面后,单击“Playground”,选择“default_clu
户端操作请求、管理连接器和元数据、提交MapReduce作业和监控MapReduce作业状态等。 REST API 实现RESTful(HTTP + JSON)接口,处理来自客户端的操作请求。 Job Scheduler 简单的作业调度模块,支持周期性的执行Loader作业。 Transform
指定一个Loader连接的名称。 连接器 选择“ftp-connector”。 FTP模式 选择“ACTIVE”或者“PASSIVE”。 FTP协议 选择: FTP SSL_EXPLICIT SSL_IMPLICIT TLS_EXPLICIT TLS_IMPLICIT 文件名编码类型 文件名或者文件路径名的编码类型。
指定一个Loader连接的名称。 连接器 选择“ftp-connector”。 FTP模式 选择“ACTIVE”或者“PASSIVE”。 FTP协议 选择: FTP SSL_EXPLICIT SSL_IMPLICIT TLS_EXPLICIT TLS_IMPLICIT 文件名编码类型 文件名或者文件路径名的编码类型。
现 Channel支持事务特性,可保证简易的顺序操作,同时可以配合任意数量的Source和Sink共同工作。 Sink Sink负责将数据传输到下一跳或最终目的,成功完成后将数据从Channel移除。 典型的Sink样例如下: 存储数据到最终目的终端Sink,比如:HDFS、Kafka
现 Channel支持事务特性,可保证简易的顺序操作,同时可以配合任意数量的Source和Sink共同工作。 Sink Sink负责将数据传输到下一跳或最终目的,成功完成后将数据从Channel移除。 典型的Sink样例如下: 存储数据到最终目的终端Sink,比如:HDFS、Kafka
ALM-12049 网络读吞吐率超过阈值 ALM-12050 网络写吞吐率超过阈值 ALM-12051 磁盘Inode使用率超过阈值 ALM-12052 TCP临时端口使用率超过阈值 ALM-12053 主机文件句柄使用率超过阈值 ALM-12054 证书文件失效 ALM-12055 证书文件即将过期
出现认证失败的原因很多,在不同场景中建议参考以下步骤来排查: 确认本应用所运行设备和集群网络上是否通畅,Kerberos认证所需的各类端口(TCP/UDP)是否可正常访问。 确认各个配置文件是否被正确读取到,路径是否保存正确。 确认用户名和keytab文件是按操作指导得到的。 确认各
Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载 支持与MapReduce,Spark和其他Hadoop生态系统组件集成
Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> 2020-04-29 20:09:28,543 | INFO | http-bio-21401-exec-56 | Request comes from API call, skip cas filter. |
port配置),可以通过Beeline或者JDBC客户端代码来连接它,从而执行SQL命令。 如果您需要了解JDBCServer的其他信息,请参见Spark官网:http://archive.apache.org/dist/spark/docs/3.3.1/sql-programming-guide.ht
当TaskManager失败后,重新向Yarn申请容器,创建TaskManager。 Yarn模式的HA方案的更多信息,可参考链接: http://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA
Kudu应用开发简介 Kudu简介 Kudu是专为Apache Hadoop平台开发的列式存储管理器,具有Hadoop生态系统应用程序的共同技术特性:在通用的商用硬件上运行,可水平扩展,提供高可用性。 Kudu的设计具有以下优点: 能够快速处理OLAP工作负载。 支持与MapRe
升级Master节点规格 MRS大数据集群采用Manager实现集群的管理,而管理集群的相关服务,如HDFS存储系统的NameNode,Yarn资源管理的ResourceManager,以及MRS的Manager管理服务都部署在集群的Master节点上。 随着新业务的上线,集群规
producer.properties文件配置项 参数 描述 备注 security.protocol 安全协议类型 生产者使用的安全协议类型,当前Kerberos开启的模式下仅支持SASL协议,需要配置为SASL_PLAINTEXT。Kerberos未开启的模式下配置为PLAINTEXT。
境:数据源种类繁多,数据集结构化混合,相关数据存放分散等,这就导致了跨源复杂查询因传输效率低,耗时长。 当前开源Spark在跨源查询时,只能对简单的filter进行下推,因此造成大量不必要的数据传输,影响SQL引擎性能。针对下推能力进行增强,当前对aggregate、复杂proj
resourcemanager.scheduler.capacity.CapacityScheduler yarn.http.rmwebapp.external.classes 空 hadoop.http.rmwebapp.scheduler.page.classes 空 yarn.resourcemanager
境:数据源种类繁多,数据集结构化混合,相关数据存放分散等,这就导致了跨源复杂查询因传输效率低,耗时长。 当前开源Spark在跨源查询时,只能对简单的filter进行下推,因此造成大量不必要的数据传输,影响SQL引擎性能。针对下推能力进行增强,当前对aggregate、复杂proj
使用TaildirSource读取文件在节点inode重复场景下会造成少读文件或者读取文件不全。 Flume使用httpsource时,由于jetty-http-9.4.46.v20220331.jar包冲突导致报错。 解决Kafka问题: 故障场景下,KafkaUI没有释放ZooKeeper链接。