检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户端查询HBase出现SocketTimeoutException异常 问题 使用HBase客户端操作表数据的时候客户端出现类似如下异常: 2015-12-15 02:41:14,054 | WARN | [task-result-getter-2] | Lost task 2
使用Kafka Token认证 操作场景 Token认证机制是一种轻量级身份认证机制,无需访问Kerberos认证,可在API中使用。 代码样例 Token认证机制支持API,用户可在二次开发样例的Producer()和Consumer()中对其进行配置。 Producer()配置的样例代码如下:
使用Jupyter Notebook对接MRS Spark 应用场景 在MRS服务中可以配合Jupyter Notebook使用PySpark,能够提高机器学习、数据探索和ETL应用开发效率。 本实践指导用户如何在MRS集群中配置Jupyter Notebook来使用Pyspark。
ALM-12186 用户CGroup任务数使用率超过阈值 告警解释 系统每5分钟周期性检测omm用户CGroup任务数使用情况,当CGroup任务使用率超过90%时产生该告警,当使用率小于或等于90%时,告警恢复。 CGroup任务使用率 = CGroup任务使用数 / 最大CGroup任务数。
ALM-45587 IoTDBServer垃圾回收(GC)时间超过阈值 告警解释 系统每60秒周期性检测IoTDBServer进程的垃圾回收(GC)时间,当检测到IoTDBServer进程的垃圾回收(GC)连续3次超过阈值(默认12秒)时产生该告警。用户可通过“运维 > 告警 >
快速使用Hive进行数据分析 Hive是基于Hadoop的一个数据仓库工具,可将结构化的数据文件映射成一张数据库表,并提供类SQL的功能对数据进行分析处理,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,适合用于数据仓库的统计分析。 背景信息
ALM-24012 Flume证书文件已过期 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时,检查当前系统中的证书文件是否已过期。如果服务端证书已过期,产生该告警。服务的证书文件恢复到有效期内,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 24012
ALM-23001 Loader服务不可用(2.x及以前版本) 告警解释 系统每60秒周期性检测Loader服务的可用性。当Loader服务不可用时产生该告警。当Loader服务恢复时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 23001 致命 是 告警参数 参数名称
CDL日志介绍 日志描述 日志路径:CDL默认的日志存储路径为“/var/log/Bigdata/cdl/角色名简写”。 CDLService:“/var/log/Bigdata/cdl/service”(运行日志),“/var/log/Bigdata/audit/cdl/service”(审计日志)。
ALM-24010 Flume证书文件非法或已损坏 本章节适用于MRS 3.2.0及以后版本。 告警解释 Flume每隔一个小时,检查当前Flume证书文件是否合法(证书是否存在,证书格式是否正确),如果证书文件非法或已损坏,产生该告警。证书文件恢复合法时,告警恢复。 告警属性 告警ID
批量加载HBase数据并生成本地二级索引 场景介绍 HBase本身提供了ImportTsv&LoadIncremental工具来批量加载用户数据。当前提供了HIndexImportTsv来支持加载用户数据的同时可以完成对索引数据的批量加载。HIndexImportTsv继承了HB
ALM-50223 BE所需最大内存大于机器剩余可用内存 告警解释 系统每30秒周期性检查BE所需最大内存是否大于机器剩余可用内存,当检查到该值不等于1(1表示小于等于,0表示大于)时产生该告警。 BE所需最大内存小于等于机器剩余可用内存时,告警清除。 告警属性 告警ID 告警级别
批量加载HBase数据并生成本地二级索引 场景介绍 HBase本身提供了ImportTsv&LoadIncremental工具来批量加载用户数据。当前提供了HIndexImportTsv来支持加载用户数据的同时可以完成对索引数据的批量加载。HIndexImportTsv继承了HB
正则表达式函数 概述 所有的正则表达式函数都使用Java样式的语法。但以下情况除外: 使用多行模式(通过(?m)标志启用)时,只有\ n被识别为行终止符。 此外,不支持(?d)标志,因此不能使用。 大小写区分模式(通过(?i)标志启用)时,总是以unicode的模式去实现。同时,
Storm业务拓扑配置GC参数不生效 问题背景与现象 业务拓扑代码中配置参数topology.worker.childopts不生效,关键日志如下: [main] INFO b.s.StormSubmitter - Uploading topology jar /opt/jar/example
调整Yarn任务抢占机制 操作场景 Capacity调度器抢占原理: 抢占任务可精简队列中的job运行并提高资源利用率,由ResourceManager的capacity scheduler实现,其简易流程如下: 假设存在两个队列A和B。其中队列A的capacity为25%,队列B的capacity为75%。
使用Broker Load方式导入数据至Doris Broker Load是一个异步的导入方式,支持的数据源取决于Broker进程支持的数据源。 Doris表中的数据是有序的,Broker Load在导入数据时要利用Doris集群资源对数据进行排序,相对于Spark Load来完
ALM-18022 Yarn队列资源不足 告警解释 MRS 3.3.1之前版本:告警模块按60秒周期检测Yarn队列资源,当队列可用资源或队列AM(ApplicationMaster)可用资源不足时,产生该告警。 当可用资源充足时,该告警自动消除。 MRS 3.3.1及之后版本:告警模块按周期(“alarm
ALM-12104 knox资源异常 ALM-12110 获取ECS临时ak/sk失败 ALM-12172 指标上报CES失败 ALM-12180 磁盘卡IO ALM-12186 用户CGroup任务数使用率超过阈值 ALM-12187 磁盘分区扩容失败 ALM-12188 diskmgt磁盘监控服务不可用
使用Spark BulkLoad工具同步数据到HBase表中 Spark BulkLoad工具支持快速同步Hive或Spark表数据到HBase表中,支持全量或增量导入ORC/PAQUET等格式的表数据。 使用Spark BulkLoad同步数据类型数据到HBase表中时,存在以下限制: