检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何使用自定义安全组创建MRS集群? 问: 如何使用自定义安全组创建MRS集群? 答: 使用自定义安全组创建MRS集群有以下两种方式: 用户购买集群时,选择使用自己创建的安全组时,需要放开9022端口。 用户购买集群时,安全组选择“自动创建”。 父主题: 集群创建类
随着用户业务的增长,Core节点的扩容,CPU使用率变高,而Master节点规格已经不满足用户需求时,则需要升级Master节点规格。 MRS服务集群的Master节点规格升级时会自动触发关机操作,当升级完成后会自动触发开机操作,无需人工干预。 父主题: 节点管理类
MRS集群内节点的sudo log能否清理? 问: MRS集群内节点上的sudo log能否清理? 答: MRS集群内节点上的sudo log文件是omm用户的操作记录,以方便问题的定位,用户可以清理。 因为日志占用了一部分存储空间,建议管理员清除比较久远的操作日志释放资源空间。
DataArts Studio调度Spark作业偶现失败如何处理? 问题现象 DataArts Studio调度spark作业,偶现失败,重跑失败,作业报错: Caused by: org.apache.spark.SparkException: Application appl
MRS集群内节点互信异常如何处理? 当Manager报“ALM-12066 节点间互信失效”告警,或者发现节点间无ssh互信时,可参考如下步骤操作。 分别在互信集群的两端节点执行ssh-add -l 确认是否有identities信息。 如果没有identities信息,执行ps
Storm应用开发概述 Storm应用开发简介 Storm应用开发常用概念 Storm应用开发流程介绍 父主题: Storm开发指南
OpenTSDB应用开发概述 OpenTSDB应用开发简介 OpenTSDB应用开发常用概念 OpenTSDB应用开发流程介绍 父主题: OpenTSDB开发指南
Flink开启Checkpoint样例程序 Flink Job Pipeline样例程序 Flink Join样例程序 Flink对接云搜索服务(CSS)样例程序 父主题: Flink开发指南(普通模式)
使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入 现象描述 使用Storm-JDBC插件开发Oracle写入Bolt,发现能连上Oracle数据库,但是无法向Oracle数据库里面写数据。 可能原因 拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm
YARN接口介绍 YARN Command介绍 YARN Java API接口介绍 YARN REST API接口介绍 Superior Scheduler REST API接口介绍 父主题: YARN开发指南(普通模式)
原因分析 在出现告警时间点发现虚拟机发生了重启,告警发生的原因是因虚拟机重启导致的。 经OS定位虚拟机发生重启的原因是节点没有可用的内存,系统发生内存溢出触发了oom-killer,当进程处于被调用的状态会使进程处于disk sleep状态,最终导致虚拟机发生重启。 查看占用的内存进程,发现占用内存都是正常的业务进程。
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据,然后直接写到OBS,指定parquet格式时写入报错,不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3,用Hcatalog方式写入。
HetuEngine预留关键字 表1罗列了系统预留的关键字,以及它们在其他SQL标准中是否为预留关键字。如果需要使用这些关键字作为标识符,请加注双引号。 表1 关键字 Keyword SQL:2016 SQL-92 ALTER reserved reserved AND reserved
HetuEngine样例表数据准备 创建具有TINYINT类型数据的表: --创建具有TINYINT类型数据的表。 CREATE TABLE int_type_t1 (IT_COL1 TINYINT) ; --插入TINYINT类型数据 insert into
登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。 单击“LoaderServer(节点名称,主)”打开“Loader WebUI”界面。 图1 Loader WebUI界面
Loader输入类算子 CSV文件输入 固定宽度文件输入 表输入 HBase输入 HTML输入 Hive输入 Spark输入 父主题: Loader算子帮助
DELETE RECORDS from CARBON TABLE 命令功能 DELETE RECORDS命令从CarbonData表中删除记录。 命令格式 DELETE FROM CARBON_TABLE [WHERE expression]; 参数描述 表1 DELETE RECORDS参数
为什么INSERT INTO CARBON TABLE失败? 问题 为什么INSERT INTO CARBON TABLE命令无法在日志文件中记录以下信息? Data load failed due to bad record 回答 在以下场景中,INSERT INTO CARBON
Hive SQL扩展语法说明 Hive SQL支持Hive-3.1.0版本中的所有特性,详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。 MRS系统提供的扩展Hive语句如表1所示。 表1 扩展Hive语句
COMPACTION 命令功能 压缩( compaction)用于在MergeOnRead表将基于行的log日志文件转化为parquet列式数据文件,用于加快记录的查找。 命令格式 SCHEDULE COMPACTION on tableIdentifier |tablelocation;