检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
由于kafka配置的限制,导致Spark Streaming应用运行失败 问题 使用运行的Spark Streaming任务回写kafka时,kafka上接收不到回写的数据,且kafka日志报错信息如下: 2016-03-02 17:46:19,017 | INFO | [kaf
生成HA证书时报错“symbol xxx not defined in file libcrypto.so.1.1” 用户问题 更换HA证书时,执行sh ${OMS_RUN_PATH}/workspace/ha/module/hacom/script/gen-cert.sh --root-ca
导入并配置Kafka样例工程 背景信息 获取Kafka开发样例工程,将工程导入到IntelliJ IDEA开始样例学习及应用程序开发。 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。
配置流式读取Spark Driver执行结果 配置场景 在执行查询语句时,返回结果有可能会很大(10万数量以上),此时很容易导致JDBCServer OOM(Out of Memory)。因此,提供数据汇聚功能特性,在基本不牺牲性能的情况下尽力避免OOM。 配置描述 提供两种不同
导入并配置Hive HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的HCatalog接口样例代码,需要完成下面的操作。 以在Windows环境下开发HCatalog方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压
导入并配置Kafka样例工程 背景信息 获取Kafka开发样例工程,将工程导入到IntelliJ IDEA开始样例学习及应用程序开发。 前提条件 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。
补丁安装后操作 升级客户端 如果有使用自主安装的客户端(集群内、外新下载客户端),需要执行客户端升级操作。 登录集群主节点并执行以下命令: cd /opt/Bigdata/patches/{MRS补丁版本号}/download/ 将补丁安装包拷贝到客户端机器/opt/目录下: scp
Flume > Flume管理”查看对应节点上客户端的名称。 若产生以下错误提示,可执行命令export JAVA_HOME=JDK路径进行处理。可使用echo $JAVA_HOME查找JDK路径。 JAVA_HOME is null in current user,please install
大任务下MapReduce任务运行失败,请参考MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常进行处理。 BulkLoad支持的数据源格式为带分隔符的文本文件。 已安装客户端。例如安装目录为“/opt/hadoopclient”,以下操作的
导入并配置Storm样例工程 背景信息 Storm客户端安装程序目录中包含了Storm开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight
配置流式读取Spark Driver执行结果 配置场景 在执行查询语句时,返回结果有可能会很大(10万数量以上),此时很容易导致JDBCServer OOM(Out of Memory)。因此,提供数据汇聚功能特性,在基本不牺牲性能的情况下尽力避免OOM。 配置描述 提供两种不同
使用永洪BI访问MRS HetuEngine 应用场景 永洪BI是一款一站式大数据BI平台,全面覆盖数据分析过程中的各个环节,轻松完成全流程数据分析任务,包括数据采集、清洗、整合、存储、计算、建模、训练、展现、协作等,极大降低了实施、集成、培训的成本。 本章节以Yonghong Desktop
导入并配置Hive JDBC/HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的JDBC/HCatalog接口样例代码,需要完成下面的操作。 以在Windows环境下开发JDBC/HCatalog方式连接Hive服务的应用程序为例。 HCatalog样例仅支持在Linux节点上运行。
导入并配置HBase样例工程 背景信息 获取HBase开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。
导入并配置Hive JDBC样例工程 操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\h
为什么给HBase使用的HDFS目录设置quota会造成HBase故障 问题 为什么给HDFS上的HBase使用的目录设置quota会造成HBase故障? 回答 表的flush操作是在HDFS中写MemStore数据。 如果HDFS目录没有足够的磁盘空间quota,flush操作会失败,这样region
为什么给HBase使用的HDFS目录设置quota会造成HBase故障 问题 为什么给HDFS上的HBase使用的目录设置quota会造成HBase故障? 回答 表的flush操作是在HDFS中写memstore数据。 如果HDFS目录没有足够的磁盘空间quota,flush操作会失败,这样region
导入并配置Hive JDBC/HCatalog样例工程 操作场景 为了运行MRS产品Hive组件的JDBC接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发JDBC/HCatalog方式连接Hive服务的应用程序为例。 HCatalog样例仅支持在Linux节点上运行。
作业无法提交如何定位? 问题背景与现象 通过DataArts Studio或者在MRS管理控制台无法提交作业。 问题影响 作业无法提交,业务中断。 处理步骤 确认异常来源。 查看作业日志中收到的错误码,确认错误码是属于APIG还是MRS。 若是公共APIG的错误码(APIG的错误
UPDATE CARBON TABLE 命令功能 UPDATE命令根据列表达式和可选的过滤条件更新CarbonData表。 命令格式 格式1: UPDATE <CARBON TABLE> SET (column_name1, column_name2, ... column_name