检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
” HBase启动后原生页面显示RegionServer个数多于实际个数 RegionServer实例异常,处于Restoring状态 新安装的集群HBase启动失败 acl表目录丢失导致HBase启动失败 集群上下电之后HBase启动失败 文件块过大导致HBase数据导入失败
前提条件 MRS 3.1.0及之后版本在创建集群时已勾选Sqoop组件。 安装客户端,具体请参考安装客户端(3.x及之后版本)。例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 客户端目录/Sqoop/sqoop/lib下已有对应驱动包
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
chmod +x python3-examples -R。 在python3-examples/pyCLI_sec.py中的host的值修改为安装HiveServer的节点的业务平面IP,port的值修改为Hive提供Thrift服务的端口(hive.server2.thrift.port),默认值为“10000”。
权限修改成功后会重启LdapServer服务,请等待LdapServer服务重启成功后,重新登录MRS Manager。 建议与总结 自行安装的软件建议和系统的分开,系统软件升级可能造成兼容性问题。 父主题: 登录集群Manager常见异常问题
查看Spark应用调测结果 操作场景 Spark应用程序运行完成后,您可以查看运行结果数据,也可以通过Spark WebUI查看应用程序运行情况。 操作步骤 查看Spark应用运行结果数据。 结果数据存储路径和格式已经与Spark应用程序指定,您可以通过指定文件中获取到运行结果数据。
删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode(例如删除100万个文件),NameNode启动慢。 回答 由于在删除了大量文件之后,DataNode需要时间去删除对应的Block。当立刻重启NameNode时,NameNode会去检查所有
删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode(例如删除100万个文件),NameNode启动慢。 回答 由于在删除了大量文件之后,DataNode需要时间去删除对应的Block。当立刻重启NameNode时,NameNode会去检查所有
WebUI页面全量日志时需要展示的日志过大,导致报500内部错误。此时需要把作业生成的聚合日志调小,使其分段生成即可。 处理步骤 以root用户登录安装了Spark2x/Spark客户端的节点。 执行以下命令编辑文件。 vim $SPARK_HOME/conf/log4j-executor
登录FusionInsight Manager界面,查看右上角任务。 查看当前集群是否存在正在运行的任务。 是,等待任务运行结束。 否,检查结束。 检查集群是否安装了Doris组件,且是否创建了UDF函数 咨询用户或者检查Doris是否有使用自定义函数功能。 连接Doris,执行以下命令查询是否有自定义函数:
Hive应用开发简介 Hive介绍 Hive是一个开源的,建立在Hadoop上的数据仓库框架,提供类似SQL的HQL语言操作结构化数据,其基本原理是将HQL语言自动转换成MapReduce任务或Spark任务,从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下:
String 参数解释: 真实作业编号。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 properties String 参数解释: 配置参数,用于传-d参数。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 app_id String 参数解释: 实际作业编号。
启动HDFS和Yarn服务报错“Permission denied” 用户问题 启动HDFS和Yarn时报错。 问题现象 无法启动HDFS、Yarn服务组件,报错内容:/dev/null Permission denied。 原因分析 用户修改了虚机系统的“/dev/null”的权限值为775。
chmod +x python-examples -R 在python-examples/pyCLI_nosec.py中的hosts数组中填写安装HiveServer的节点的业务平面IP。 执行以下命令运行Python客户端: cd python-examples python pyCLI_nosec
Geospatial函数 以ST_前缀开头的HetuEngine Geospatial功能支持SQL、MM规范,并符合Open Geospatial Consortium(OGC)的OpenGIS规范。因此,许多HetuEngine Geospatial功能要求或更准确地说是假设
provided 可能原因 客户端用户没有进行安全认证 kerberos认证超期 解决方案 登录Hive客户端所在节点。 执行source 集群客户端安装目录/bigdata_env命令。 可通过klist命令查看本地是否有有效票据,如下信息表明票据在16年12月24日14:11:42生效,