检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群是否支持Hive on Spark? 问: MRS集群是否支持Hive on Spark? 答: MRS 1.9.x版本集群支持Hive on Spark。 MRS 3.x及之后版本的集群支持Hive on Spark。 其他版本可使用Hive on Tez替代。 父主题:
OpenTSDB是否支持Python的接口? 问:OpenTSDB是否支持Python的接口? 答:OpenTSDB基于HTTP提供了访问其的RESTful接口,而RESTful接口本身具有语言无关性的特点,凡是支持HTTP请求的语言都可以对接OpenTSDB,所以OpenTSDB支持Python的接口。
HDFS目录配额不足导致写文件失败 问题背景与现象 给某目录设置quota后,往目录中写文件失败,出现如下问题“The DiskSpace quota of /tmp/tquota2 is exceeded”。 [omm@189-39-150-115 client]$ hdfs dfs
acl表目录丢失导致HBase启动失败 问题背景与现象 集群HBase启动失败 原因分析 查看HBase的HMaster日志,报如下错误: 检查HDFS上HBase的路径发现acl表路径丢失。 解决办法 停止HBase组件。 在HBase客户端使用hbase用户登录认证,执行如下命令。
及为其添加默认Policy。如果用户在使用过程中误删了Service,可以重启或者滚动重启相应组件服务来恢复,如果是误删了默认Policy,可先手动删除Service,再重启组件服务。 图1 Ranger与组件的关系 父主题: Ranger
Kudu支持的压缩算法有哪些? 问:Kudu支持的压缩算法有哪些? 答:Kudu目前支持的压缩算法有snappy、lz4和zlib,默认是lz4。 父主题: 组件配置类
zstd的压缩比有什么优势? 问: zstd的压缩比有什么优势? 答: zstd的压缩比orc好一倍,是开源的。 具体请参见https://github.com/L-Angel/compress-demo。 CarbonData不支持lzo,MRS里面有集成zstd。 父主题: 产品咨询类
提交Spark任务时提示参数格式错误 问题现象 用户在使用Spark组件时,提交集群任务运行失败,提示参数格式错误。 原因分析 执行的命令包含了非法字符。 上传的jar包属主属组异常。 处理步骤 检查用户执行命令./bin/spark-submit --class cn.interf
gcInterval=0x7FFFFFFFFFFFFFE。 解决办法 针对memstore、cache修改配置参数后,重启HBase服务成功。 针对GC_OPTS配置错误,修改参数后重启HBase服务成功。 父主题: 使用HBase
残留进程导致Regionsever启动失败 问题现象 HBase服务启动失败,健康检查报错。 原因分析 查看启动HBase服务时manager页面的详细打印信息,提示the previous process is not quit。 解决办法 登录节点,后台通过执行ps -ef |
HDFS上设置配额导致HBase启动失败 问题现象 HBase启动失败。 原因分析 查看HMaster日志信息(“/var/log/Bigdata/hbase/hm/hbase-omm-xxx.log”),出现如下异常,The DiskSpace quota of /hbase is
-fixVersionFile命令修复文件。 如1不能解决,从同版本的其他集群中获取hbase.version文件上传进行替换。 重新启动HBase服务。 父主题: 使用HBase
childopts,则该参数会与服务端参数worker.gc.childopts共同配置,但是后面的相同参数会将前面的覆盖掉,如上面图有两个-Xmx,-Xmx1G会覆盖掉-Xmx4096m。 如果配置了topology.worker.gc.childopts则服务端参数worker.gc
提交Hive任务时如何指定队列? 问题现象 怎样在Hive提交任务的时候指定队列? 处理步骤 在执行语句前通过如下参数设置任务队列,例如,提交任务至队列QueueA。 set mapred.job.queue.name=QueueA; select count(*) from rc;
查看MRS集群详情失败 问题现象 在MRS管理控制台,单击集群名称,进入MRS集群详情页面失败。 原因分析 用户MRS集群选的是企业项目A(包含MRS FULLACCESS和ECS FULLACCESS权限)。 VPC选的是企业项目B。 安全组选的是企业项目A。 IAM这边加入的组没有任何权限设置。
ClickHouse数据入库规范 规则 写本地表,查询分布式表,提升写入和查询性能,保证写入和查询的数据一致性。 只有在去重诉求的场景下,可以使用分布式表插入,通过sharding key将要去重的数据转发到同一个shard,便于后续去重查询。 外部模块保证数据导入的幂等性。 C
在本地Windows环境中调测Oozie应用 操作场景 在使用Java接口完成开发程序代码后,您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows本地运行程序,需要配置HTTPS SSL证书。 登录集群任意节点,进入如下目录下载ca
delimiter, long maxRetry) 获取用户定义的Socket数据,作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter指的是消息之间的分隔符。 maxRetry指的是由于连接异常可以触发的最大重试次数。 public
2及之后版本默认端口为9111。详见MRS Manager管理界面“服务管理 > Hive > 服务配置”中“templeton.port”配置。 示例中的协议类型在普通集群中为“http”,安全集群为“https”。详见MRS Manager管理界面“服务管理 > Hive > 服务配置”中“templeton.protocol
clickhouse-examples 指导用户基于Java语言,实现MRS集群中的ClickHouse的数据表创建、删除以及数据的插入、查询等操作。 本工程中包含了建立服务端连接、创建数据库、创建数据表、插入数据、查询数据及删除数据表等操作示例。 父主题: ClickHouse应用开发简介