检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何查询MRS节点的启动时间? 登录当前节点,执行如下命令查询节点启动时间: date -d "$(awk -F. '{print $1}' /proc/uptime) second ago" +"%Y-%m-%d %H:%M:%S" 父主题: 节点管理类
MRS集群如何使用公网访问Presto 用户问题 用户调测Presto JDBC样例代码,需要使用公网访问Presto。 问题分析 登录MRS Manager上查看Presto全部配置,Coordinator角色配置: PRESTO_COORDINATOR_FLOAT_IP = 内网IP地址
证和授权tokens,避免认证过期。 例如: spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab ${BIGDATA_HOME}/FusionInsight_Spark2x_XXX/install/FusionInsight-Spark2x-2
成对应服务的业务中断。 配置跨集群互信后,互信的集群中均会增加Kerberos内部用户“krbtgt/本集群域名@外部集群域名”、“krbtgt/外部集群域名@本集群域名”,用户不能删除。 针对MRS 2.x及之前版本,密码默认为“Crossrealm@123”。 MRS 3.x
集群内用户密码的过期时间如何查询和修改? 查询密码有效期 查询组件运行用户(人机用户、机机用户)密码有效期: 以客户端安装用户,登录安装了客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client
快速使用HetuEngine访问Hive数据源 本章节指导用户从零开始使用HetuEngine对接Hive数据源,并通过HetuEngine查询本集群Hive数据源的数据库表。 前提条件 集群已安装HetuEngine、Hive服务及其所依赖的服务(DBService、KrbSer
endpoint-name.access_key_id OBS ak,获取方法请参考如何获取访问密钥AK/SK s3.endpoint-name.secret_access_key OBS sk,获取方法请参考如何获取访问密钥AK/SK 对于OBS直接分享出来的URL,一般是带HTTPS的
=120s HetuEngine支持查询下推(pushdown),它能把查询,或者部分查询,下推到连接的数据源。这意味着特殊的谓词,聚合函数或者其他一些操作,可以被传递到底层数据库或者文件系统进行处理。查询下推能带来以下好处: 提升整体的查询性能。 减少HetuEngine和数据源之间的网络流量。
endpoint-name.access_key_id OBS ak,获取方法请参考如何获取访问密钥AK/SK s3.endpoint-name.secret_access_key OBS sk,获取方法请参考如何获取访问密钥AK/SK 对于OBS直接分享出来的URL,一般是带HTTPS的
如何查看Kudu日志? 登录集群的Master节点。 执行su - omm命令,切换到omm用户。 执行cd /var/log/Bigdata/kudu/命令,进入到“/var/log/Bigdata/kudu/”目录,即可查看Kudu日志信息。 父主题: 组件配置类
如何查看所有集群? MRS所有的集群都展示在MRS管理控制台的“MRS集群”页面中,进入“MRS集群”页面,可查看所有集群。集群数量较多时,可采用翻页显示,您可以查看任何状态下的集群。 现有集群:包括除了“失败”和“已删除”状态以外的所有集群。 历史集群:仅包含“已删除”状态的集
如何查看HBase日志? 使用root用户登录集群的Master节点。 执行su - omm命令,切换到omm用户。 执行cd /var/log/Bigdata/hbase/命令,进入到“/var/log/Bigdata/hbase/”目录,即可查看HBase日志信息。 父主题:
识别平台数据接入源、大数据平台数据流入方式(实时数据上报、批量数据抽取)、分析平台数据流向。 数据在平台内各个组件间的流向,比如使用什么组件采集数据,采集完数据后数据如何流向下一层组件,使用什么组件存储数据,数据处理过程中的工作流等。 业务作业类型Hive SQL、Spark SQL、Spark Pytho
v3.0/OS-USER/users”。 query-string:查询参数,是可选部分,并不是每个API都有查询参数。查询参数前面需要带一个“?”,形式为“参数名=参数取值”,例如“limit=10”,表示查询不超过10条数据。 例如您需要创建IAM用户,由于IAM为全局服务,
--user {presto用户名} 登录Presto后执行show catalogs命令,确认可以查询Presto的数据源列表。 执行show schemas from mysql命令即可查询MySQL数据库。 MRS 2.x版本。 创建“mysql.properties”配置文件,内容如下:
ClickHouse客户端执行SQL查询时报内存不足如何处理? 问题现象 ClickHouse会限制group by使用的内存量,在使用ClickHouse客户端执行SQL查询时报如下错误: Progress: 1.83 billion rows, 85.31 GB (68.80
Presto Presto是一个开源的用户交互式分析查询的SQL查询引擎,用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统(HDF
如何让不同的业务程序分别用不同的Yarn队列? 问: 如何让不同的业务程序分别用不同的Yarn队列? 答: 在Manager页面上创建一个新的租户,然后将不同的集群业务用户绑定至不同的租户。 操作步骤 登录FusionInsight Manager,单击“租户资源”。 在左侧租户
查询Impala数据 功能简介 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Impala自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见开发Impala用户自定义函数。
查询Hive数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见开发Hive用户自定义函数。