检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
principal="flume_hbase@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 参数keyTab和principal根据实际情况修改。 问题:一旦提交配置文件后,flume agent即在占用资源运行,如何恢复到没有上传配置文件的状态?
如何获取Kafka Consumer Offset信息 问题背景与现象 使用Kafka Consumer消费数据时,如何获取Kafka Consumer Offset相关信息? Kafka API简单说明 新Producer API 指org.apache.kafka.clients
ZooKeeper客户端刷新TGT失败如何处理 问题 ZooKeeper客户端刷新TGT失败,无法连接ZooKeeper。报错内容如下: Login: Could not renew TGT due to problem running shell command: '***/kinit
录凭证和授权tokens,避免认证过期。 例如: spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名> --keytab ${BIGDATA_HOME}/FusionInsight_Spark2x_XXX/install/Fus
MRS集群外节点如何安装impala-shell客户端? 问题 MRS集群外节点,安装MRS Impala客户端,由于Python版本问题无法访问,应该如何安装? 回答 MRS集群外部的节点,推荐配置镜像源后,直接使用pip安装impala-shell客户端。 执行如下命令确认python版本是2还是3:
加载数据到Hive表中 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_da
集群管理类 如何查看所有MRS集群? 如何查看MRS服务的操作日志信息? 如何查看MRS集群配置信息? 如何在MRS集群中手动添加组件? 如何取消MRS集群风险告警的消息通知? 为什么MRS集群显示的资源池内存小于实际集群内存? MRS集群安装的Python版本是多少? 如何上传本地文件到集群内节点?
cn-north-4.myhuaweicloud.com/v3.0/OS-USER/users Content-Type: application/json X-Auth-Token: ABCDEFG.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud
本节介绍REST API请求的组成,并以调用IAM服务的管理员创建IAM用户说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
如何调用API 构造请求 认证鉴权 返回结果
败,2分钟后,被NodeAgent启动DataNode进程。 处理步骤 打开操作系统审计日志,给审计日志增加记录kill命令的规则,即可定位是何进程发送的命令。 操作影响 打印审计日志,会消耗一定操作系统性能,经过分析仅影响不到1%。 打印审计日志,会占用一定磁盘空间。该日志打印
针对上述风险,MRS服务提供了基于弹性负载均衡ELB的部署架构图1。基于ELB的部署架构,可以将用户访问流量自动均匀分发到多台后端节点,扩展系统对外的服务能力,实现更高水平的应用容错。当其中一台ClickHouse后端节点发生故障时,ELB通过故障转移方式正常对外提供服务。 图1
当不同的两个Manager系统下安全模式的集群需要互相访问对方的资源时,系统管理员可以设置互信的系统,使外部系统的用户可以在本系统中使用。 如果未配置跨集群互信,每个集群资源仅能被本集群用户访问。每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名。跨M
如何在不同的namespaces上逻辑地分割数据 问题 如何在不同的namespaces上逻辑地分割数据? 回答 配置: 要在不同namespaces之间逻辑地分割数据,必须更新HDFS,Hive和Spark的“core-site.xml”文件中的以下配置。 改变Hive组件将改
[compression]) path:访问域名/OBS文件路径,登录OBS管理控制台,在左侧导航栏单击“并行文件系统”,在“并行文件系统”页面单击对应的文件系统名称,在“文件”页面单击文件名称,文件“链接”即path路径,如图1所示。 图1 文件路径 ak:参数可选,具备访问OBS权限的ak。
集数据,采集完数据后数据如何流向下一层组件,使用什么组件存储数据,数据处理过程中的工作流等。 业务作业类型Hive SQL、Spark SQL、Spark Python等,是否需要使用MRS的第三方包,参考MRS应用开发样例。 调度系统,需要考虑调度系统对接MRS集群。 迁移后,
用户可将自己开发的程序提交到MRS中,执行程序并获取结果,本章节指导您如何在MRS集群中提交一个HadoopStream作业。 前提条件 用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据,需要先配置MRS集群的存算分离,请参考配置MRS集群存算分离。
该章节主要介绍如何配置和使用Doris冷热分离功能。 前提条件 Doris集群与OBS网络互通,相关操作具体请参考初始化配置。 创建OBS并行文件系统并获取AK/SK和DomainID 创建OBS并行文件系统。 登录OBS管理控制台。 选择“并行文件系统 > 创建并行文件系统”。 填写
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.
加载Impala数据 功能简介 本小节介绍了如何使用Impala SQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/impala_examples_data/目录下将employee_info.