检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装集群过程中Ranger启动失败 问题 MRS集群创建过程中,Ranger启动失败,Manager进程任务列表里打印“ERROR:cannot drop sequence X_POLICY_REF_ACCESS_TYPE_SEQ”等关于数据库信息。 回答 该现象可能出现在安装两个RangerAmdin实例的场景下。
安装集群过程中Ranger启动失败 问题 安装集群过程中,Ranger启动失败,Manager进程任务列表里打印“ERROR:cannot drop sequence X_POLICY_REF_ACCESS_TYPE_SEQ”等关于数据库信息,如何解决并正常安装Ranger? 回答
ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。 本章节操作仅支持MRS 3.1.0及以上集群版本。
"[path]", dryRun => [dryRun]) dryRun为true时,会根据Hudi表配置的TTL策略去检查当前时刻有哪些老化的分区,只打印老化的分区。 dryRun为true时,会根据Hudi表配置的TTL策略去检查当前时刻有哪些老化的分区,并且逻辑删除这些老化的分区。逻辑删
任务正常提交后,运行控制台未打印出INFO级别日志,输出的日志级别还是ERROR级别。 原因分析 修改“$Flink_HOME/conf”目录下的“log4j.properties”文件,控制的是JobManager和TaskManager的算子内的日志输出,输出的日志会打印到对应的yarn
打开操作系统审计日志,给审计日志增加记录kill命令的规则,即可定位是何进程发送的命令。 操作影响 打印审计日志,会消耗一定操作系统性能,经过分析仅影响不到1%。 打印审计日志,会占用一定磁盘空间。该日志打印量不大,MB级别,且默认配置有老化机制和检测磁盘剩余空间机制,不会占满磁盘。 定位方法
ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。 本章节操作仅支持MRS 3.1.0及以上集群版本。
导入到Hive表时报错 问题 Sqoop导入数据到Hive表时打印如下报错日志: 查看Yarn上该Application对应的appattempt的Logs,在syslog中有如下任务日志: 回答 Hive中日志框架和Hadoop中的日志框架存在依赖冲突导致。需删除当前使用的Sq
API,可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问Web服务器的一套API。当前在Flink中,Web服务器是JobManager的一个模块,和JobManager共进程。默认情况下,web服务器监测的端口是8081,用户可以在配置文件“flink-conf.yaml”中配置“jobmanager
调整Yarn资源分配 HetuEngine依赖Yarn服务提供的资源分配、控制等能力,需要根据实际业务和集群的服务器配置情况调整Yarn服务配置,以获得最佳的性能效果。 登录FusionInsight Manager页面。 选择“集群 > 服务 > Yarn > 配置 > 全部配置“,参考表1配置Yarn服务参数。
API,可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问Web服务器的一套API。当前在Flink中,Web服务器是JobManager的一个模块,和JobManager共进程。默认情况下,web服务器监测的端口是8081,用户可以在配置文件“flink-conf.yaml”中配置“jobmanager
API,可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问Web服务器的一套API。当前在Flink中,Web服务器是JobManager的一个模块,和JobManager共进程。默认情况下,web服务器监测的端口是8081,用户可以在配置文件“flink-conf.yaml”中配置“jobmanager
API,可接受HTTP GET请求并使用JSON数据进行响应。REST API是访问Web服务器的一套API。当前在Flink中,Web服务器是JobManager的一个模块,和JobManager共进程。默认情况下,web服务器监测的端口是8081,用户可以在配置文件“flink-conf.yaml”中配置“jobmanager
行结果: 通过IntelliJ IDEA运行结果查看应用程序运行情况,可通过配置文件“conf\log4j.properties”配置日志打印信息。 登录主管理节点查看系统日志“/var/log/Bigdata/tomcat/web.log”。 操作步骤 运行“UserManager”类,运行成功会有如下日志信息:
监控指标转储失败会影响上层管理系统无法获取到MRS Manager系统的监控指标。 可能原因 无法连接服务器。 无法访问服务器上保存路径。 上传监控指标文件失败。 处理步骤 联系运维人员查看MRS Manager系统与服务器网络连接是否正常。 是,执行3。 否,执行2。 联系运维人员恢复网络连接,然后检查告警是否恢复。
表中,再读取并打印Hudi表中的数据。 开发思路 写Hudi: 通过一个随机生成数据类来生成数据。 将生成的数据转化为DataStream<RowData>。 将数据写入到Hudi表中。 读Hudi: 读取Hudi表中的数据。 将读取的数据拼接成json格式并打印。 父主题: Flink读取Hudi表样例程序
Hive任务运行过程中失败,重试成功 问题现象 当Hive任务在正常运行时失败,在客户端报出错误,类似的错误打印: Error:Invalid OperationHandler:OperationHander [opType=EXECUTE_STATEMENT,getHandle
在需导出文件的用户所在行,选择“更多 > 下载认证凭据”。 选择认证凭据下载位置,并配置相关参数。 如果下载到服务器或远端节点,请在使用完成后及时删除,避免认证凭据泄漏。 浏览器:下载到本地电脑。 服务器端:下载到集群的主OMS节点上。 文件生成后默认保存在主OMS节点“/tmp/FusionIn
具体计费请以MRS价格计算器中的价格为准。 弹性云服务器 计费因子:vCPU和内存,不同规格的实例类型提供不同的计算和存储能力。 包年/包月、按需计费 节点个数 * 弹性云服务器单价 * 购买时长 弹性云服务器单价请以弹性云服务器价格计算器中的价格为准。 云硬盘(系统盘和数据盘)
单击目标节点组,在展开的节点名称列中单击任一节点,跳转到云服务基本信息控制台。 图1 节点管理 在云服务器详情页面中,选择“基本信息”页签,进入云服务器基本信息页面后,在“云服务器信息”栏中确认“镜像”中EulerOS的操作系统版本。 查看说明:镜像中显示的EulerOS_2.1