检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何通过集群外的节点访问MRS集群? 创建集群外Linux操作系统ECS节点访问MRS集群 创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。
useKeyTab=true keyTab="/opt/test/conf/user.keytab" principal="flume_hdfs@<系统域名>" useTicketCache=false storeKey=true debug=true; }; 参数keyTab和principal根据实际情况修改。
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 进程状态异常会导致该进程无法提供正常服务,进而可能导致服务整体异常。 可能原因 主机中正在等待的IO(磁盘IO、网络IO等)在较长
Manager,选择“集群 > 服务 > HBase > 配置”,在搜索框中搜索并修改以下参数: fs.coldFS:修改该参数值为OBS文件系统名,例如:obs://OBS并行文件系统名称。 hbase.fs.hot.cold.enabled:该参数值默认为“false”,必须修改为“true”。 fs
数指定并行度。例如: ./bin/flink run -p 10 ../examples/*WordCount-java*.jar 系统层次 在系统级可以通过修改Flink客户端conf目录下的“flink-conf.yaml”文件中的“parallelism.default”配置选项来指定所有执行环境的默认并行度。
带数据类型且用逗号分隔的列的名称。列名称包含字母,数字和下划线(_)。 示例 alter table h0_1 add columns(ext0 string); 系统响应 通过运行DESCRIBE命令,可显示新添加的列。 父主题: Hudi DDL语法说明
message 根据业务需要,自定义的流程异常打印信息 ${wf:errorMessage(wf:lastErrorNode())} Oozie系统内置的异常信息函数 样例代码 <kill name="fail"> <message> This workflow
创建应用 使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”,进入应用管理页面。 单击“创建应用”,在弹出的页面中填写应用信息,单击“确定”,完成应用创建。 应用创建成功后,在Flink
使用HDFS HDFS文件系统目录简介 HDFS用户权限管理 HDFS客户端使用实践 快速使用Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略(NodeLabel)
并同步来自Active节点的修改。根据修改日志,Standby节点将变动应用到本地文件系统元数据中。一旦发生故障转移,Standby节点能够确保与Active节点的状态是一致的。这保证了文件系统元数据在故障转移时在Active和Standby之间是完全同步的。 为保证故障转移快速
'password' DEFAULT ROLE 'dorisrole'; 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 配置运行环境网络 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。
安全区内的权限视图。 单击组件名称下的权限插件名称,即可进入组件安全访问策略列表页面。 各组件的策略列表中,系统默认生成的条目会自动继承至安全区内,用于保证集群内的部分系统默认用户或用户组的权限。 单击“Add New Policy”,根据业务场景规划配置相关用户或者用户组的资源访问策略。
并设置好Java环境变量。 编译并运行程序 导出jar包 进入IntelliJ IDEA,选择“File > Project Structure > Artifacts”。 单击“加号”,选择“JAR > From modules with dependencies”。 “Main
设置好Java环境变量。 编译并运行程序 导出jar包。 进入IntelliJ IDEA,选择“File > Project Structure > Artifacts”。 单击“加号”,选择“JAR > from modules with dependencies”。 “Main
设置好Java环境变量。 编译并运行程序 导出jar包。 进入IntelliJ IDEA,选择“File > Project Structure > Artifacts”。 单击“加号”,选择“JAR > from modules with dependencies”。 “Main
ERROR表示当前时间处理存在错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 请参考修改集群服务配置参数,进入Flink的“全部配置”页面。
参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 异常NTP服务器的IP地址。 对系统的影响 主OMS节点配置的NTP服务器异常,可能会导致主OMS节点与外部服务器不能同步时间,集群时间可能会产生误差。 可能原因 NTP服务器网络异常。
Python3样例工程中获取的hetu-jdbc-XXX.jar包的完整路径。 Windows系统路径示例:"D:\\hetu-examples-python3\\hetu-jdbc-XXX.jar" Linux系统路径示例:"/opt/hetu-examples-python3/hetu-jdbc-XXX
18023 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 队列名 产生告警的队列名。 队列指标名 产生告警的队列指标名。 对系统的影响 应用任务结束时间变长。 新应用提交后长时间无法运行。 可能原因 NodeManager节点资源过小。 队列最大资源容量设置过小,AM最大资源百分比设置过小。
9998(ficommon),10003(kafka) 解决办法 MRS Manager界面操作: 登录MRS Manager。 选择“系统设置 > 用户管理”。 在操作用户对应的“操作”列,单击“修改”。 为用户加入kafkaadmin组。单击“确定”完成修改操作。 图1 修改用户信息