检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
了解其使用方法:https://archive.apache.org/dist/spark/docs/3.3.1/monitoring.html#rest-api。 准备运行环境 安装客户端。在节点上安装客户端,如安装到“/opt/client”目录。 REST接口 通过以下命令
下,子目录布局为: logs/$job_id (directory for $job_id) logs/$job_id/job.xml.html logs/$job_id/$attempt_id (directory for $attempt_id) logs/$job_id/$attempt_id/stderr
在Hue WebUI使用文件浏览器 操作场景 用户需要使用图形化界面管理HDFS文件时,可以通过Hue完成任务。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理
//archive.apache.org/dist/spark/docs/3.3.1/submitting-applications.html。 Spark shell命令 Spark基本shell命令,支持提交Spark应用。命令为: ./bin/spark-submit \
mysql.com/doc/refman/8.0/en/replication-mode-change-online-enable-gtids.html) 用户权限设置: 用户执行MySQL任务需要的权限需要包括SELECT、RELOAD、SHOW DATABASES、REPLICATION
//archive.apache.org/dist/spark/docs/3.3.1/submitting-applications.html。 Spark shell命令 Spark基本shell命令,支持提交Spark应用。命令为: ./bin/spark-submit \
//archive.apache.org/dist/spark/docs/3.3.1/submitting-applications.html。 Spark shell命令 Spark基本shell命令,支持提交Spark应用。命令为: ./bin/spark-submit \
//archive.apache.org/dist/spark/docs/3.3.1/submitting-applications.html。 Spark shell命令 Spark基本shell命令,支持提交Spark应用。命令为: ./bin/spark-submit \
在Hue WebUI使用文件浏览器 操作场景 用户需要使用图形化界面管理HDFS文件时,可以通过Hue完成任务。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理
cs.oracle.com/javase/8/docs/technotes/guides/security/StandardNames.html#ciphersuites。 TLS_DHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WIT
information about Sqoop, visit: http://sqoop.apache.org/docs/1.99.3/index.html Available commands: exit (\x ) Exit the shell history (\H
http://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/YarnCommands.html 常用Command YARN Commands可同时供普通用户和管理员用户使用,它包含了少量普通用户可以执行的命令,比如jar、logs。而大部分只有管理员有权限使用。
隔离MRS集群节点 用户发现某个主机出现异常或故障,无法提供服务或影响集群整体性能时,可以临时将主机从集群可用节点排除,使客户端访问其他可用的正常节点。在为集群安装补丁的场景中,也支持排除指定节点不安装补丁。 隔离主机仅支持隔离非管理节点。 该任务指导用户在MRS上根据实际业务或运维规划手工将主机隔离。
执行MRS集群节点健康检查 如果某个主机节点的运行状态不是良好,用户可以执行主机健康检查,快速确认某些基本功能是否存在异常。在日常运维中,管理员也可以执行主机健康检查,以保证主机上各角色实例的配置参数以及监控没有异常、能够长时间稳定运行。 执行集群节点健康检查(3.x及之后版本)
http://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/YarnCommands.html 常用Command YARN Commands可同时供普通用户和管理员用户使用,它包含了少量普通用户可以执行的命令,比如jar、logs。而大部分只有管理员有权限使用。
op.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/YarnCommands.html。 常用Command YARN Commands可同时供普通用户和管理员用户使用,它包含了少量普通用户可以执行的命令,比如jar、logs。而大部分只有管理员有权限使用。
op.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/YarnCommands.html。 常用Command YARN Commands可同时供普通用户和管理员用户使用,它包含了少量普通用户可以执行的命令,比如jar、logs。而大部分只有管理员有权限使用。
information about Sqoop, visit: http://sqoop.apache.org/docs/1.99.3/index.html Available commands: exit (\x ) Exit the shell history (\H
启停MRS集群节点上所有角色 当主机(节点)故障异常时,用户可能需要在MRS停止主机上的所有角色,对主机进行维护检查。故障清除后,启动主机上的所有角色恢复主机业务。 操作MRS集群前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“
compaction间隔的参数,见Hudi官网:https://hudi.apache.org/docs/configurations.html MRS 3.2.1及以后版本默认Hudi写表是Flink状态索引,如果需要使用bucket索引需要在Hudi写表中添加参数: 'index