检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“集群 > 服务 > HDFS”，选择“更多 > 下载客户端”。“选择客户端类型”设置为“仅配置文件”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64）单击“确定”。 等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例
在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 问题 系统长时间运行后，在客户端安装节点的/tmp目录下，发现残留了很多blockmgr-开头和spark-开头的目录。 图1 残留目录样例 回答 Spark任务在运行过程中，driver会
Linux中未安装客户端时提交Storm拓扑 操作场景 Storm支持拓扑在未安装Storm客户端的Linux环境中运行。 前提条件 客户端机器的时间与MRS集群的时间要保持一致，时间差要小于5分钟。 当Linux环境所在主机不是集群中的节点时，需要在节点的hosts文件中设置主
在Linux环境中调测MapReduce应用 操作场景 在程序代码完成开发后，可以在Linux环境中运行应用。 MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果查看程序运行情况。 登录MapReduce WebUI查看应用程序运行情况。 登录Yarn
在本地Windows环境中调测ClickHouse应用（MRS 3.3.0及之后版本） 编译并运行程序 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 操作步骤 单击IDEA右边Maven窗口的“Reload All
在本地Windows环境中调测ClickHouse应用（MRS 3.3.0及之后版本） 编译并运行程序 在程序代码完成开发后，您可以在Windows环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 操作步骤 单击IDEA右边Maven窗口的“Reload All
调测Hive Python样例程序 Python样例工程的命令行形式运行 赋予“python-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令： chmod +x python-examples -R 在“python-examples/pyCLI_nosec
在Linux环境中调测Kafka应用 操作场景 在程序代码完成开发后，可以在Linux环境中运行IoTDB-Kafka样例程序。 前提条件 已安装IoTDB和Kafka客户端。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
调测Kafka Producer样例程序 前提条件 如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问普通模式集群Kafka。 如需在Linux调测程序，需要确保当前用户对“src/main/resourc
调测Hive Python3样例程序 Python3样例工程的命令行形式运行 赋予“python3-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令： chmod +x python3-examples -R。 将“python3-examples/pyCLI_nosec
使用External Shuffle Service提升性能 操作场景 Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据，给其他Executor提供shuffle数据。当Executor进程任务过重，导致GC而不
INSERT...SELECT操作调优 操作场景 在以下几种情况下，执行INSERT...SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在beeline/thriftserver模式下使用非spark用户操作。 操作步骤 可对INSERT
Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，应用失败 问题 Structured Streaming的cluster模式，在数据处理过程中终止ApplicationManager，执行应用时显示如下异常。
执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出 问题 执行Spark Core应用，尝试收集大量数据到Driver端，当Driver端内存不足时，应用挂起不退出，日志内容如下。 16/04/19 15:56:22 ERROR
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 NodeAgent代理进程异常，无法上报心跳至平台。如果因为网络、硬件故障或ssh互信造成，则组件业务无法保证正常。 可能原因 网络断连、硬件故障或操作系统执行命令缓慢。 NodeAgent进程内存不足。
在Linux环境中调测HBase应用 操作场景 HBase应用程序支持在已安装或未安装HBase客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。 前提条件 已安装客户端时： 已安装HBase客户端。 当客户端所在主机不是集群中的节
在Linux环境中调测HDFS应用 操作场景 HDFS应用程序支持在Linux环境中运行。在程序代码完成开发后，可以上传Jar包至准备好的Linux环境中运行。 HDFS应用程序运行完成后，可直接通过运行结果查看应用程序运行情况，也可以通过HDFS日志获取应用运行情况。 前提条件
Superior Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:port as SS_REST_SERVER.的形式指示YARN。
在Linux中调测Impala JDBC应用 前提条件 已安装MRS客户端，具体请参见： 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端。 MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 操作步骤 在运行调测环境上创建一个目录作为
调测Kafka Consumer样例程序 前提条件 如需在Windows调测程序，需要配置Windows通过EIP访问集群Kafka，详情请参见配置Windows通过EIP访问普通模式集群Kafka。 如需在Linux调测程序，需要确保当前用户对“src/main/resourc
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
