检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:port as SS_REST_SERVER.的形式指示YARN。 下面使用HTT
Scheduler REST API接口介绍 功能简介 REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:portasSS_REST_SERVER.的形式指示YARN。 下面使用HTTPS
bUI，在图形化界面监控管理Kafka集群。 前提条件 已安装KafkaManager服务的集群。 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 访问KafkaManager的WebUI 登录集群详情页面，选择“组件管理 > KafkaManager”。
“false”，改为“true”后对已有业务没有影响。如果要卸载HBase服务，卸载前请将此参数值改回“false”），将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令 假设用例代码打包后的jar包名为spark-hbaseContext-test-1
Table实例缓存 如果一个Table实例可能长时间会被同一个线程固定且频繁地用到，例如，通过一个线程不断的往一个表内写入数据，那么这个Table在实例化后，就需要缓存下来，而不是每一次插入操作，都要实例化一个Table对象（尽管提倡实例缓存，但也不是在一个线程中一直沿用一个实例，个别场景下依然需要重构，可参见下一条规则）。
spark内部类变更，且变更类未明确指定SerialVersionUID。 另外，由于checkpoint保存了部分配置项，因此可能导致业务修改了部分配置项后，从checkpoint恢复时，配置项依然保持为旧值的情况。当前只有以下部分配置会在从checkpoint恢复时重新加载。 "spark.yarn
持用密文传输。 --ldap_uri-ip LDAP IP - --ldap_uri-port LDAP 端口 【默认值】389 修改完成后，单击左上方“保存”，在弹出的对话框中单击“确定”保存配置。 选择“集群 > 待操作集群的名称 > 服务 > Impala > 实例”，勾选
'KEEP_LATEST_FILE_VERSIONS', file_version_retained => 1); 注意事项 cleaning操作只有在满足触发条件后才会对分区的老版本数据文件进行清理，不满足触发条件虽然执行命令成功也不会执行清理。 系统响应 可在客户端中查看查询结果。 父主题： Hudi
Workspace”，在“Text file encoding”区域，选中“Other”，并设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图1所示。 图1 设置Eclipse的编码格式 父主题： 准备HDFS应用开发环境
ApplicationMaster（以下简称AM）反应缓慢，最终超时失败。 此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site
在MRS管理控制台执行健康检查 登录MRS管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 启动健康检查。 在MRS管理控制台执行健康检查管理操作仅适用于MRS 1.9.2集群。 手动执行所有服务的健康检查： 选择“管理操作 > 启动集群健康检查”。 手动执行单个服务的健康检查：
此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员增加各用户的句柄数。该配置为操作系统的配置，并非HBase或者HDFS的配置。建议集群管理员根据HBase和HDFS的业务量及各操作系统用户的权限进行句柄数设置。如果某一个用户需对业
ApplicationMaster（以下简称AM）反应缓慢，最终超时失败。 此任务的问题是，task数量变多时，AM管理的对象也线性增长，因此就需要更多的内存来管理。AM默认分配的内存堆大小是1GB。 操作步骤 通过调大如下的参数来进行AM调优。 参数入口： 在Yarn客户端的“mapred-site
label-1，而当前集群只有10.1.120.1到10.1.120.3三个数据节点。进行扩容后，又添加了10.1.120.4这个数据节点，则该数据节点会被设置成label-1的标签；如果10.1.120.3这个数据节点被删除或者退出服务后，数据块不会再被分配到该节点上。 设置目录/文件的标签表达式 在HD
throws Exception 在一些场景下，UDF需要遍历完所有的原始数据后才能得到最后的输出结果。“terminate”接口为这类UDF提供了支持。 该方法会在所有的“transform”调用执行完成后，在“beforeDestory”方法执行前被调用。可以选择使用“trans
yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为“false”，改为“true”后对已有业务没有影响。如果要卸载HBase服务，卸载前请将此参数值改回“false”）。 spark-submit --master yarn
UI查看应用运行情况。 查看Flink应用调测结果 调优程序 您可以根据程序运行情况，对程序进行调优，使其性能满足业务场景需求。 调优完成后，请重新进行编译和运行。 组件操作指南中的“Flink性能调优” 父主题： Flink开发指南（普通模式）
开发HBase应用 编译并运行程序 开发好的程序编译运行，用户可在本地Windows开发环境中进行程序调测运行，也可以将程序编译为Jar包后，提交到Linux节点上运行。 调测HBase应用 父主题： HBase应用开发概述
UI查看应用运行情况。 查看Flink应用调测结果 调优程序 您可以根据程序运行情况，对程序进行调优，使其性能满足业务场景需求。 调优完成后，请重新进行编译和运行。 组件操作指南中的“Flink性能调优” 父主题： Flink开发指南（普通模式）
地收到告警通知。MRS联合消息通知服务(SMN)，可以将以上信息主动地通知到用户的手机及邮箱，让维护更加省心省力。 客户价值 配置消息通知后，可以实时给用户发送MRS集群健康状态，用户可以通过手机短信或邮箱实时接收到MRS集群变更及组件告警信息。MRS可以帮助用户轻松运维，实时监
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
