检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
试参数Host和Port，如下图所示。 其中Host为获取的Worker运行的主机IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。 图3 配置参数 当改变Port端口号时，在WORKER_GC_OPTS中追加的调试参数也要跟着改变，比如Port设置为8011，对应的调试参数则变更为-Xdebug
用户可以通过管理控制台查看所有MRS集群运行状态。 查看MRS集群运行状态 登录MRS管理控制台。 选择“现有集群”，进入集群列表页面。 集群列表默认按创建时间顺序排列，集群列表参数说明如表1所示。 现有集群：包括除了“失败”和“已删除”状态以外的所有集群。 历史集群：仅包含“已
入 若<password>中包含特殊字符"$"，应使用如下方式，以防止被转义，“sh generate_keystore.sh 'password'”。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 密码不允许包含“#”。
remotenn1”值为对端集群其中一个NameNode实例的业务IP和RPC端口，设置“haclusterX.remotenn2”值为对端集群另外一个NameNode实例的业务IP和RPC端口。按照“IP:port”格式填写。 针对MRS 3.x版本集群，登录FusionInsight
允许的操作 示例 java.net.SocketPermission 主机名:端口：指定主机和端口 *：所有地址和端口 accept：接收 listen：侦听 connect：连接 resolve：解析 允许实现所有套接字操作： permission java.net.SocketPermission
文中忽略未管理的AM）。AM可能由于多种原因崩溃、退出或关闭。如果AM停止运行，ResourceManager(RM)会关闭ApplicationAttempt中管理的所有Container，其中包括当前在NM上运行的所有Container。RM会在另一计算节点上启动新的ApplicationAttempt。
配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。
配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。
配置JobHistory本地磁盘缓存 配置场景 JobHistory可使用本地磁盘缓存spark应用的历史数据，以防止JobHistory内存中加载大量应用数据，减少内存压力，同时该部分缓存数据可以复用以提高后续对相同应用的访问速度。 配置参数 登录FusionInsight Manager系统，选择“集群
les/pyCLI_nosec.py"不仅要修改hosts数组，还需根据所使用的实例修改port，port为Hive提供Thrift服务的端口（hive.server2.thrift.port）。 执行以下命令运行Python客户端： cd python-examples python
ALM-50210 所有BE节点中最大的compaction score值超过阈值 告警解释 系统每30秒周期性检查所有BE节点中最大的compaction score值，当检查到该值超出阈值（默认值为10）时产生该告警。 告警属性 告警ID 告警级别 是否可自动清除 50210
原因分析 可能是两台主机处于不同VPC网络中。 密码填写错误。 远端主机开启了防火墙。 处理步骤 两台主机处于不同VPC网络中 放开远端主机的22端口。 密码填写错误 请检查密码是否正确，密码中不能有特殊符号。 远端主机开启防火墙 先将这个MRS集群客户端下载到服务器端主机，然后通过Linux提供的scp命令复制到远端主机。
文中忽略未管理的AM）。AM可能由于多种原因崩溃、退出或关闭。如果AM停止运行，ResourceManager(RM)会关闭ApplicationAttempt中管理的所有Container，其中包括当前在NM上运行的所有Container。RM会在另一计算节点上启动新的ApplicationAttempt。
在Loader页面，单击“新建作业”。 在“连接”后单击“添加”，配置连接参数。 参数介绍具体可参见Loader连接配置说明。 单击“确定”。 如果连接配置，例如IP地址、端口、访问用户等信息不正确，将导致验证连接失败无法保存。 用户可以直接单击“测试”立即检测连接是否可用。
配置JobHistory本地磁盘缓存 配置场景 JobHistory可使用本地磁盘缓存spark应用的历史数据，以防止JobHistory内存中加载大量应用数据，减少内存压力，同时该部分缓存数据可以复用以提高后续对相同应用的访问速度。 配置参数 登录FusionInsight Manager系统，选择“集群
创建连接 在Loader页面，单击“管理连接”。 单击“新建连接”，配置连接参数。 参数介绍具体可参见Loader连接配置说明。 单击“保存”。 如果连接配置，例如IP地址、端口、访问用户等信息不正确，将导致验证连接失败无法保存。另外VPC相关设置，也可能影响网络连通性。 用户
amples/pyCLI_nosec.py”不仅要修改host，还需根据所使用的实例修改port，port为Hive提供Thrift服务的端口（hive.server2.thrift.port）。 执行以下命令运行Python3客户端： cd python3-examples python
mples/pyCLI_sec.py”不仅要修改hosts数组，还需根据所使用的实例修改port，port为Hive提供Thrift服务的端口（hive.server2.thrift.port）。 在python-examples/pyCLI_sec.py和python-examples/pyline
及使用中数据）可参考表1，冷数据（不常用、较长时间未使用的数据）可参考表2。 表1 RocksDB状态后端存储 参数名称 参数说明 取值示例 table.exec.state.cold.enabled 是否开启冷热分离的RocksDB。 false（默认值）：关闭。 true：开启。
py”不仅要修改host，还需根据所使用的实例修改port，port为Hive提供Thrift服务的端口（hive.server2.thrift.port）。 在python3-examples/pyCLI_sec.py中，修改“hadoop.hadoop.com”修改为hadoop.实际域名。实际域名可登录FusionInsight
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
