检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark应用名在使用yarn-cluster模式提交时不生效 如何采用Java命令提交Spark应用 SparkSQL UDF功能的权限控制机制 由于kafka配置的限制，导致Spark Streaming应用运行失败 如何使用IDEA远程调试 使用IBM JDK产生异常，提示“Problem
本地环境使用开发工具下载依赖的jar包前，需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问：华为提供开源镜像站（网址为https://mirrors.huaweicloud.com/），查看网站是否能正常访问。如果访问异常，请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。
上述问题在Oracle官网上有类似的情况，该问题现象是Oracle JVM的缺陷，并不是平台代码引入的问题，且Spark中有对Executor的容错机制，Executor Crash之后，Stage会进入重试，可以保证任务最终可以执行完成，不会对业务产生影响。 父主题： Spark Core
的任务，RegionServer从头启动log splitting任务。 HMaster初始化工作完成情况会由于很多原因被延迟： 间歇性的网络故障。 磁盘瓶颈。 log split任务工作负荷较大，RegionServer运行缓慢。 RegionServer（region openning）响应缓慢。
的任务，RegionServer从头启动log splitting任务。 HMaster初始化工作完成情况会由于很多原因被延迟： 间歇性的网络故障。 磁盘瓶颈。 log split任务工作负荷较大，RegionServer运行缓慢。 RegionServer（region openning）响应缓慢。
上述问题在Oracle官网上有类似的情况，该问题现象是Oracle JVM的缺陷，并不是平台代码引入的问题，且Spark中有对Executor的容错机制，Executor Crash之后，Stage会进入重试，可以保证任务最终可以执行完成，不会对业务产生影响。 父主题： Spark Core
打印审计日志，会消耗一定操作系统性能，经过分析仅影响不到1%。 打印审计日志，会占用一定磁盘空间。该日志打印量不大，MB级别，且默认配置有老化机制和检测磁盘剩余空间机制，不会占满磁盘。 定位方法 在DataNode进程可能发生重启的所有节点，分别执行以下操作。 以root用户登录节点，执行service
HiveDriver").newInstance(); 获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。 在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下： 在执行“DriverManager
创建并配置RDS实例 登录RDS管理控制台，购买RDS实例，具体操作请参考购买实例。 为了保证集群和MySQL或PostgreSQL数据库的网络访问，建议该实例与MRS集群的虚拟私有云和子网一致。 RDS实例的安全组入方向规则需要放通MySQL（默认为“3306”）和Postgre
'^]'类似打印则说明可以连通，如果出现connection refused则表示失败，无法连接到相关端口。 如果相关端口打开，但是从别的节点无法连通到该端口，则需要排查下相关网络配置。 23662这个端口每次都是随机的，所以要根据自己启动任务打开的端口来测试。 父主题： 使用Spark
Manager界面，选择“运维 > 告警 > 告警”，在告警列表中查看该告警是否清除。 是，操作结束。 否，执行7。 连接OBS失败。 检查集群和OBS网络是否连通，初始化配置。 是，执行8。 否，执行12。 登录MRS云服务管理控制台，在服务列表选择“统一身份认证服务 IAM > 委托”，在
information Receiver info: No information 是，执行2.c。 否，执行2.b。 联系运维人员查看是否为网络故障，并修复故障。 是，执行2.c。 否，执行3。 等待5分钟，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行3。 收集故障信息。
组配置，确保用户名密码正确，及远端主机的安全组已增加SSH(22)端口的入方向规则。然后从2执行重新下载客户端。 连接到服务器失败，请检查网络连接或参数设置。 生成客户端会占用大量的磁盘IO，不建议在集群处于安装中、启动中、打补丁中等非稳态场景下载客户端。 使用VNC方式，登录弹
提供除Shell、Java API以外的其他接口，可通过此接口查询信息，具体请参考Alluxio API接口介绍。 Namespace 透明命名机制：保证了Alluxio和底层存储系统的命名空间是一致的。 统一命名空间：Alluxio提供了一个挂载API，通过该API能够在Alluxio中访问多个数据源中的数据。
实际上，不只是查询场景，还有其他场景也会出现问题。例如：inset overwrite操作将会把此目录下的其他表文件也一起复写。 由于Spark SQL当前的实现机制，如果对此种场景添加检查限制，会存在一致性问题和性能问题，因此未对此种场景添加限制，但是用户应避免此种用法，以避免此场景带来的各种问题。 父主题：
读文件时，Client会向NameNode请求所读Block所在的DataNode列表。NameNode会返回根据网络拓扑距离进行排序的DataNode列表。开启读取的HDFS Load Balance功能时，NameNode会在原先网络拓扑距离排序的基础上，根据每个节点的平均I/O负载情况进行顺序调整，把高I/O负载的节点顺序调整至后面。
实际上，不只是查询场景，还有其他场景也会出现问题。例如：inset overwrite操作将会把此目录下的其他表文件也一起复写。 由于Spark SQL当前的实现机制，如果对此种场景添加检查限制，会存在一致性问题和性能问题，因此未对此种场景添加限制，但是用户应避免此种用法，以避免此场景带来的各种问题。 父主题：
nMaster和NodeManager）会以轮询的方式寻找Active状态的ResourceManager，也就是说客户端需要自己提供容错机制。如果当前Active状态的ResourceManager无法连接，那么会继续使用轮询的方式找到新的ResourceManager。 备R
CDM集群的规格，按待迁移的数据量选择，一般选择“cdm.medium”即可，满足大部分迁移场景。 CDM集群所在VPC、子网、安全组，选择与MRS集群所在的网络一致。 CDM集群创建完成后，选择集群操作列的“绑定弹性IP”，CDM通过EIP访问MRS HDFS。 图2 集群列表 如果用户对本地数据
h、Kibana、Cerebro等软件。 约束与限制 已安装MRS的Hive服务和CSS的Elasticsearch服务，并且两个集群之间网络互通。 适用于MRS 3.x及之后版本。 步骤一：配置云搜索服务索引并下载jar包 在云搜索服务的“集群管理”页面上，单击集群“操作”列的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
