检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS的DataNode一直显示退服中 用户问题 HDFS的DataNode一直显示退服中。 问题现象 HDFS的某个DataNode退服(或者对Core节点进行缩容)任务失败,但是DataNode在任务失败后一直处于退服中的状态。 原因分析 在对HDFS的某个DataNode
MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 网络问题导致运行应用程序时出现异常 MapReduce二次开发远程调试 父主题: MapReduce开发指南(安全模式)
MapReduce应用开发常见问题 MapReduce接口介绍 提交MapReduce任务时客户端长时间无响应 网络问题导致运行应用程序时出现异常 MapReduce二次开发远程调试 父主题: MapReduce开发指南(安全模式)
DBService服务所在主机的网络连接是否正常。(获取ZooKeeper、HDFS、Yarn和DBService服务所在主机的IP地址的方式和获取HiveServer IP地址的方式相同。) 是,执行7。 否,执行6.h。 联系运维人员恢复网络。 在告警列表中,查看“ALM-16004
JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下:
JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下:
D[InternalRow]] 例子: CarbonSegmentUtil.getFilteredSegments(carbonrdd) 可以通过传入sql语句来获取过滤后的segment: /** * Returns an array of valid segment numbers
性能”,“SPARK_DRIVER_MEMORY”参数的默认值为4G,可根据如下原则进行调整:若偶现告警,可以按0.5倍速率调大。若告警次数比较频繁,可以按1倍速率调大。多业务量、高并发的情况可以考虑增加实例。 重启所有的IndexServer2x实例。 重启实例期间实例不可用,当前实例节点的任务会执行失败。
{ @volatile private var startTime: Long = 0L @volatile private var endTime: Long = 0L @volatile private var numRecs: Long =
{ @volatile private var startTime: Long = 0L @volatile private var endTime: Long = 0L @volatile private var numRecs: Long =
<name>HBASE_ZK_SSL_ENABLED</name> <value>true</value> </property> 执行以下命令创建Hive表。 可以在Hue UI里Hive面板里面直接输入以下的SQL语句。 图1 执行Hive SQL CREATE DATABASE test; CREATE
JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下:
JDK,请确保Eclipse中的JDK配置为Oracle JDK。 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。 网络 确保客户端与Presto服务主机在网络上互通。 父主题: 准备Presto应用开发环境
数据迁移 数据迁移方案介绍 数据迁移到MRS前信息收集 数据迁移到MRS前网络准备 使用CDM服务迁移Hadoop数据至MRS集群 使用CDM服务迁移HBase数据至MRS集群 使用CDM服务迁移Hive数据至MRS集群 使用BulkLoad工具向HBase中批量导入数据 使用CDM服务迁移MySQL数据至MRS
查看NTP告警的“附加信息”是否描述与主OMS节点NTP服务无法同步时间。 是,执行2.b。 否,执行3。 排查与主OMS节点NTP服务的同步是否有问题。 登录告警节点执行sudo su - root切换用户,执行ntpq -np命令。 如果显示结果的主OMS节点NTP服务IP地址前有“*”号,表示同步正常,如下:
执行ping命令,查看HSBroker所在主机与ZooKeeper、HDFS、Yarn、DBService、Hive服务所在主机的网络连接是否正常。 是,执行30。 否,执行28。 联系网络管理员恢复网络。 在告警列表中,查看“ALM-45000 HetuEngine服务不可用”告警是否清除。 是,处理完毕。
ample”样例工程的“com.huawei.bigdata.hbase.examples”包的“TestMain”类中。 private static void init() throws IOException { // Default load from
ample”样例工程的“com.huawei.bigdata.hbase.examples”包的“TestMain”类中。 private static void init() throws IOException { // Default load from
HDFS性能调优 提升HDFS写数据性能 配置HDFS客户端元数据缓存提高读取性能 使用活动缓存提升HDFS客户端连接性能 HDFS网络不稳定场景调优 优化HDFS NameNode RPC的服务质量 优化HDFS DataNode RPC的服务质量 执行HDFS文件并发操作命令
r和Flink等服务。 包含Kafka服务的客户端已安装,安装路径如:/opt/client。 参考创建FlinkServer权限角色创建一个具有FlinkServer管理员权限的用户用于访问Flink WebUI,如:flinkuser。 JDBC作为Sink表(以MySQL为例)