检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
UDF执行结果与Hive执行结果不一致。 需要在maven工程中添加hive-exec-3.1.1的依赖,可从Hive服务安装目录下获取。 (可选)若用户存在Hive UDF依赖的配置文件,建议将其作为资源文件放在resources目录下,即可打包到Hive UDF函数包中。 创建Maven项目,“groupId”配置“com
改告警阈值。如图1所示 图1 设置告警阈值 等待2分钟,查看告警是否消失。 是,处理完毕。 否,执行4。 检查磁盘使用率是否达到上限 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称和磁盘分区信息。 以root用户登录告警
访问OBS的Spark,Hadoop等Yarn作业。配置在客户端core-site.xml中。 升级完默认配置变更为false,MRS集群上的Yarn应用进程首先从节点级缓存服务meta中获取临时AKSK,meta故障时也不直接访问ECS元数据接口,以免触发流控导致节点被加入黑名单。
中<inputPath>指HDFS文件系统中input的路径,<outputPath>指HDFS文件系统中output的路径。 在执行以上命令之前,<outputPath>目录必须不存在,否则会报错。 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。
态变为“冻结”,您将无法对处于保留期的按需计费资源执行任何操作。 保留期到期后,若您仍未支付账户欠款,那么集群将终止服务,系统中的数据也将被永久删除。 图1 按需计费MRS集群生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。
5586”的告警,在该页面的告警详情里查看“定位信息”中的角色名并确认实例的IP地址。 选择“集群 > 待操作集群的名称 > 服务 > IoTDB > 实例”,单击告警上报的IoTDBServer,进入实例“概览”页面。单击图表区域右上角的下拉菜单,选择“定制 > 内存”,勾选“
登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警所在行。 在“告警详情”区域查看“附加信息”,获取告警附加信息。 告警附加信息中显示“CA Certificate”,使用PuTTY工具以omm用户登录主OMS管理节点,执行3。 告警附加信息中显示“HA root Certifi
历HBase表。 数据规划 使用foreachPartition接口使用章节创建的HBase数据表。 开发思路 构造需要遍历的HBase表中rowkey的RDD。 使用mapPartition接口遍历上述rowkey对应的数据信息,并进行简单的操作。 运行前置操作 安全模式下Spark
用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的Hase表: create 'bulktable','cf1' 开发思路 创建RDD。
> 主题”。 进入主题页面。 在主题页面,单击“创建主题”,开始创建主题。 此时将显示“创建主题”对话框。 在“主题名称”框中,输入主题名称,在“显示名”框中输入相关描述。 在“企业项目”中选择已有的项目,或者单击“新建企业项目”,在“企业项目管理”界面创建好企业项目后再进行添加。
leader offsets” 问题背景与现象 使用SparkStreaming来消费Kafka中指定Topic的消息时,发现无法从Kafka中获取到数据。 提示如下错误: Couldn't find leader offsets。 可能原因 Kafka服务异常。 网络异常。 Kafka
在本地Windows环境中调测MapReduce应用 操作场景 在程序代码完成开发后,您可以在Windows环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。 MapReduce应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 在IntelliJ IDEA中查看应用程序运行情况。
Spark Streaming对接Kafka0-10样例程序(Java) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
Spark Streaming对接Kafka0-10样例程序(Java) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
Spark Streaming对接Kafka0-10样例程序(Java) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
Spark Streaming对接Kafka0-10样例程序(Java) 功能介绍 在Spark应用中,通过使用Streaming调用Kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例
样例工程的配置文件目录中(通常为“resources”文件夹)。 准备集群认证用户信息时获取的keytab文件也放置于该目录下。 复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保
ZooKeeper > 实例 > quorumpeer”。单击图表区域右上角的下拉菜单,选择“定制 > GC”,勾选“ZooKeeper垃圾回收(GC)时间”,单击“确定”,查看ZooKeeper每分钟的垃圾回收时间统计情况。 图1 ZooKeeper垃圾回收(GC)时间 查看ZooK
用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的Hase表: create 'bulktable','cf1' 开发思路 创建RDD。
用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将构建的RDD写入HBase中。 数据规划 在客户端执行hbase shell,进入HBase命令行,使用下面的命令创建样例代码中要使用的HBase表: create 'bulktable','cf1' 开发思路 创建RDD。