检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
中读取数据,执行对应处理之后,然后将结果数据回写至Kafka中。 例如:Spark Streming中定义了批次时间,如果数据传入Kafka的速率为10MB/s,而Spark Streaming中定义了每60s一个批次,回写数据总共为600MB。而Kafka中定义了接收数据的阈值
以“RegionServer级别操作请求次数”监控项为例: 登录FusionInsight Manager,选择“集群 > 服务 > HBase > 资源”,在该界面即可查看“RegionServer级别操作请求次数”图表,选中“all”,则显示当前集群所有RegionServer的所有操作请求次数总和排Top10的值,统计时间间隔为5分钟。
IP:JobManager的端口”访问Web页面。 回答 由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过以下步骤来解决问题。 查看客户端的配置文件“conf/flink-conf.yaml”。 确认配置项“jobmanager.web.ssl.enabled”的值是“false”。
修改hostname后导致WebHCat启动失败 问题背景与现象 用户修改hostname导致WebHCat启动失败。 查看对应节点WebHCat启动日志( /var/log/Bigdata/hive/webhcat/hive.log),发现报如下错误: 原因分析 MRS Web
使用Hive的时候,在输入框中输入了use database的语句切换数据库,重新在输入框内输入其他语句,为什么数据库没有切换过去? 回答 在Hue上使用Hive有区别于用Hive客户端使用Hive,Hue界面上有选择数据库的按钮,当前SQL执行的数据库以界面上显示的数据库为准。 与此相关的还有设置参数等ses
Flink开启Checkpoint样例程序(Java) 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性。 代码样例 快照数据 该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。 下面代码片段仅为演示,完整代码参见FlinkCheckpointJavaExample样例工程下的com
中读取数据,执行对应处理之后,然后将结果数据回写至Kafka中。 例如:Spark Streming中定义了批次时间,如果数据传入Kafka的速率为10MB/s,而Spark Streaming中定义了每60s一个批次,回写数据总共为600MB。而Kafka中定义了接收数据的阈值
中读取数据,执行对应处理之后,然后将结果数据回写至Kafka中。 例如:Spark Streming中定义了批次时间,如果数据传入Kafka的速率为10MB/s,而Spark Streaming中定义了每60s一个批次,回写数据总共为600MB。而Kafka中定义了接收数据的阈值
告警阈值,单击“确定”。 连接数较多时,请确认连接的必要性,否则会对服务的性能造成影响,甚至可能造成服务不可用。 等待两分钟,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 >
节点自定义引导操作 特性简介 MRS提供标准的云上弹性大数据集群,目前可安装部署包括Hadoop、Spark等大数据组件。当前标准的云上大数据集群不能满足所有用户需求,例如如下几种场景: 通用的操作系统配置不能满足实际数据处理需求,例如需调大系统最大连接数。 需要安装自身业务所需
在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选中“ID”为“43029”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址,查看“附加信息”确认请求的用户名及队列名称。 重新执行受影响的JDBCServer作业 通过“附加信息”中的用户名和队列名称,选择“集群
多余或者不再使用的实例组可以删除,删除前需要将组内的实例全部迁移至其他实例组。系统默认的实例组不可删除。 查看实例组信息:在“实例组”页签导航栏选择一个角色,在“基本”页签,查看该实例组的全部实例。 需要将某个实例从一个实例组移动到另一个实例组中时,可以根据以下操作: 勾选需要移动到新实例组的实例,然后单击“移动”。
在客户端另外一个session通过linux命令构造一个端口进行接收数据(不同操作系统的机器,命令可能不同,suse尝试使用netcat -lk 9999): nc -lk 9999 提交任务命令执行之后,在该命令下输入要提交的数据,通过HBase表进行接收。 在构造一个端口进行接收数据时,需要在客户端所在服务器上安装netcat。
在客户端另外一个session通过linux命令构造一个端口进行接收数据(不同操作系统的机器,命令可能不同,suse尝试使用netcat -lk 9999): nc -lk 9999 提交任务命令执行之后,在该命令下输入要提交的数据,通过HBase表进行接收。 在构造一个端口进行接收数据时,需要在客户端所在服务器上安装netcat。
IDX1:索引名称 cf1:列族名称。 q1:列名。 datatype:数据类型。数据类型仅支持Integer、String、Double、Float、Long、Short、Byte、Char类型。 父主题: HBase数据读写样例程序
flume-*/bin ./flume-manager.sh restart 在OBS系统中查看结果。 登录OBS控制台。 单击“并行文件系统”,进入1中创建的并行文件系统中的文件夹查看结果。 父主题: MRS集群服务对接OBS示例
使用IE浏览器配置Loader作业时无法保存数据 问题 通过IE 10&IE 11浏览器访问Loader界面,提交数据后,会报错。 回答 现象 保存提交数据,出现类似报错:Invalid query parameter jobgroup id. cause: [jobgroup]。
配置Spark Web UI ACL 配置场景 当Spark2x Web UI中有一些不允许其他用户看到的数据时,用户可能想对UI进行安全防护。用户一旦登录,Spark2x 可以比较与这个用户相对应的视图ACLs来确认是否授权用户访问 UI。 Spark2x存在两种类型的Web UI,一种为运行中任务的Web
检查Manager是否有正在运行的任务 登录FusionInsight Manager界面,查看右上角任务。 查看当前集群是否存在正在运行的任务。 是,等待任务运行结束。 否,检查结束。 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案,是否有记录相关非标操作。 是,需要详细评估补丁跟非标配置的兼容性。
检查Manager是否有正在运行的任务 登录FusionInsight Manager界面,查看右上角任务。 查看当前集群是否存在正在运行的任务。 是,等待任务运行结束。 否,检查结束。 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案,是否有记录相关非标操作。 是,需要详细评估补丁跟非标配置的兼容性。