正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在FusionInsight Manager界面,选择“集群 > 服务 > Hive > 实例 > 任一MetaStore实例 > 图表”,在“图表分类”选择“操作统计”,查看“create_table API元数据操作耗时情况”和“add_partitions_req api执行情况”等监控,看SQL运
分析请求。 离线查询场景 把规模庞大的业务数据导入到ClickHouse,构造数亿至数百亿记录规模、数百以上的维度的大宽表,随时进行个性化统计和持续探索式查询分析,辅助商业决策,具有非常好的查询体验。 ClickHouse开发接口简介 ClickHouse由C++语言开发,定位为DBMS,支持HTTP和Native
样例工程的“../src/mapreduce-example-security/conf”路径下。 不使用访问多组件样例程序时,如果不影响统计样例程序的正常编译,可忽略多组件样例程序相关报错信息,否则请在导入样例工程后将多组件样例程序类文件删除。 导入样例工程到IntelliJ IDEA开发环境。
Yarn > 实例 > ResourceManager(对应上报告警实例IP地址) > 定制 > ResourceManager堆内存使用百分比统计”。查看堆内存使用情况。 查看ResourceManager使用的堆内存是否已达到ResourceManager进程设定的最大堆内存的80%。
Spark应用执行过程中,日志中一直打印getApplicationReport异常且应用较长时间不退出 问题 Spark应用执行过程中,当driver连接RM失败时,会报下面的错误,且较长时间不退出。 16/04/23 15:31:44 INFO RetryInvocationHandler:
认证文件,详细操作请参见准备连接Hive集群配置文件。 配置安全登录 安全认证主要采用代码认证方式,支持Oracle JAVA平台和IBM JAVA平台。 以下代码在“hive-examples/hive-jdbc-example”样例工程的“com.huawei.bigdata
样例工程 描述 FlinkCheckpointJavaExample 异步Checkpoint机制程序的应用开发示例。 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态,相关业务场景介绍请参见Flink开启Checkpoint样例程序。
样例工程 描述 FlinkCheckpointJavaExample 异步Checkpoint机制程序的应用开发示例。 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态,相关业务场景介绍请参见Flink开启Checkpoint样例程序。
可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 如需对网络ACL出规则进行配置请参考如何配置网络ACL出规则?。 未关联网络ACL时切换子网 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在“网络信息”区域的“默认生效子网”右侧单击“切换子网”。
分析请求。 离线查询场景 把规模庞大的业务数据导入到ClickHouse,构造数亿至数百亿记录规模、数百以上的维度的大宽表,随时进行个性化统计和持续探索式查询分析,辅助商业决策,具有非常好的查询体验。 ClickHouse开发接口简介 ClickHouse由C++语言开发,定位为DBMS,支持HTTP和Native
> 实例 > JobHistoryServer(对应上报告警实例IP地址) > 定制 > JobHistoryServer堆内存使用百分比统计”。查看堆内存使用情况。 查看JobHistoryServer使用的堆内存是否已达到JobHistoryServer设定的最大堆内存的80%。
文件内容参考: /tmp/hadoop-yarn/staging/omm/.staging/job__<Timestamp>_<ID> 统计当前运行中的任务。 mapred job -list 2>/dev/null | grep job_ | awk '{print $1}'
增量加工。 数据入库 建议使用CDL(增量实时同步)和Loader(批量同步)工具进行数据同步,也可选择HDFS外表(CK集群只支持X86平台)用户自己写调度程序进行数据导入。 父主题: ClickHouse数据入库
keytab”。principal修改为自己创建的用户名及集群域名。 开发思路 接收Kafka中数据,生成相应DStream。 对单词记录进行分类统计。 计算结果,并进行打印。 父主题: Spark Streaming对接kafka0-10程序
Acker的执行器数量。当业务应用对可靠性要求较低,允许不处理部分数据,可设置参数值为“null”或“0”,以关闭Acker的执行器,减少流控制,不统计消息时延,提高性能。 topology.max.spout.pending null Spout消息缓存数,仅在Acker不为0或者不为n
Spark连接其他服务认证问题 问题现象 Spark连接HBase,报认证失败或者连接不到HBase表。 Spark连接HBase报找不到jar包。 原因分析 问题1:HBase没有获取到当前任务的认证信息,导致连接HBase的时候认证失败,无法读取到相应数据。 问题2:Spar
样例工程 描述 FlinkCheckpointJavaExample 异步Checkpoint机制程序的应用开发示例。 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态。 相关业务场景介绍请参见Flink开启Checkpoint样例程序。
样例工程 描述 FlinkCheckpointJavaExample 异步Checkpoint机制程序的应用开发示例。 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态。 相关业务场景介绍请参见Flink开启Checkpoint样例程序。
用户拥有大量结构化数据后,通常需要提供基于索引的准实时查询能力,如车联网场景下,根据汽车编号查询汽车维护信息,存储时,汽车信息会基于汽车编号进行索引,以实现该场景下的秒级响应。通常这类数据量比较庞大,用户可能保存1至3年的数据。 例如在车联网行业,某车企将数据储存在HBase中,以支持PB级别的数据存储和毫秒级的数据详单查询。
GC”中的“Oozie垃圾回收(GC)总时间”,单击“确定”。 图1 定制Oozie垃圾回收(GC)总时间 查看Oozie每分钟的垃圾回收时间统计值是否大于告警阈值(默认12秒)。 是,执行4。 否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称