检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式: 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部
IoTDB Kafka样例程序 功能简介 该样例介绍如何通过Kafka将数据发送到IoTDB。 代码样例 Producer.java: 该样例展示如何将时序数据发送到Kafka集群。 根据实际场景,修改“KafkaProperties.java”文件中的“TOPIC”变量,例如:public
SQL默认支持基于规则的优化,但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO(Cost-Bsed Optimizer)是一种为SQL智能选择查询计划的技术。通过配置开启CBO后,CBO优化器可以基于表和列的统计信息,进行一系列的估算,最终选择出合适的查询计划。 操作步骤 要
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式: 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部
UI五种方式,可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口的描述进行应用开发。
API、WEB UI五种方式,可参考常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口的描述进行应用开发。
UI五种方式,可参考HDFS常用API介绍、HDFS Shell命令介绍。 JAVA API 提供HDFS文件系统的应用接口,本开发指南主要介绍如何使用Java API进行HDFS文件系统的应用开发。 C API 提供HDFS文件系统的应用接口,使用C语言开发的用户可参考C接口的描述进行应用开发。
/tmp/tquota2 使用如下命令可以查看目录设置的配额情况,SPACE_QUOTA是设置的空间配额,REM_SPACE_QUOTA是当前剩余的空间配额。 hdfs dfs -count -q -h -v /tmp/tquota2 图1 查看目录设置的配额 日志分析,如下日志说明写入文件
> 角色”。 单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。 设置角色的权限时,不能同时选择跨资源权限,如果需要设置多个资源的相关权限,请依次逐一设置。 Loader权限: “管理员”:Loader管理员权限。 “作业连接器”:Loader的连接权限。
IoTDB Kafka样例程序 功能简介 该样例介绍如何通过Kafka将数据发送到IoTDB。 代码样例 Producer.java: 该样例展示如何将时序数据发送到Kafka集群。 根据实际场景,修改“KafkaProperties.java”文件中的“TOPIC”变量,例如:public
在页面右上角选择要查询的数据的时间范围,例如“Last 6 hours”。 图8 添加监控 单击页面右下角的“Query inspector”,再单击“Refresh”,检查监控面板显示的数据。数据无误后单击“Apply”,单击“Save”保存该监控面板。 图9 监控面板数据 在Grafana查询IoTDB数据。 在5
产生告警的主机名。 NSName 产生告警的NameService名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS集群磁盘容量不足,会影响到HDFS的数据写入。 可能原因 HDFS集群配置的磁盘空间不足。 处理步骤 查看磁盘容量,清除无用文件。
SQL默认支持基于规则的优化,但仅仅基于规则优化不能保证Spark选择合适的查询计划。CBO(Cost-Bsed Optimizer)是一种为SQL智能选择查询计划的技术。通过配置开启CBO后,CBO优化器可以基于表和列的统计信息,进行一系列的估算,最终选择出合适的查询计划。 操作步骤 要
Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 FusionInsight Manager界面操作:登录FusionInsight Manager,选择“集群 > 服务 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 查看Consum
SESSION name = expression; SET SESSION catalog.name = expression; 描述 用于设置当前会话的指定属性。 示例 SET SESSION optimize_hash_generation = true; SET SESSION
轻松运维,实时监控,实时发送告警,操作灵活,使大数据业务部署更加省心省力。 特性描述 MRS联合消息通知服务(SMN),采用主题订阅模型,提供一对多的消息订阅以及通知功能,能够实现一站式集成多种推送通知方式。 首先,作为主题拥有者,可以先创建一个主题,并对主题设置访问控制权限来决
增量查询之前必须指定当前表的查询为增量查询模式,并且查询后重写设置表的查询模式 如果增量查询完,不重新将表查询模式设置回去,将影响后续的实时查询 示例 set hoodie.tableName.consume.mode=INCREMENTAL;--必须设置当前表读取为增量读取模式。 set hoodie
务。 可能导致Kafka Topic监控不显示,请按以下步骤恢复: 登录到集群的主OMS节点,执行以下切换到omm用户: su - omm 重启cep服务: restart_app cep 重启后等待3分钟,再次查看kafka Topic监控。 在KafkaUI查看Kafka Topic信息
RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 资源组排队超过阈值可能导致大量任务处于排队状态,Presto任务时间超过预期,当资源组排队数超过该组最大排队数(ma
其值需要被动态添加(add),更新(update)或显示(display)的参数名称。 parameter_value 将要设置的“parameter_name”的新值。 注意事项 以下为分别使用SET和RESET命令进行动态设置或清除操作的属性: 表2 属性描述 属性 描述 hoodie.insert.shuffle