检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IoTDB应用开发简介 IoTDB介绍 IoTDB是针对时间序列数据收集、存储与分析一体化的数据管理引擎。它具有体量轻、性能高、易使用的特点,支持对接Hadoop与Spark生态,适用于工业物联网应用中海量时间序列数据高速写入和复杂分析查询的需求。 本文档内容仅适用于MRS 3.2
1.0(须安装3.1.0.0.11及以上补丁)、MRS 3.1.5(须安装3.1.5.0.3及以上补丁)、MRS 3.3.0-LTS参考以下步骤进行数据盘扩容: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 在集群详情页,单击“节点管理”。 在需要扩容磁盘的节点组操作列,单击“数据盘扩容”。
在“保存的查询”中查看当前访问用户已保存的HiveQL语句。 在“查询历史记录”中查看当前访问用户执行过的HiveQL语句。 执行HiveQL语句 在“Database”右侧下拉列表选择一个Hive中的数据库,默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。
表名; 默认元数据库冻结分区类型只支持int、string、varchar、date、timestamp类型。 外置元数据库只支持PostgreSQL数据库,且冻结分区类型只支持int、string、varchar、timestamp类型。 对冻结后的表进行Msck元数据修复时,
配置的输入字段个数不能大于实际指定的列数,否则全部数据成为脏数据。 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。 样例 以sqlserver 2014为例,创建测试表test: create table test (id int, name text, value text);
使用Hue提交Oozie Distcp作业 操作场景 该任务指导用户通过Hue界面提交Distcp类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“DistCp”按钮,将其拖到操作区中。 当前DistCp操作是否是跨集群操作。 是,执行4。
分布在各节点,而是集中在个别节点时,可以增大并行度使任务和数据更均匀的分布在各个节点。增加任务的并行度,充分利用集群机器的计算能力。 操作步骤 任务的并行度可以通过以下四种层次(按优先级从高到低排列)指定,用户可以根据实际的内存、CPU、数据以及应用程序逻辑的情况调整并行度参数。
查看HBase应用调测结果 操作场景 HBase应用程序运行完成后,可直接通过运行结果查看应用程序运行情况,也可以通过HBase日志获取应用运行情况。 操作步骤 运行结果会有如下成功信息: ... 2020-01-09 10:43:49,338 INFO [main] examples.HBaseExample:
JDBCServer进程目前接收的请求已超出能够处理的能力范围,对于无法处理的请求会直接返回失败。 可能原因 该节点JDBCServer进程负载较大。 处理步骤 检查上报告警的JDBCServer实例的请求来源 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,选
PathName 异常的文件路径或者名称。 对系统的影响 导致文件所属服务功能不正常。 可能原因 用户手动修改了文件配置或者系统异常下电等原因。 处理步骤 检查异常文件配置。 登录MRS集群详情页面,选择“告警管理”。 查看该告警的详细信息,查看定位信息中对应的“HostName”字段值,获
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 系统应用无法打开文件、网络等IO操作,程序异常。 可能原因 文件句柄数不满足当前业务需求。 系统环境异常。 处理步骤 增大文件句柄数。 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机IP地址。
对系统的影响 DataNode容量不足,会影响到HDFS的数据写入。 可能原因 集群磁盘容量已满。 DataNode节点间数据倾斜。 处理步骤 检查集群磁盘容量是否已满。 登录MRS集群详情页面,在“告警管理”页面查看是否存在“ALM-14001 HDFS磁盘空间使用率超过阈值”告警。
secret_access_key OBS sk,获取方法请参考如何获取访问密钥AK/SK 对于OBS直接分享出来的URL,一般是带HTTPS的,如果不能直接访问,请按如下步骤修改配置。 登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。搜索
使用Hue提交Oozie Distcp作业 操作场景 该任务指导用户通过Hue界面提交Distcp类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“DistCp”按钮,将其拖到操作区中。 当前DistCp操作是否是跨集群操作。 是,执行4。
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要删除的数据的rowKey构造成rdd,然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
使用Hue提交Oozie Spark2x作业 操作场景 该任务指导用户通过Hue界面提交Spark2x类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Spark 程序”按钮,将其拖到操作区中。 在弹出的“Spark”窗口配置“F
secret_access_key OBS sk,获取方法请参考如何获取访问密钥AK/SK 对于OBS直接分享出来的URL,一般是带HTTPS的,如果不能直接访问,请按如下步骤修改配置。 登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。搜索
URL格式为:https://Oozie业务IP:21003/oozie。例如,“https://10.10.10.176:21003/oozie”。 操作步骤 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\oozie-examples\oozienormal-examples”
当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 导出Jar包。 构建Jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称 > Lifecycle > clean”,双
之间的交互,进而影响业务生产、消费和Topic的创建、删除等操作。 可能原因 Sssd服务异常导致。 部分Broker实例停止运行。 处理步骤 检查是否有"Sssd服务异常"告警。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警 > Kafka默认用户状态异常