检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTP协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“d
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件(user.keytab、krb5.conf)。user.keytab和krb5
功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTP协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“d
功能简介 使用REST服务,传入对应host与port组成的url以及指定的Namespace,通过HTTPS协议,对Namespace进行创建、查询、删除,获取指定Namespace中表的操作。 HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“d
DBService是一个高可用性的关系型数据库存储系统,适用于存储小量数据(10GB左右),比如:组件元数据。DBService仅提供给集群内部的组件使用,提供数据存储、查询、删除等功能。 DBService是集群的基础组件,Hive、Hue、Oozie、Loader、CDL、Flink、HetuEngine、
tore中对分区消息进行处理。 优化datasource表,支持对表中分区执行增加、删除和修改等语法,从而增加与Hive的兼容性。 支持在查询语句中,把分区裁剪并下压到Metastore上,从而过滤掉不匹配的分区。 示例如下: select count(*) from table
使用Impala操作Kudu表 您可以使用Impala的SQL语法插入、查询、更新和删除Kudu中的数据,作为使用Kudu API构建自定义Kudu应用程序的替代方案。 前提条件 已安装集群完整客户端。例如安装目录为“/opt/Bigdata/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
作业管理接口 新增并执行作业 查询作业列表信息 查询单个作业信息 终止作业 获取SQL结果 批量删除作业 父主题: API V2
mvschema是schema的名称 查询物化视图的创建语句 查询mv.default.mv1的物化视图创建语句 show create materialized view mv.default.mv1; mv1是物化视图的名称 查询物化视图 查询mv.default.mv1的数据 select
Workflow”),可以直接单击该名称进行修改,例如“Shell-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 配置Shell命令为Linux指令时,请指定为原始指令,不要使用快捷键指令。例如:ls -l ,不
Workflow”),可以直接单击该名称进行修改,例如“Ssh-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业
根据业务场景开发程序 根据实际业务场景开发程序,调用组件接口实现对应功能。 开发Hive应用 编译并运行程序 指导用户将开发好的程序编译提交运行并查看结果。 调测Hive应用 父主题: Hive应用开发概述
-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" ),如果频繁出现Full GC,需要优化GC。把RDD做Cache操作,通过日志查看RDD在内存中的大小,如果数据太大,需要改变RDD的存储级别来优化。 操作步骤 优化GC,调整老年代和新生代的大小和比例。在客户端的conf/spark-defaults
1-hw-ei-311001-SNAPSHOT.jar 6 10 10 3 spark-sql 可用于local模式或者集群模式运行Hive元数据服务以及命令行查询。如果需要查看其逻辑计划,只需在SQL语句前面加上explain extended即可。 示例: Select key from src group
等全流程的样例工程。 开发HetuEngine应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HetuEngine应用 查看程序运行结果 程序运行结果会根据结果解析部分的实现显示到期望显示的地方。 父主题: HetuEngine开发指南(安全模式)
taNode删除了对应的Block后重启NameNode,即不会存在这种情况。 您可以通过hdfs dfsadmin -report命令来查看磁盘空间,检查文件是否删除完毕。 如已大量出现以上日志,您可以将NameNode的日志级别修改为ERROR,NameNode不会再打印此日志信息。
Workflow”),可以直接单击该名称进行修改,例如“Shell-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 配置Shell命令为Linux指令时,请指定为原始指令,不要使用快捷键指令。例如:ls -l ,不
Workflow”),可以直接单击该名称进行修改,例如“Ssh-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。 父主题: 使用Hue提交Oozie作业
在Doris服务重启期间服务不可用,不能对外提供服务,且其他连接Doris运行的任务也会失败。 在Manager界面选择“运维 > 告警 > 告警”在告警列表中查看“Doris服务不可用”告警是否已清除。 是,操作结束。 否,执行4。 收集故障信息。 在FusionInsight Manager界面,选择“运维
adoop.<系统域名>@<系统域名>; 系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数获取。 “hive/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。例如“本端域”参数为“