检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除HBase表 功能简介 HBase通过org.apache.hadoop.hbase.client.Admin的deleteTable方法来删除表。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“HBaseExample”类的dropTable
HBase应用开发常见问题 HBase接口介绍 HBase SQL查询样例代码说明 如何配置HBase文件存储 运行HBase应用开发程序产生异常如何处理 HBase BulkLoad和Put应用场景说明 父主题: HBase开发指南
准备Hive应用开发环境 Hive应用开发环境简介 准备本地应用开发环境 准备Hive应用开发用户 准备Hive JDBC开发环境 准备Hive HCatalog开发环境 父主题: Hive开发指南
加载Hive数据 功能介绍 本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从集群中加载数据。 样例代码 -- 从本地文件系统/opt/hive_examples_data/目录下将employee_info.txt加载进employees_info
HDFS应用开发常见问题 HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 HDFS Shell命令介绍 登录MRS Manager 下载MRS客户端 父主题: HDFS开发指南
Spark on HBase程序 场景说明 Java样例代码 Scala样例代码 父主题: 开发Spark应用
准备Flink应用开发环境 准备本地应用开发环境 准备Flink应用开发用户 安装Flink客户端 配置并导入Flink样例工程 新建Flink样例工程(可选) 准备Flink应用安全认证 父主题: Flink开发指南
创建Impala表 功能简介 本小节介绍了如何使用Impala SQL建内部表、外部表的基本操作。创建表主要有以下三种方式。 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Impala完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除
查询Impala数据 功能简介 本小节介绍了如何使用Impala SQL对数据进行查询分析。从本节中可以掌握如下查询分析方法。 SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Impala自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见开发
Alluxio API接口介绍 Java API Alluxio接口遵循标准的Alluxio Parent API标准,详情请见https://docs.alluxio.io/os/javadoc/2.0/index.html。 HTTP REST API Master REST
图1 Spark JDBCServer多租户 ProxyServer在启动时,向ZooKeeper注册自身消息,在指定目录中写入节点信息,节点信息包含了该实例对应的IP,端口,版本号和序列号等信息(多节点信息之间以逗号隔开)。
如何给集群内用户添加租户管理权限? 分析集群和混合集群支持添加租户管理权限,流式集群不支持添加租户管理权限。给新建账号添加租户管理权限方法如下: MRS 3.x之前版本: 登录MRS Manager。 在“系统设置 > 用户管理”中选择新建的用户,单击“操作”列中的“修改”。 在“
10亿级数据量场景的解决方案有哪些? 问: 10亿级数据量场景的解决方案有哪些? 答: 有数据更新、联机事务处理OLTP、复杂分析的场景,建议使用云数据库 GaussDB(for MySQL)。 MRS的Impala + Kudu也能满足该场景,Impala + Kudu可以在join
在服务“概览”页面右上角单击“更多”,选择“停用Ranger鉴权”。在弹出的对话框中输入密码,单击“确定”,操作成功后单击“完成”。 在服务“概览”页面右上角单击“更多”,选择“重启服务”,重启Kafka服务。 父主题: 组件配置类
执行Spark任务报内存不足告警如何处理? 问题现象 执行Spark任务就会报内存不足告警,告警id:18022,可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数,限制executor的核数和内存。 例如设置如下: set hive.execution.engine
spark.yarn.executor.memoryOverhead设置不生效如何处理? 问题现象 Spark任务需要调整executor的overhead内存,设置了参数spark.yarn.executor.memoryOverhead=4096,但实际计算的时候依旧按照默认值
/var/log/Bigdata/clickhouse/clickhouseServer/auth.log ClickHouse服务认证日志。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 业务进程响应缓慢或不可用。 可能原因 告警阈值配置或者平滑次数配置不合理。
登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 实例”,启动停止的Broker实例。 等待5至10分钟后查看Broker实例的运行状态是否为“良好”。
嵌入式迁移Storm业务 操作场景 该任务指导用户通过嵌入式迁移的方式在Flink的DataStream中嵌入Storm的代码,如使用Storm API编写的Spout/Bolt。 操作步骤 在Flink中,对Storm拓扑中的Spout和Bolt进行嵌入式转换,将之转换为Flink