检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要删除的数据的rowKey构造成rdd,然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则,例如:setCaching。
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则,例如:setCaching。
--secure --port 9440 创建与CSV备份数据文件格式对应的表。 CREATE TABLE [IF NOT EXISTS] [database_name.]table_name [ON CLUSTER Cluster名] ( name1 [type1] [DEFAULT|materialized|ALIAS
--secure --port 9440 创建与CSV备份数据文件格式对应的表。 CREATE TABLE [IF NOT EXISTS] [database_name.]table_name [ON CLUSTER Cluster名] ( name1 [type1] [DEFAULT|materialized|ALIAS
Spark作业常用的运行程序参数如表2所示,可根据执行程序及集群资源情况进行配置。 - 执行程序参数 可选参数,程序执行的关键参数,该参数由用户程序内的函数指定,MRS只负责参数的传入。 多个参数间使用空格隔开,最多为150000字符,不能包含;|&><'$特殊字符,可为空。 注意: 用户输入带有敏感信息(如
登录FusionInsight Manager管理界面,选择“集群 > 待操作集群的名称 > 服务 > Storm > 配置 > 全部配置”。 适当增加每个Supervisor角色“supervisor.slots.ports”参数中的端口号数量,并重启实例。 等待一段时间,检查该告警是否恢复。
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要删除的数据的rowKey构造成rdd,然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
e文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行hive-jdbc-example样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。
ding值可提高Spout的每秒消息吞吐量,提高性能,但延时同步增加。 topology.transfer.buffer.size 32 每个worker进程Distuptor消息队列大小,建议在4到32之间,增大消息队列可以提升吞吐量,但延时可能会增加。 RES_CPUSET_PERCENTAGE
1版本中JobServer实例默认部署在Core节点上,由于JobServer主要用于提交作业,默认2个实例即可,建议迁移到Master节点。 本操作指导只针对集群类型是自定义类型的集群,若集群类型为分析集群,请联系运维人员处理。 操作步骤 在Master节点上添加2个JobServer实例,默
segments属性,则UPDATE操作失败。要解决该问题,在查询前执行以下语句。 语法: SET carbon.input.segments. <database_name>. <table_name>=*; 示例 示例1: update carbonTable1 d set (d.column3
segments属性,则UPDATE操作失败。要解决该问题,在查询前执行以下语句。 语法: SET carbon.input.segments. <database_name>. <table_name>=*; 示例 示例1: update carbonTable1 d set (d.column3
BulkGet接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要获取的数据的rowKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于Bul
BulkGet接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要获取的数据的rowKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于Bul
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb
2-LTS)默认将不在控制台上提供创建入口。对存量用户使用的MRS 3.1.2-LTS版本集群不影响。 集群版本升级 MRS LTS版本集群支持大版本升级的演进路线,默认情况下只支持跨一个版本的升级,如MRS 3.1.2-LTS支持升级到MRS 3.2.0-LTS,MRS 3.2.0-LTS支持升级到MRS 3.3.0-LTS。
e文件的方法,方便用户可以在本地对样例文件进行编译。 本章节以运行hive-jdbc-example样例为例进行说明。 操作步骤 为集群的每个节点申请弹性公网IP,并将本地Windows的hosts文件添加所有节点的公网IP对应主机域名的组合(注意如果主机名中出现大写字母要改成小写)。
添加HDFS的Ranger访问权限策略 操作场景 Ranger管理员可通过Ranger为HDFS用户配置HDFS目录或文件的读、写和执行权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户ra