检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
user.principal=spark/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark/hadoop.<系统域名>@<系统域名>;" 其中“<server_IP>:<server_Port
test:为准备集群认证用户信息创建的用户名称,例如developuser。 系统域名:登录FusionInsight Manager后,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 父主题: 准备MapReduce应用开发环境
r.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 执行以下命令,同时在SparkSQL和HBase中创建表。例如创建表hbaseTable。
r.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 执行以下命令,同时在SparkSQL和HBase中创建表。例如创建表hbaseTable。
用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “hive/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。 执行如下命令,启用Hive admin权限。 set role admin; 执行如下命令,删除永久函数。
建议使用Flume服务默认用户flume_server/hadoop.<系统域名>@<系统域名> 说明: “flume_server/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。例如“本端域”参数为“9427068F-6EFA-4833-B43E-60CB641E5B6C
Phoenix BulkLoad Tool使用限制说明 问题 当更新索引字段数据时,若用户表已经存在一批数据,则BulkLoad工具不能更新全局和局部可变索引。 回答 问题分析 创建表。 CREATE TABLE TEST_TABLE( DATE varchar not null
Storm-JDBC开发指引 操作场景 本文档主要说明如何使用开源Storm-JDBC工具包,完成Storm和JDBC之间的交互。Storm-JDBC中包含两类Bolt:JdbcInsertBolt和JdbcLookupBolt。其中,JdbcLookupBolt主要负责从数据库
jar包后将jar包放在1中指定的目录下。 在IntelliJ IDEA样例工程的“tools”目录下找到打包工具:“storm-jartool.cmd”。 双击打包工具,输入要打包的jar包所在目录(“D:\source”)并回车,再输入打出包存放的目录(“D:\target”
Storm-JDBC开发指引 操作场景 本文档主要说明如何使用开源Storm-JDBC工具包,完成Storm和JDBC之间的交互。Storm-JDBC中包含两类Bolt:JdbcInsertBolt和JdbcLookupBolt。其中,JdbcLookupBolt主要负责从数据库
用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。“hive/hadoop.<系统域名>”为用户名,用户名所包含的系统域名所有字母为小写。 父主题: Hive负载均衡
r.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 其中“<server_IP>:<server_Por
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 数据规划 运行样例程序前,需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark
Spark on OBS性能调优 配置场景 Spark on OBS在小批量频繁请求OBS的场景下,可以通过关闭OBS监控提升性能。 配置描述 在Spark客户端的“core-site.xml”配置文件中修改配置。 表1 参数介绍 参数 描述 默认值 fs.obs.metrics
protocol使用SASL_PLAINTEXT。 如果Kafka所在集群的域名发生了更改,需要对${Flume客户端安装目录}/conf/flume-env.sh文件中的-Dkerberos.domain.name项的值做修改,具体请根据实际域名进行配置。 上传所配置的properties.prop
protocol使用SASL_PLAINTEXT。 如果Kafka所在集群的域名发生了更改,需要对${Flume客户端安装目录}/conf/flume-env.sh文件中的-Dkerberos.domain.name项的值做修改,具体请根据实际域名进行配置。 上传所配置的properties.prop
提升HBase实时写数据效率 操作场景 需要把数据实时写入到HBase中或者对于大批量、连续put的场景。 本章节适用于MRS 3.x及之后版本。 前提条件 调用HBase的put或delete接口,把数据保存到HBase中。 操作步骤 写数据服务端调优 参数入口:登录FusionInsight
将用户指定的索引添加到表中,但会跳过生成索引数据。该接口的使用场景为用户想要在具有大量预先存在用户数据的表上批量添加索引,然后使用GlobalTableIndexer工具来构建索引数据。 addIndicesWithData() 将索引添加到有数据的表中。此方法将用户指定的索引添
数据连接管理,配置Kafka、HDFS等服务信息。 数据表管理,定义Sql访问的数据表信息,用于生成DDL语句。 FlinkSQL作业定义,根据用户输入的Sql,校验、解析、优化、转换成Flink作业并提交运行。 Flink作业可视化管理 支持可视化定义流作业和批作业。 支持作业资源、故障恢复策略、Checkpoint策略可视化配置。
使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “Agent名”选择“client”,然后选择要使用