检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
获取table2表记录 Result[] resultDataBuffer = table.get(rowList); // 修改table2表记录 List<Put> putList = new ArrayList<Put>(); for (int
l字段是新域名。 如默认为hive/hadoop.hadoop.com@HADOOP.COM,当集群有切换域名的操作时,该字段需要进行相关修改。如域名为abc.com时,则此处应填写hive/hadoop.abc.com@ABC.COM。 确保可以正常的认证连接HiveServer。
登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn”。 选择“配置 > 全部配置”,搜索参数“yarn.acl.enable”,修改参数值为“true”。如果该参数值已经为“true”,则无需处理。 图1 配置参数“yarn.acl.enable” 使用Ranger管理
BulkGet接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要获取的数据的rowKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于Bul
BulkGet接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要获取的数据的rowKey构造成rdd,然后通过HBaseContext的bulkGet接口获取对HBase表上这些rowKey对应的数据。 数据规划 基于Bul
在Flink WebUI和Linux中调测Flink应用 操作场景 IoTDB应用程序支持在安装了Flink客户端的Linux环境和安装了Flink WebUI的环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的环境中运行。 前提条件 集群已安装Flink组件,并且添加了FlinkServer实例。
登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn”。 选择“配置 > 全部配置”,搜索参数“yarn.acl.enable”,修改参数值为“true”。如果该参数值已经为“true”,则无需处理。 图1 配置参数“yarn.acl.enable” 使用Ranger管理
xxx:表示Jar包的版本号。“LIB_JARS”和“HADOOP_CLASSPATH”中指定的Jar包的版本号需要根据实际环境的版本号进行修改。 运行前准备: 使用Hive客户端,在beeline中执行以下命令创建源表t1: create table t1(col1 int); 向t1中插入如下数据:
获取table2表记录 Result[] resultDataBuffer = table.get(rowList); // 修改table2表记录 List<Put> putList = new ArrayList<Put>(); for (int
获取table2表记录 val resultDataBuffer = table.get(rowList) // 修改table2表记录 val putList = new util.ArrayList[Put]() for (i <-
获取table2表记录 val resultDataBuffer = table.get(rowList) // 修改table2表记录 val putList = new util.ArrayList[Put]() for (i <-
获取table2表记录 Result[] resultDataBuffer = table.get(rowList); // 修改table2表记录 List<Put> putList = new ArrayList<Put>(); for (int
该方式仅适用于Linux操作系统,且安装了HDFS的客户端。 代码认证: 通过获取客户端的principal和keytab文件进行认证。 注意修改代码中的PRINCIPAL_NAME变量为实际使用的值。 private static final String PRNCIPAL_NAME
获取table2表记录 val resultDataBuffer = table.get(rowList) // 修改table2表记录 val putList = new util.ArrayList[Put]() for (i <-
HiveServer节点IP。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Hive > 执行成功的HQL百分比”修改阈值。 当系统在一个检测周期检测到该指标高于阈值的110%时,恢复告警。 告警属性 告警ID 告警级别 是否自动清除 16002 重要 是
--ip=127.0.0.1 --port=20013 --cancelforbidswitch --name=product" 检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案,是否有记录相关非标操作。 是,需要详细评估补丁跟非标配置的兼容性。 否,检查结束。
n,但由于没有数据输入,导致获取结果不足10个,从而触发第二次计算,因此会出现RDD的DAG结构打印两次的现象。 在代码中将print算子修改为foreach(collect),该问题则不会出现。 父主题: Spark Streaming
b/ext/udf”下。 在部署集群的时候,需要保证每一个IoTDBserver节点的UDF JAR包路径下都存在相应的Jar包。可以通过修改IoTDB配置“udf_root_dir”来指定UDF加载Jar的根路径。 使用SQL语句注册该UDF,语法如下: CREATE FUNCTION
return tuple2.value(); } }); //汇总计算字数的总时间。 JavaPairDStream<String, Integer> wordCounts = lines.mapToPair( new PairFunction<String
分布式Scan HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用hbaseRDD方法以特定的规则扫描HBase表。 数据规划 使用操作Avro格式数据章节中创建的HBase数据表。 开发思路 设置scan的规则,例如:setCaching。