检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Windows下打包Storm业务 操作场景 打包业务的目的,是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包,合并导出可提交的source.jar。 打包需使用storm-jartool工具,可在Windows或Linux上进行。 前提条件 已执行打包Storm样例工程应用。
e作为一个任务分别配置不同的资源执行来节省资源使用。 执行资源 Compaction调度的间隔应小于Compaction计划生成的间隔,例如1小时左右生成一个Compaction计划的话,执行Compaction计划的调度任务应该至少半小时调度一次。 Compaction作业配置
查询OpenTSDB数据 功能简介 使用OpenTSDB的查询接口(/api/query)读取数据。 函数genQueryReq()生成查询请求,函数queryData()把查询请求发送到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata.opentsdb
删除OpenTSDB数据 功能简介 在OpenTSDB的查询接口中增加delete参数,并且设置delete参数为true。函数genQueryReq()生成删除请求,函数deleteData()把删除请求发送到OpenTSDB服务端。 样例代码 以下代码片段在com.huawei.bigdata
实时任务接入 实时作业一般由Flink Sql或Sparkstreaming来完成,流式实时任务通常配置同步生成compaction计划,异步执行计划。 Flink SQL作业中sink端Hudi表相关配置如下: create table denza_hudi_sink ( $H
写Kudu数据 功能简介 通过KuduClient.newSession()方法生成一个KuduSession对象,然后再把插入记录动作执行到Kudu表里。 代码样例 如下是写数据的代码片段: // Create a KuduSession. KuduSession session
写Kudu数据 功能简介 通过KuduClient.newSession()方法生成一个KuduSession对象,然后再把插入记录动作执行到Kudu表里。 代码样例 如下是写数据的代码片段: // Create a KuduSession. KuduSession session
Windows下打包Storm业务 操作场景 Storm支持在Windows环境下打包。 打包业务的目的,是将IntelliJ IDEA代码生成的jar包与工程依赖的jar包,合并导出可提交的source.jar。 打包需使用storm-jartool工具,可在Windows或Linux上进行。
服务器端:下载到集群的主OMS节点上。 文件生成后默认保存在主OMS节点“/tmp/FusionInsight-Keytab/”路径。如果此路径不存在,会创建此路径。如果存在认证凭据文件,会覆盖路径下已有的认证凭据文件。omm用户需要对下载路径具有写权限。 等待文件生成后,可以使用omm用户将获取的下载包复制到其他目录。
ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能: 帮助系统避免单点故障,建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 ZooKeeper结构 ZooKeeper集群中的节点分为三种
配置”,打开Kafka服务配置页面。 开启Token认证机制。 查找配置项“delegation.token.master.key”,该配置指定用于生成和验证Token的主密钥。先查看是否已经配置,如果已配置且不为null,则表示Token认证机制是开启的,不用重新配置(重新配置会导致之前生产的Token无法使用)。
签发Flink证书样例 将该样例代码生成generate_keystore.sh脚本,放置在Flink客户端的bin目录下。 #!/bin/bash KEYTOOL=${JAVA_HOME}/bin/keytool KEYSTOREPATH="$FLINK_HOME/conf/"
配置”,打开Kafka服务配置页面。 开启Token认证机制。 查找配置项“delegation.token.master.key”,该配置指定用于生成和验证Token的主密钥。先查看是否已经配置,如果已配置且不为null,则表示Token认证机制是开启的,不用重新配置(重新配置会导致之前生产的Token无法使用)。
问题现象 在FusionInsight Manager的“租户资源”页面添加租户后,删除租户时,报“删除租户角色失败”。 原因分析 在创建租户时会生成对应的角色,执行删除租户操作时会首先删除对应的角色。此时如果支持权限配置的组件状态异常,则会导致删除这个角色对应的资源权限失败。 处理步骤
Ticket),由Kerberos服务生成,提供给应用程序与应用服务建立安全会话,该票据一次性有效。 ST的生成在FusionInsight产品中,基于hadoop-rpc通信,由rpc底层自动向Kerberos服务端提交请求,由Kerberos服务端生成。 认证代码实例讲解 package
xxx:21005 mytopic 10 开发思路 接收Kafka中数据,生成相应DataStreamReader。 进行分类统计。 计算结果,并进行打印。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“
在样例工程的target下生成含有“flink-dws-sink-example-1.0.0-SNAPSHOT”字段的Jar包。 在Linux上进入客户端安装目录,如“/opt/client/Flink/flink/conf”作为作为运行目录,将1中生成的“target”目录下包
统计信息为空 问题 通过spark-sql创建Hudi表或者Hive表,未插入数据之前,查询表统计信息都为空。 回答 可以通过以下两种方式生成: 手动通过analyze命令,触发统计信息收集。如果没有插入数据,analyze命令执行完之后,再通过desc formatted ta
在样例工程的target下生成含有“flink-dws-sink-example-1.0.0-SNAPSHOT”字段的Jar包。 在Linux上进入客户端安装目录,如“/opt/client/Flink/flink/conf”作为作为运行目录,将1中生成的“target”目录下包
xxx:21005 mytopic 10 开发思路 接收Kafka中数据,生成相应DataStreamReader。 进行分类统计。 计算结果,并进行打印。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“