检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库模块,存储Client模块的元数据。 FloatIP 浮动IP,对外提供访问功能,只在主DBServer实例上启动浮动IP,Client模块通过该IP访问Database。 Client 使用DBService组件的客户端,部署在组件实例节点上,通过Floatip连接数据库,执行元数据的增加、删除、修改等操作。
sh查看当前消费情况。 查看Offset保存在Kafka上的Consumer Group列表: ./kafka-consumer-groups.sh --list --bootstrap-server <Broker的任意一个节点的业务IP:Kafka集群IP端口号> --command-config
UDTFExample”的UDF可以按如下流程进行: 将项目打成Jar包,如果使用Maven管理项目,可参考以下章节的“构建Jar包”部分: 开启Kerberos认证的集群请参考注册UDF。 关闭Kerberos认证的集群请参考注册UDF。 以root用户,登录IoTDBServer所在的节点,执行su
用于展示表或分区的详细信息。 可以使用规则运算表达式来同时匹配多个表,但不可用于匹配分区。 展示的信息将包括表的基本信息和相关的文件系统信息,其中文件系统信息包括总文件数、总文件大小、最大文件长度、最小文件长度、最后访问时间以及最后更新时间。如果指定了分区,将给出指定分区的文件系统信息,而不是分区所在表的文件系统信息。
安装和配置IDEA 用于开发Flink应用程序的工具。版本要求:2019.1或其他兼容版本。 安装Scala Scala开发环境的基本配置。版本要求:2.11.7。 安装Scala插件 Scala开发环境的基本配置。版本要求:1.5.4。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。
数据库配置—Derby数据库配置过程 首先应下载一个数据库,可根据具体场景选择最适合的数据库。 该任务以Derby数据库为例。Derby是一个小型的,java编写的,易于使用却适合大多数应用程序的开放源码数据库。 Derby数据库的获取。在官网下载最新版的Derby数据库(本示例使用10.14.1.0),通过
run(Thread.java:748) 回答 上述问题可能是因为网络内存枯竭而导致的。 问题的解决方案是根据实际场景适当增大网络设备的阈值级别。 例如: [root@xxxxx ~]# cat /proc/sys/net/ipv4/neigh/default/gc_thresh* 128 512
Manager 问题现象 在Mac电脑上无法使用Chrome浏览器访问MRS Manager。 原因分析 由于Mac电脑的证书限制导致无法访问。 处理步骤 复制MRS Manager的登录链接,使用Chrome浏览器访问。 显示MRS Manager登录页面,此时Chrome浏览器暂时还不能登录MRS
选择不同的Selector类型来将Source的数据进行分流或者复制,目前Flume提供的Channel Selector有两种:Replicating和Multiplexing。 Replicating:表示Source的数据同步发送给所有Channel。 Multiplexi
访问开启Kerberos的MRS Manager。 进入“系统设置 > 用户管理”,在指定的用户所在行单击“更多 >下载认证凭据”。 将下载获取到的zip文件解压缩,获取krb5.conf和该用户的keytab文件。 将krb5.conf和该用户的keytab文件拷贝到样例工程的conf目录中。
(Pending)的任务数量,并把挂起状态的任务数量和阈值进行比较。当检测到挂起状态的任务数超过阈值时产生该告警。 用户可通过在MRS Manager中的“系统设置 > 阈值配置 > 服务 > Yarn > 队列root正在挂起的任务 > 队列root正在挂起的任务”修改阈值。
SQL Join需在指定的窗口范围内进行。对窗口范围内的数据进行连接,需要至少一个相等连接谓词和一个绑定双方时间的条件。这个条件可以由两个适当的范围谓词(<、<=、>=、>),一个BETWEEN谓词或者一个单一的相等谓词来定义。这个相等谓词主要是比较两个输入表的同类型时间属性(比如处理时间或者事件时间)。
Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。 操作步骤 在IntelliJ IDEA中,在生成Jar包之前配置工程的Artifacts信息。 在IDEA主页面,选择“File
在“Files”的右侧单击 ,然后单击 指定该文件的存储目录。 可以单击 新增加一个文件资源。 在“Functions”的右侧单击 ,输入用户自定义的名称和函数的类名称。 可以单击 新增加一个自定义函数。 在“Settings”的右侧单击 ,在“Key”输入Hive的参数名,在“V
kinit 组件业务用户 代码认证(Kerberos安全认证): 通过获取客户端的principal和keytab文件在应用程序中进行认证,用于Kerberos安全认证的keytab文件和principal文件您可以联系管理员创建并获取,具体使用方法在样例代码中会有详细说明。 目前
CLI详细的使用方法参考官方网站的描述:http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell 提供了一个简单学习API的方法,类似于
JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端: Oracle
JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 安装JDK 开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端: Oracle
配置跨集群互信下Hive on HBase 两个开启Kerberos认证的互信集群中,使用Hive集群操作HBase集群,将目的端HBase集群的HBase关键配置项配置到源端Hive集群的HiveServer中。 前提条件 两个开启Kerberos认证的安全集群已完成跨集群互信配置。 跨集群配置Hive
HBase 本章节指导在两个开启Kerberos认证的互信集群中,使用Hive集群操作HBase集群,将目的端HBase集群的HBase关键配置项配置到源端Hive集群的HiveServer中。 前提条件 两个开启Kerberos认证的安全集群已完成跨集群互信配置。 跨集群配置Hive