检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
个进程下。 如果用户安装安全模式需要使用kerberos认证和security cookie认证。 表1 安全认证方式 安全认证方式 配置方法 Kerberos认证(当前只支持keytab认证方式) 从FusionInsight Manager上下载准备集群认证用户信息创建的用户
[JSON 'null'] 在从JSON转换为ROW时,支持JSON数组和JSON对象。 JSON数组可以具有混合元素类型,JSON Map可以有混合值类型。这使得在某些情况下无法将其转换为SQL数组和Map。为了解决该问题,HetuEngine支持对数组和Map进行部分转换: SELECT
= input.getString(0); String[] words = sentence.split(" "); for (String word : words) { word = word.trim();
t的write方法写入数据。 调用fSystem的append接口创建FSDataOutputStream对象:out,使用out的write方法追加写入数据。 调用fSystem的open接口创建FSDataInputStream对象:in,使用in的read方法读取文件。 调
jks复制至IntelliJ IDEA工程的conf目录下,并在客户端代码中(Producer.java或者Consumer.java的构造方法)添加如下代码: //truststore文件地址 props.put("ssl.truststore.location", System
(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。
erberos认证的用户名称,Kerberos认证所需要的客户端配置krb5.conf文件。 方法login()为调用hadoop的接口执行Kerberos认证,生成TGT票据。 方法doSth()调用hadoop的接口访问文件系统,此时底层RPC会自动携带TGT去Kerberos认证,生成ST票据。
for operations: Read from hosts: * Topic设置acl,test无权限进行consumer操作。 解决方法参考2。 通过SSH登录Kafka Broker: 通过cd /var/log/Bigdata/kafka/broker命令进入日志目录。
出现重复消息;只能实现单会话上的幂等性,这里的会话指的是Producer进程的一次运行,即重启Producer进程后,幂等性不保证。 开启方法: 二次开发代码中添加 “props.put(“enable.idempotence”,true)”。 客户端配置文件中添加 “enable
出现重复消息;只能实现单会话上的幂等性,这里的会话指的是Producer进程的一次运行,即重启Producer进程后,幂等性不保证。 开启方法: 二次开发代码中添加“props.put(“enable.idempotence”,true)”。 客户端配置文件中添加“enable.idempotence
queries(如:lightweight delete)执行过程中被中断之后,即便开启隐式事务能力,也无法回滚,与开源保持一致。 分布式表事务性插入使用方法: 登录FusionInsight Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,修改参数_clickhouse
连接到服务器失败,请检查网络连接或参数设置。 使用VNC方式,登录弹性云服务器(B集群)。参见登录弹性云服务器(VNC方式) 。 所有镜像均支持Cloud-init特性。Cloud-init预配置的用户名“root”,密码为创建集群时设置的密码。 执行以下命令切换到客户端目录,例如“/opt/Bigdata/client”:
keytab文件从下载用户flume_hdfs的kerberos证书文件中获取,另外,确保用于安装和运行Flume客户端的用户对user.keytab文件有读写权限。 hdfs.useLocalTimeStamp 是否使用本地时间,取值为"true"或者"false"。 true 登录FusionInsight
表2 属性描述 属性 描述 carbon.options.bad.records.logger.enable 启用或禁用bad record日志记录。 carbon.options.bad.records.action 指定bad record操作,例如,强制(force),重定
renew_lifetime”和“kdc_max_renewable_life”的值。 下载并安装HDFS客户端。 获取相关配置文件。获取方法如下: 在安装好的HDFS客户端目录下找到目录“/opt/clientHDFS/HDFS/hadoop/etc/hadoop”,在该目录下获取到配置文件“core-site
的用户名称、Kerberos认证所需要的客户端配置“krb5.conf”文件。 login()方法为调用hadoop的接口执行Kerberos认证,生成TGT票据。 doSth()方法调用hadoop的接口访问文件系统,此时底层RPC会自动携带TGT去Kerberos认证,生成ST票据。
from hosts: * Topic设置ACL,用户test_user具有producer权限。test无权限进行producer操作。 解决方法参考2。 通过SSH登录Kafka Broker: 通过cd /var/log/Bigdata/kafka/broker命令进入日志目录。
ZookeeperBasedLockProvider hoodie.write.lock.hivemetastore.database Hive的database 无 hoodie.write.lock.hivemetastore.table Hive的table name 无 hoodie
系统软件安装完成后自动清除Tomcat安装包。 应用程序目录下针对工程禁用自动部署功能,只部署了web、cas和client三个工程。 禁用部分未使用的HTTP方法,防止被他人利用攻击。 更改Tomcat服务器默认shutdown端口号和命令,避免被黑客捕获利用关闭服务器,降低对服务器和应用的威胁。
假设单个磁盘大小为M,该磁盘上有n个Partition(P0,P1……Pn),并且其中第m个Partition的每秒写入数据流量为Q(Pm) MB/s(计算方法:所属Topic的数据流量除以Partition数) 、数据保存时间为T(Pm)小时,那么单个磁盘必须满足: 根据吞吐量粗略计算,假设生产