检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
quickcmds [-t threadsNumber] [-p principal] [-k keytab] -setrep <rep> <path> ... threadsNumber:并发线程数,默认为本机CPU核数 principal:Kerberos用户 keytab:Keytab文件 rep:副本数
quickcmds [-t threadsNumber] [-p principal] [-k keytab] -setrep <rep> <path> ... threadsNumber:并发线程数,默认为本机CPU核数 principal:Kerberos用户 keytab:Keytab文件 rep:副本数
单击“安全组”右侧的安全组名称进入安全组控制台,在入方向规则页签中添加一个“协议端口”为TCP 3306,“源地址”为Hive的MetaStore实例所在的所有节点IP的规则。 Ranger仅支持对接RDS服务MySQL数据库,版本号为:MySQL 5.7.x、MySQL 8.0。
当的时间进行补丁安装。 MRS 3.2.0-LTS.1版本打了补丁后,升级客户端以及升级zip包的步骤不能省略,若没有执行此操作,会影响Spark、HDFS、Flink等组件的补丁生效,会导致Spark client模式的作业运行失败。 MRS 3.2.0-LTS.1.1版本的补
[root@xxxxx ~]# cat /proc/sys/net/ipv4/neigh/default/gc_thresh* 128 512 1024 [root@xxxxx ~]# echo 512 > /proc/sys/net/ipv4/neigh/default/gc_thresh1
"Development tools" -y yum -y install zlib zlib-devel yum -y install bzip2 bzip2-devel yum -y install ncurses ncurses-devel yum -y install readline
getTableName(tableName); TTableDescriptor descriptor = new TTableDescriptor(table); descriptor.setColumns( Collections.singletonList(new
进行扩容或者缩容;在缩容节点时,MRS会智能地选择负载最少或者迁移数据量最小节点,并且在缩容过程中,缩容节点不再接收新的任务,正在执行的任务继续执行,同时将该节点数据拷贝至其他节点,该节点进入退服状态,当该节点任务长时间运行无法结束时,会迁移至其他节点运行,最大限度地减少对集群业务的影响。
zookeeper.sasl.clientconfig=Client_new[1] # Principal of fi zookeeper server side. zookeeper.server.principal=zookeeper/hadoop.hadoop.com[2] # Set true
X.remotenn1”值为对端集群其中一个NameNode实例的业务IP和RPC端口,设置“haclusterX.remotenn2”值为对端集群另外一个NameNode实例的业务IP和RPC端口。按照“IP:port”格式填写。 针对MRS 3.x版本集群,登录FusionInsight
赖的OLdap资源是否异常。 以omm用户登录到集群中Manager所在节点主机。 通过登录FusionInsight Manager浮动IP节点,执行sh ${BIGDATA_HOME}/om-server/om/sbin/status-oms.sh脚本来查看当前Manager的双机信息。
日志归档规则:Flume日志启动了自动压缩归档功能,缺省情况下,当日志大小超过50MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。
// set the user's principal try { conf.set("username.client.kerberos.principal", principal); User
kinit 组件业务用户 代码认证(Kerberos安全认证): 通过获取客户端的principal和keytab文件在应用程序中进行认证,用于Kerberos安全认证的keytab文件和principal文件您可以联系管理员创建并获取,具体使用方法在样例代码中会有详细说明。 目前样例代
kinit 组件业务用户 代码认证(Kerberos安全认证): 通过获取客户端的principal和keytab文件在应用程序中进行认证,用于Kerberos安全认证的keytab文件和principal文件您可以联系管理员创建并获取,具体使用方法在样例代码中会有详细说明。 目前样例代
及使用全局二级索引。 该样例程序仅适用于MRS 3.3.0及之后版本。 场景说明 假定用户开发一个应用程序,其中一个功能需要记录用户信息及地址,记录数据如下表: 表1 用户信息表 id name age address 1 Zhang 20 CityA 2 Li 30 CityB
及使用全局二级索引。 该样例程序仅适用于MRS 3.3.0及之后版本。 场景说明 假定用户开发一个应用程序,其中一个功能需要记录用户信息及地址,记录数据如下表: 表1 用户信息表 id name age address 1 Zhang 20 CityA 2 Li 30 CityB
project-1.6.0.zip中。 /** * 参数解析: * <checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。 * <brokers>为获取元数据的Kafka地址。 */ object Dst
“Files”:表示上传用户文件到当前用户。 “Zip/Tgz/Bz2 file”:表示上传了一个压缩文件,在弹出框单击“Select ZIP, TGZ or BZ2 files”选择需要上传的压缩文件。系统会自动在HDFS中对文件解压。支持“ZIP”、“TGZ”和“BZ2”格式的压缩文件。
rk/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<zkNode2_Port>,<zkNode3_IP>:<zkNode3_Port>/;serviceDiscoveryMode=zo