检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该操作的客户端目录只是举例,请根据实际安装目录修改。 source /opt/client/bigdata_env 判断集群认证模式。 安全模式,执行kinit命令进行用户认证。 例如,使用oozieuser用户进行认证。 kinit oozieuser 普通模式,执行4。 执行以下命令,进入样例目录。
JDBC_PORT_NUM= #配置JDBC登录用户名 JDBC_USER_NAME= #配置JDBC登录用户密码 #密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全 JDBC_PASSWORD= #配置database表名 JDBC_BASE_TBL= 在Linux环境下安装Storm客户端。
只有运行中的集群且集群中的节点都在运行中才能进行该操作。 “缩容类型”选择“指定数量缩容”。 设置“缩容节点数量”,并单击“确定”。 缩容集群前需要检查集群安全组是否配置正确,要确保集群入方向安全组规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则。 若HDFS存在损坏的数据块,则缩容集群可能出现失败,请联系华为云支持人员处理。
JDK:支持1.8版本;IBM JDK:支持1.8.5.11版本。 TaiShan客户端:OpenJDK:支持1.8.0_272版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0,若使用IBM JDK,请配置启动参数“com
principal=hive/hadoop.hadoop.com;user.keytab=conf/hive.keytab"; 以上已经经过安全认证,所以Hive数据库的用户名和密码为null或者空。 如下: // 建立连接 connection = DriverManager.getConnection(url
HCatalog处理数据Java示例程序。 OpenTSDB opentsdb-examples 通过调用OpenTSDB接口可实现采集大规模集群中的监控类信息,并可实现数据的秒级查询。该样例程序主要实现写入数据、查询数据、删除数据等功能。 Spark spark-examples Spar
keytab security.kerberos.login.principal: flinkuser ... 配置安全认证。 执行以下命令,生成Flink客户端安全认证文件。 cd /opt/hadoopclient/Flink/flink/bin sh generate_keystore
demo_table WITH (format = 'ORC') AS SELECT * FROM tpch.sf1.customer; 图2 安全集群Presto建表返回结果 执行exit退出客户端。 父主题: 集群服务对接OBS示例
告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 登录客户端的节点,执行如下命令: cd {客户端安装路径} source bigdata_env 安全模式(开启Kerberos): kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP
Kafka > 实例”,在实例列表页面中查看并记录任意一个Broker实例业务IP地址。 Kafka连接端口:集群已启用Kerberos认证(安全模式)时Broker端口为“sasl.port”参数的值。集群未启用Kerberos认证(普通模式)时Broker端口为“port”的值。
因此,不支持用户对HDFS上的HBase目录进行quota值设置。上述问题可通过下述步骤解决: 在客户端命令提示符下运行kinit 用户名命令,使HBase用户获得安全认证。 运行hdfs dfs -count -q/hbase/data/<namespace>/<tableName>命令检查分配的磁盘空间quota。
确保配置文件consumer.properties中的group.id与命令中--group的参数均配置为待查询的group。 Kafka集群IP端口号安全模式下是21007,普通模式下是9092。 使用KafkaUI查看当前消费情况 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight
因此,不支持用户对HDFS上的HBase目录进行quota值设置。上述问题可通过下述步骤解决: 在客户端命令提示符下运行kinit 用户名命令,使HBase用户获得安全认证。 运行hdfs dfs -count -q/hbase/data/<namespace>/<tableName>命令检查分配的磁盘空间quota。
Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数值获取。 zookeeper.sasl.client:如果集群是安全模式,该值设置为“true”,否则设置为“false”,设置为“false”的情况下,“zookeeper.sasl.clientconfig”和“zookeeper
<MRS集群用户> 例如:kinit -kt /opt/hive_examples/conf/user.keytab hiveuser 在连接安全集群时需要在hive客户端的HCatalog的配置文件(例如:/opt/client/Hive/HCatalog/conf/hive-site
导致业务运行异常,如作业运行失败,作业运行缓慢等。 业务延迟:设备分区丢失,客户可能需要花费时间来恢复数据和系统,这可能会导致业务延迟。 安全风险:设备分区丢失可能会导致客户的重要数据被盗窃或泄漏,从而对客户的业务产生严重影响。 可能原因 硬盘被拔出。 硬盘离线、硬盘坏道等故障。
特性的连接器,专门对Oracle分区表的导入导出进行优化。 建议将SFTP服务器和数据库服务器与Loader部署在独立的子网中,以保障数据安全地导出。 与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connector)或者专用数据库连接器(oracle-
truststore.location] [ssl.truststore.password] 执行命令启动程序消费数据。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 bin/flink run --class com.huawei
conf”文件。Keytab文件用于在样例工程中进行安全认证,具体使用请参考各服务的开发指南指导。 如果用户类型是人机,需要先修改初始密码后再下载认证凭据文件,否则在使用时会提示“Password has expired - change password to reset”,导致安全认证失败。
Once、Exactly Once的数据处理模式。 安全机制 提供基于Kerberos的认证以及可插拔的授权机制,提供支持SSL的Storm UI以及Log Viewer界面,同时支持与大数据平台其他组件(如ZooKeeper,HDFS等)进行安全集成。 灵活的拓扑定义及部署 使用Flux