检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密码”:填写配置CIFS协议时设置的密码。
集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “服务器IP地址”:填写NAS服务器IP地址。 “端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密码”:填写配置CIFS协议时设置的密码。
通过JDBC方式实现查询HetuEngine SQL任务 功能简介 通过JDBC连接方式,使用用户名和密码连接到HetuEngine,组装对应的SQL发送到HetuEngine执行,并能查询对应的SQL语句执行进度和状态。 import io.XXX.jdbc.XXXResultSet;
购买MRS集群提交订单时报无效认证如何处理? 问: 购买MRS集群,提交订单时,报无效认证,怎么办? 答: 通过管理人员检查API请求日志发现告警信息为细粒度策略中未赋予IAM用户“mrs:cluster:create”的权限导致。 分析原因为当前IAM用户归属在多个用户组内,多
connection_timeout_ms zk连接超时时间 15000 hoodie.write.lock.zookeeper.port zk端口号 无 hoodie.write.lock.zookeeper.url zk的url 无 hoodie.write.lock.zookeeper
Kafka集群监控管理 Kafka集群监控管理包含以下内容: 查看Broker信息 查看Topic信息 查看Consumers信息 通过KafkaManager修改Topic的partition 查看Broker信息 登录KafkaManager的WebUI界面。 在集群列表页面
查询HBase全局二级索引信息 场景介绍 用户可以使用全局二级索引工具批量查看某个数据表相关索引的定义及状态。 查询HBase全局二级索引信息 在HBase客户端执行以下命令可查看索引的定义及状态: hbase org.apache.hadoop.hbase.hindex.global
操作Ldap最大时延(毫秒) 3000 Kerberos连接LDAP的超时时间,单位为毫秒。 搜索Ldap最大时延(毫秒) 3000 Kerberos在LDAP查询用户信息的超时时间,单位为毫秒。 Kadmin监听端口 21700 kadmin服务的端口。 KDC监听端口 21701 kinit服务的端口。
集群内用户密码的过期时间如何查询和修改? 查询密码有效期 查询组件运行用户(人机用户、机机用户)密码有效期: 以客户端安装用户,登录安装了客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client
'test_source', 'properties.bootstrap.servers' = 'Kafka的Broker实例业务IP:Kafka端口号', 'properties.group.id' = 'testGroup', 'scan.startup.mode' = 'latest-offset'
退出安全模式后启动,hfck检查丢了大概1 TB数据。 原因分析 查看NameNode原生页面发现有大量的块丢失。 图1 块丢失 查看原生页面Datanode Information发现显示的DataNode节点数和实际的相差10个节点。 图2 查看DataNode节点数 查看DateNode运行日志“/var
调优参数。 图1 Shuffle过程 操作步骤 Map阶段的调优 判断Map使用的内存大小 判断Map分配的内存是否足够,一个简单的办法是查看运行完成的job的Counters中,对应的task是否发生过多次GC,以及GC时间占总task运行时间之比。通常,GC时间不应超过task运行时间的10%,即GC
32:21007:kafka服务器的IP和端口。 系统域名:用户可登录FusionInsight Manager,单击“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 SSL加密配置 服务端配置。 配置“ssl.mode.enable”为“true”,如图2所示: 图2
"age":30, "msg":"31 years old"} 使用ClickHouse客户端登录3中ClickHouse实例节点,查询ClickHouse表数据。例如,查询kafka_dest_tbl3本地复制表,Kafka消息中的数据已经同步到该表。 select * from kafka_dest_tbl3;
初次启动JobGateway提交作业失败,无法提交到Yarn上,无launcher-job ID生成。 查看Yarn界面,无launcher-job队列: 查看Manager界面接口返回,显示有launcher-job信息: 查看所有的JobServer日志,均有“Create and modify launcher-job
> Impala”。 单击“查询管理”,列表默认显示所有正在进行的查询。 单击“已经结束的查询”可以查看已经完成查询的相关信息。 用户可以根据实际情况按照慢查询运行时长、查询id、用户、所属数据库进行查询。 用户可以通过“停止”操作手动停止正在进行查询的任务。 父主题: 使用Impala
运行Spark作业 运行SparkSql作业 运行HiveSql作业 运行Flink作业 如何监控集群 查看MRS云服务操作日志 查看和定制集群监控指标 导出服务日志 管理服务和主机监控 查看及导出审计日志 运维授权 如何使用集群组件 快速使用Flink客户端 快速使用Flume 快速使用Hadoop
Java Application”,设置Connection Properties,其中Host为运行的NodeManager节点IP,Port端口号为8000,然后单击“Debug”。 若使用IDE直接提交MapReduce任务,则IDE即成为客户端的角色,参考1修改二次开发工程中的“mapred-site
选择集群工作区域下关联的可用区。 可用区1 虚拟私有云 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 vpc-01 子网 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网,请单击“创建子网”进行创建。
Java Application”,设置Connection Properties,其中Host为运行的NodeManager节点IP,Port端口号为8000,然后单击“Debug”。 若使用IDE直接提交MapReduce任务,则IDE即成为客户端的角色,参考1修改二次开发工程中的“mapred-site