检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<MRS集群用户> 例如:kinit -kt /opt/hive_examples/conf/user.keytab hiveuser 在连接安全集群时需要在hive客户端的HCatalog的配置文件(例如:/opt/client/Hive/HCatalog/conf/hive-site.xml)中添加如下配置:
在目标健康检查报告所在行,单击“下载”,下载报告文件。 配置健康检查报告保存数: 在不同时间、不同使用场景下,MRS集群、服务和主机产生的健康检查报告结果不完全相同。如果需要保存更多的报告用于比较时,可以在MRS Manager修改健康检查报告保存的文件数。健康检查报告保存的文件数不区分集群、服务或主机类型的健
modify.acls.groups”、“spark.ui.view.acls”和“spark.ui.view.acls.groups”参数修改后需要重新下载客户端。 父主题: Spark用户权限管理
JOIN时小表为右表。 Flink作业大小表Join去重 在双流关联的业务模型中,关联算子接收到其中一个流发送的大量重复数据,则会导致下游算子需要处理大量重复数据,影响作业性能。 如A表字段(P1,A1,A2)使用如下方式关联B表字段(P1,B1,B2,B3)生成C的场景中,B表信息
xml”、“hbase-site.xml”、“hdfs-site.xml”,并将其放置到“src/main/resources/conf/active”目录下,该目录需要自己创建。 参考准备连接HBase集群配置文件章节,获取备集群客户端配置文件“core-site.xml”、“hbase-site.xml”、“hdfs-site
utPath>指HDFS文件系统中input的路径,<outputPath>指HDFS文件系统中output的路径。 在执行以上命令之前,需要把log1.txt和log2.txt这两个文件上传到HDFS的<inputPath>目录下。参考MapReduce统计样例程序开发思路。
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
"dataType" : "INT" } ], "watermarkSpecs" : [ ] }, "partitionKeys" : [ ], "options"
"node_root_password": "xxx", "log_collection": 1, "mrs_ecs_default_agency": "MRS_ECS_DEFAULT_AGENCY", "tags": [ { "key": "tag1",
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
支持Kerberos认证的SSL加密访问 获取参数“sasl-ssl.port”的值,默认为21009 Topic的ACL设置 Topic的权限信息,需要在Linux客户端上,使用“kafka-acls.sh”脚本进行查看和设置,具体可参考Kafka用户权限说明。 针对不同的Topic访问场景,Kafka中API使用说明
t_range |cut -f 2命令,获得结束端口值,相减得到临时端口总数,若临时端口总数小于28232,说明操作系统随机端口范围太小,需要联系系统管理员扩大端口范围。 执行命令ss -ant 2>/dev/null | grep -v LISTEN | awk 'NR > 2
根据业务情况修改表的结构、删除或新增表,直到集群内该表在所有节点上元数据一致。等待5min,查看告警是否消除。 是,操作结束。 否,执行5。 若确认该表需要且已经被删除,手动清除告警,观察告警是否还会上报。 是,执行6。 否,操作结束。 收集故障信息 在FusionInsight Manager界面,选择“运维
服务 参数名称 参数说明 Hive HIVE_GC_OPTS HiveServer内存配置,异常配置可能导致HiveServer反复重启,需要排查实例进程健康状况。 hive.zookeeper.quorum Hive连接的ZooKeeper所在节点IP地址。 hive.zookeeper
创建Hive表,默认false,如果目标表不存在,则会创建目标表 --hive-table 指定Hive表 --table 关系型数据库表名 --columns 指定需要导入的关系型数据表字段 --query 指定查询语句,将查询结果导入 hcatalog参数 --hcatalog-database 指定H
no.acl.found”参数为“true”,重启Kafka服务。 删除Topic设置的ACL。 例如: kinit test_user 需要使用Kafka管理员用户(属于kafkaadmin组)操作。 例如: kafka-acls.sh --authorizer-properties
查看系统/tmp目录,发现存在user.keytab文件,且文件宿主非运行用户。 解决办法 提交拓扑时携带用户user.keytab文件。 提交拓扑时的用户需要和user.keytab文件用户一致。 删除/tmp目录下不对应的user.keytab文件。 父主题: 使用Storm
out)文件排查。 如下异常: Error: Could not find or load main class Xmx2048M 说明java虚拟机启动时,将Xmx2048M作为java进程的启动参数而不是JVM的启动参数了,如下将符号‘-’误删掉。 METASTORE_GC_OPTS=Xms1024M
utPath>指HDFS文件系统中input的路径,<outputPath>指HDFS文件系统中output的路径。 在执行以上命令之前,需要把log1.txt和log2.txt这两个文件上传到HDFS的<inputPath>目录下。参考MapReduce统计样例程序开发思路。
的当前状态信息。 startContainers(StartContainersRequest request) AM通过此接口向NM提供需要启动的containers列表的请求。 stopContainers(StopContainersRequest request) AM通