检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
此时用户没有生效,或者sssd版本存在bug的情况下,某些情况下在ZooKeeper节点会出现用户无效的情况,导致创建Topic异常。 解决办法 重启sssd/nscd服务。 Red Hat/Euler service sssd restart SUSE sevice nscd restart
comparator,filterIfMissing,latestVersionOnly)"} hbase shell下面做复杂的查询请使用API进行处理。 参数说明: family:需要查询的列所在的列族,例如info; qualifier:需要查询的列,例如name; compareOp:比较符,例如=、>等;
件“flink-conf.yaml”中配置“jobmanager.web.port”来修改监测端口。 使用Netty和Netty路由器库来处理REST请求和解析URL。 REST API接口的执行方式是通过HTTP请求进行。 HTTP请求的格式为:http://<JobManag
comparator,filterIfMissing,latestVersionOnly)"} hbase shell下面做复杂的查询请使用API进行处理。 参数说明: family:需要查询的列所在的列族,例如info; qualifier:需要查询的列,例如name; compareOp:比较符,例如=、>等;
comparator,filterIfMissing,latestVersionOnly)"} hbase shell下面做复杂的查询请使用API进行处理。 参数说明: family:需要查询的列所在的列族,例如info; qualifier:需要查询的列,例如name; compareOp:比较符,例如=、>等;
Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDFS客户端对HDFS文件进行操作,使用Hive客户端对Hive表进行操作。 执行HQL语句 在“Database”右侧下拉列
HDFS日志介绍 日志描述 日志存储路径:HDFS相关日志的默认存储路径为“/var/log/Bigdata/hdfs/角色名”。 NameNode:“/var/log/Bigdata/hdfs/nn”(运行日志),“/var/log/Bigdata/audit/hdfs/nn”(审计日志)。
Doris日志介绍 日志描述 日志路径:Doris相关日志的默认存储路径为“/var/log/Bigdata/doris/角色名”。 FE:“/var/log/Bigdata/doris/fe”(运行日志),“/var/log/Bigdata/audit/doris/fe”(审计日志)。
batch时,会对不同的分区创建一个目录。如果一个batch里面的数据对应了过多的分区,那么一次insert就会生成较多的分区目录,后台merge线程处理速度跟不上分区增加的速度,社区规格是每秒不超过一个数据目录。 具体的操作:确认一个batch的数据对应了多少个分区,insert的时候,尽量保证一个batch包含的分区数是1。
FangBo LiuYang YuanJing GuoYijun CaiXuyu FangBo 数据规划 Spark Streaming样例工程的数据存储在Kafka组件中。向Kafka组件发送数据(需要有Kafka权限用户)。 确保集群安装完成,包括HDFS、Yarn、Spark和Kafka。
件“flink-conf.yaml”中配置“jobmanager.web.port”来修改监测端口。 使用Netty和Netty路由器库来处理REST请求和解析URL。 REST API接口的执行方式是通过HTTP请求进行。 HTTP请求的格式为:http://<JobManag
件“flink-conf.yaml”中配置“jobmanager.web.port”来修改监测端口。 使用Netty和Netty路由器库来处理REST请求和解析URL。 REST API接口的执行方式是通过HTTP请求进行。 HTTP请求的格式为:http://<JobManag
clickhouse.map-string-as-varchar 是否将ClickHouse数据源String和FixedString类型处理成Varchar类型 默认值:true true clickhouse.socket-timeout 连接ClickHouse数据源超时时长
调整。 Kafka开源特性 可靠性 提供At-Least Once,At-Most Once,Exactly Once消息可靠传递。消息被处理的状态是在Consumer端维护,需要结合应用层实现Exactly Once。 高吞吐 同时为发布和订阅提供高吞吐量。 持久化 将消息持久
存继承了父进程的内存。 当有多个join执行的时候,启动多个localtask,如果机器内存不够,就会导致启动localtask失败。 解决办法 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击
登录Manager,选择“集群 > 服务 > Flink”,在“Flink WebUI”右侧,单击链接,访问Flink的WebUI。 参考如何创建FlinkServer作业,新建Flink SQL作业,作业类型选择“流作业”。在作业开发界面进行如下作业配置并启动作业。 需勾选“基
HDFS Colocation 功能简介 同分布(Colocation)功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性,将那些需进行关联操作的文件存放在相同数据节点上,在进行关联操作计算时避免了到别的数据节点上获取数据,大大降低网络带宽的占用。
assignment 通过Manager查询Broker创建Topic相关配置。 经确认,对该Topic操作的应用没有停止。 解决方法参考4。 解决办法 ZooKeeper连接失败导致。 Kafka客户端连接ZooKeeper服务超时。检查客户端到ZooKeeper的网络连通性。 网络连
参数解释: 单个引导操作脚本的运行状态。 约束限制: 不涉及 取值范围: PENDING:挂起 IN_PROGRESS:处理中 SUCCESS:处理成功 FAILURE:处理失败 默认取值: 不涉及 action_stages 否 Array of strings 参数解释: 选择引导操作脚本执行的时间。
视图权限在SparkSQL权限上的限制与列权限相似,详细如下: 在spark-sql模式下,只有视图权限而没有表权限,且没有HDFS的读取权限时,用户不能访问HDFS上存储的表的数据,即该情况下不支持对该表的视图进行查询。 Beeline/JDBCServer模式下,用户间赋权,例如将A用户创建的视图赋权给B用户时。