检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi/component_env kinit 创建的用户 新创建的用户需要修改密码,更改密码后重新kinit登录。 普通模式(未开启kerberos认证)无需执行kinit命令。 多服务场景下,在source bigdata_env之后,请先source Spark服务的component_env,再去source
CDL”,单击“CDLService UI”右侧的超链接进入CDLService WebUI界面,在数据同步任务作业列表界面选择该作业所在行的“更多 > 停止”,等待任务停止完成后选择“更多 > 编辑”。 配置“Hudi表属性配置”的“Table Primarykey Mappin
New Policy”,为2新建的用户组添加相应OBS路径的“Read”和“Write”权限,OBS目录若不存在则需要提前创建,且不允许带通配符*。 图1 为Flink用户组新增OBS路径读和写的权限 父主题: MRS集群服务对接OBS示例
process is not quit。 解决办法 登录节点,后台通过执行ps -ef | grep HRegionServer发现确实存在一个残留的进程。 确认进程可以终止后,使用kill命令终止该进程(如果kill无法终止该进程,需要使用kill -9来强制终止该进程)。 重新启动HBase服务成功。
WebUI页面查看组件状态 使用具有Manager管理员权限的用户登录FusionInsight Manager页面,选择“集群 > 服务 > Doris”。 在概览页面,单击“FE WebUI”右侧的超链接进入Doris WebUI登录页面,输入具有Doris管理权限的用户名和密码(集群已启用Kerbe
通过impala-shell连接不上Impalad的21000端口 Impala集群查询数据的时候出现bad version和invalid TType错误 如何关闭MRS集群Impalad角色的cas认证 Impala查询parquet表的Schema和文件Schema不一致时报错 Impalad的session连接长时间没使用,但连接没有自动断开
AUTHORIZATION”区域的组件插件名称“OBS”。 单击“Add New Policy”,为1新建的用户组添加相应OBS路径的“Read”和“Write”权限。 例如,为用户组“obs_hadoop1”添加“obs://OBS并行文件系统名称/hadoop1”的“Read”和“Write”权限:
运行样例时提示Topic鉴权失败“example-metric1=TOPIC_AUTHORIZATION_FAILED”。 解决步骤 向管理员申请该Topic的访问权限。 如果拥有权限后还是无法访问该Topic,使用管理员用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka
ClickHouse常见问题 在System.disks表中查询到磁盘status是fault或者abnormal 如何迁移Hive/HDFS的数据到ClickHouse 如何迁移OBS/S3的数据到ClickHouse 使用辅助Zookeeper或者副本数据同步表数据时,日志报错 如何为ClickHouse用户赋予数据库级别的Select权限
新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户 MRS用户无法同步至Ranger管理界面 父主题: 使用Ranger(MRS 3.x)
SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据 cache table使用指导
运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 解决步骤 向管理员申请该Topic的访问权限。 如果拥有权限后还是无法访问该Topic,使用管理员用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka >
警产生。 使用客户端验证,通过hbase shell进入hbase命令行后,执行list验证需要运行多久。 开启HDFS的debug日志,然后查看下层目录很多的路径(hadoop fs -ls /XXX/XXX),验证需要运行多久。 打印HMaster进程jstack: su -
n“全部配置”页面。需将NodeManager的“yarn.nodemanager.recovery.enabled”配置项为“true”后才生效,默认为“true”,这样在YARN重启的异常场景时会定时删除多余的本地日志,避免问题的出现。 父主题: Yarn常见问题
表示Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL 表示Hue的审计日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_ERRORLOG_LEVEL 表示Hue的错误日志级别。
Manager,选择“集群 > 服务 > HetuEngine > 概览”,单击“HSConsole WebUI”的HSConsole链接进入计算实例界面。 选择并停止需要配置的计算实例,单击计算实例的“配置”,进入计算实例配置界面。 根据使用场景删除如下自定义配置并保存。 名称 值 参数文件 说明
用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“obs_hudi”,并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL AUTHORIZATION”区域的组件插件名称“OBS”。 单击“Add New
SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据 cache table使用指导
文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值,直到ZooKeeperServer正常。 表1 参数说明 参数 描述 默认值 syncLimit follower与leader进行同步的时间间隔(时长为ticket时长的倍数)。如果在该时间范围内leader没响应,连接将不能被建立。
stopGracefullyOnShutdown”默认为“false”,系统不会完全等待AM正常退出,所以概率性的会出现有时能正常退出,任务状态显示失败,有时异常退出,状态未来得及上报的情况。 处理步骤 执行Spark Streaming任务时,添加Spark任务参数“--conf spark