检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
bigdata_env kinit 组件操作用户(例如developuser) 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper quorump
Hive用户权限管理 Hive用户权限说明 创建Hive角色 配置Hive表、列或数据库的用户权限 配置Hive业务使用其他组件的用户权限 父主题: 使用Hive
名称。进入ClickHouseServer“概览”页面,单击“配置文件”中的users.xml文件,查看ClickHouse用户密码。 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 创建指定数据库只读权限角色,有如下两种方案:
Hudi/component_env kinit 创建的用户 新创建的用户需要修改密码,更改密码后重新kinit登录。 普通模式(未开启kerberos认证)无需执行kinit命令。 多服务场景下,在source bigdata_env之后,请先source Spark服务的component_env,再去source
新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户 MRS用户无法同步至Ranger管理界面 父主题: 使用Ranger(MRS 3.x)
Loader常见问题 IE 10&IE 11浏览器无法保存数据 将Oracle数据库中的数据导入HDFS时各连接器的区别 父主题: 使用Loader
files in system。 图3 日志异常 通过lsof命令查看当前节点Kafka进程句柄使用情况,发现占用的句柄数达到了47万。 图4 句柄数 排查业务代码,不停地创建新的Producer对象,未正常关闭。 解决办法 停止当前应用,保证服务端句柄不再疯狂增加影响服务正常运行。 优化应用代码,解决句柄泄露问题。
如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 执行HBase组件的客户端命令。 hbase shell 父主题: 使用HBase
文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值,直到ZooKeeperServer正常。 表1 参数说明 参数 描述 默认值 syncLimit follower与leader进行同步的时间间隔(时长为ticket时长的倍数)。如果在该时间范围内leader没响应,连接将不能被建立。
UI页面无法跳转到Spark WebUI界面 【Spark WebUI】HistoryServer缓存的应用被回收导致此类应用页面访问时出错 【Spark WebUI】访问JobHistory中某个应用的原生页面时页面显示错误 【Spark WebUI】使用IE浏览器访问Spark2x WebUI界面失败
登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务 登录FusionInsight Manager界面,查看右上角任务。
登录华为云MRS管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查是否有正在运行的任务 登录FusionInsight Manager界面,查看右上角任务。
db_name 数据库名。如果未指定,则选择当前数据库。 table_name 表名。 col_name data_type 带数据类型且用逗号分隔的列的名称。列名称包含字母,数字和下划线(_)。 说明: 创建CarbonData表时,不要将列名命名为tupleId,PositionId和P
该问题是由于元数据表相关字段编码不是UTF 8,导致中文显示异常。 处理步骤 连接外置的元数据数据库,查看元数据表的VIEW_EXPANDED_TEXT和VIEW_ORIGINAL_TEXT字段的编码是否为UTF 8。 show full columns from TBLS; 执行以下命令,修改字段编码信息。
HDFS运维管理 HDFS常用配置参数 HDFS日志介绍 查看HDFS容量状态 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题:
Spark2x Spark2x基本原理 Spark2x多主实例 Spark2x多租户 Spark2x与其他组件的关系 Spark2x开源新特性说明 Spark跨源复杂数据的SQL查询优化 父主题: 组件介绍
HDFS运维管理 HDFS常用配置参数 HDFS日志介绍 规划HDFS容量 更改DataNode的存储目录 调整DataNode磁盘坏卷信息 配置HDFS token的最大存活时间 使用distcp命令跨集群复制HDFS数据 配置NFS服务器存储NameNode元数据 父主题: 使用HDFS
8.1.0.1/nodeagent/security/cert/subcert/certFile/ 将ca.crt文件下载到本地,以管理员的身份打开cmd。 输入如下命令: keytool -import -v -trustcacerts -alias ca -file "D:\xx\ca
登录FusionInsight Manager界面,选择“运维 > 备份恢复 > 恢复管理”,在任务列表中对应任务的“操作”列,单击“查询历史”,在弹出的窗口中,在指定一次执行记录前单击,即可查看相关的快照名称信息: Snapshot [ snapshot name ] is created successfully
登录FusionInsight Manager界面,选择“运维 > 备份恢复 > 恢复管理”,在任务列表中对应任务的“操作”列,单击“查询历史”,在弹出的窗口中,在指定一次执行记录前单击,即可查看相关的快照名称信息: Snapshot [ snapshot name ] is created successfully