检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
理页面。 在首页中单击“HADOOP SQL”区域的组件插件名称如“Hive”。 单击“Policy Name”名称为“all - database, table, column”操作列的。 在“Allow Conditions”区域新增策略允许条件,“Select User”列勾选2
求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 使用AK/SK认证时,您可以基于签名算法使用AK/SK对请求进行签名,也可以使用专门的签名SDK对请求进行签名。详细的签名方法和SDK使用方法请参见AK/SK签名指南。
进入executor的日志中搜索作业ID,查看报错信息。 日志路径:/var/log/Bigdata/executor/logs/exe.log 修改“/opt/executor/webapps/executor/WEB-INF/classes/log4j.properties”文件开启
建议将参数“GC_OPTS”中“-XX:MaxDirectMemorySize”的值设置为“IoTDBServer进程使用的直接内存大小”的两倍(可根据实际业务场景进行修改)。 IoTDBServer进程使用的直接内存大小可以通过“定制 > 内存 > IoTDBServer直接内存资源状况”获取。若“GC_O
建议根据“Kafka直接内存资源状况”调整“KAFKA_HEAP_OPTS”的值为“Kafka使用的直接内存大小”的两倍(可根据实际业务场景进行修改)。“Kafka直接内存资源状况”可在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Kafka
是,处理完毕。 否,执行6。 重启实例期间实例不可用,当前实例节点的任务会执行失败。 检查Spark进程内存是否不足。 排查是否有内存相关的修改导致Spark进程内存不足。 是,执行7。 否,执行8。 保证Spark进程内存充足,或者考虑集群扩容,检查本告警是否恢复。 是,处理完毕。
比较“max.data.size”和“Xmx*0.65”的值的大小,较小的值乘以80%为ZooKeeper Znode容量的阈值,可适当修改这两项配置,增大阈值。 观察界面告警是否清除。 是,处理完毕。 否,执行8。 收集故障信息 在FusionInsight Manager界面,选择“运维
阈值(默认为最大非堆内存的90%)时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > MapReduce”修改阈值。 当MapReduce JobHistoryServer非堆内存使用率小于或等于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除
以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,例如安装目录为“/opt/client”,请用户根据实际情况修改。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 集群认证模式是否为安全模式。 是,执行以下命令进行用户认证,然后执行5。
BC二次样例; “客户端安装目录/JDBCTransaction”目录,用来调测事务二次样例。 登录客户端节点,进入jar文件上传目录下,修改文件权限为700。 cd 客户端安装目录/JDBC 或:cd 客户端安装目录/JDBCTransaction chmod 700 clickhouse-examples-*
二进制函数和运算符 二进制运算符 || 运算符执行连接。 二进制函数 length(binary) → bigint 返回binary的字节长度。 select length(x'00141f');-- 3 concat(binary1, ..., binaryN) → varbinary
EXPLAIN 语法 EXPLAIN [ ( option [, ...] ) ] statement 其中选项可以是以下选项之一: FORMAT { TEXT | GRAPHVIZ | JSON } TYPE { LOGICAL | DISTRIBUTED | VALIDATE
在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参数如表2所示,请根据实际情况修改对应参数值。 表2 参数描述 参数 示例参数值 描述 userPrincipal sparkuser 用户用于认证的账号Principal
在Spark样例工程代码中,不同的样例工程,使用的认证代码不同,基本安全认证或带ZooKeeper认证。样例工程中使用的示例认证参数如表2所示,请根据实际情况修改对应参数值。 表2 参数描述 参数 示例参数值 描述 userPrincipal sparkuser 用户用于认证的账号Principal
”参数中“-XX:MaxDirectMemorySize”的值为“TokenServer使用的直接内存大小”的两倍(可根据实际业务场景进行修改)。 重新启动受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 在重启服务或实例期间,可能会造成访问Guardian失败,从而导致作业无法访问OBS。
在ZooKeeper实例所在Linux节点使用ping命令,看能否ping通其他ZooKeeper实例所在节点的主机名。 是,执行15。 否,执行12。 修改“/etc/hosts”中的IP信息,添加主机名与IP地址的对应关系。 再次执行ping命令,查看能否在该ZooKeeper实例节点pin
和内存”,勾选“ZooKeeper堆内存与直接内存资源状况”,单击“确定”,查看ZooKeeper实际使用的堆内存大小。 根据堆内存实际使用量,修改GC_OPTS参数中的-Xmx值,该值一般为Zookeeper数据容量的2倍。例如当前ZooKeeper堆内存使用达到2G,则GC_OPTS建议配置为“-Xms4G
启用Kerberos认证(普通模式)请跳过该步骤。 kinit hdfs 按提示输入密码,用户密码可以向MRS集群管理员获取,首次认证需要修改密码。 执行以下命令退出HDFS安全模式。 hdfs dfsadmin -safemode leave 等待5分钟,检查该告警是否恢复。 是,执行6。
告警。 用户可通过“运维 >告警 >阈值设置 > 待操作集群的名称 > Hive > Hive已经使用的HDFS空间占可使用空间的百分比”修改阈值。 平滑次数为1,Hive数据仓库空间使用率小于或等于阈值时,告警恢复;平滑次数大于1,Hive数据仓库空间使用率小于或等于阈值的90%时,告警恢复。
出阈值(默认为最大堆内存的95%)时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Mapreduce”修改阈值。 平滑次数为1,MapReduce JobHistoryServer堆内存使用率小于或等于阈值时,告警恢复;平滑次数大于1,MapReduce