检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ift-example”为ThriftServer实例服务的调用实现。 前提条件 已获取样例工程运行所需的配置文件及认证文件,详细操作请参见准备连接HBase集群配置文件。 配置样例代码 代码认证 以下代码在“hbase-thrift-example”样例工程的“com.huawei
将样例工程中的“hbase-python-example”文件夹上传到集群Master节点的“/opt/hbase-examples”下,并上传从准备HBase应用开发用户中获取的认证文件至该目录下。 在“/opt/hbase-examples”新建hbasepython.properties文件,并修改配置内容如下。
jks –keypass <password> 其中,<ca.crt_path>为拷贝的ca.crt文件路径,<keystore_path>为truststore.jks文件生成路径,<password>为truststore密码,可根据需要指定。命令中如果携带认证密码信息可能
} [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 “login”方法中的参数“java
an。 clean_hours_retained clean保留多长时间内的数据文件。 否,默认24小时。 clean_commits_retained clean保留多少commits写的数据文件。 否,默认10。 archive_policy archive使用的执行策略。 否,默认使用时间策略。
多主实例模式相比主备模式的HA方案,优势主要体现在对以下两种场景的改进。 主备模式下,当发生主备切换时,会存在一段时间内服务不可用,该时间JDBCServer无法控制,取决于Yarn服务的资源情况。 Spark中通过类似于HiveServer2的Thrift JDBC提供服务,用户通过Beeline
history:查询历史集群列表,包括所有“已删除”、删除集群失败、集群删除虚拟机失败、删除集群更新数据库失败等状态的集群。 starting:查询启动中的集群列表。 running:查询运行中的集群列表。 terminated:查询已删除的集群列表。 failed:查询失败的集群列表。 abnormal:查询异常的集群列表。
/hbase/WALs/xxxx.meta”报错。 由于meta表在HDFS故障恢复后的上线过程中无法记录上线状态,导致meta表无法正常上线,且Manager实例健康检查自动恢复重试存在重试次数限制,最终导致meta表上线失败。因此,HDFS退出安全模式后,需要手动介入进行恢复。 处理步骤 确认HDFS已解决相关异常问题,退出安全模式。
示例:执行下面SQL语句,a表倾斜或b表倾斜都无法触发该优化。 select aid FROM a FULL OUTER JOIN b ON aid=bid; 不支持LEFT OUTER JOIN的右表倾斜处理。 示例:执行下面SQL语句,b表倾斜无法触发该优化。 select aid FROM
对系统的影响 业务延迟: 主机内存使用率过高时,可能会导致业务进程运行处理缓慢、业务延迟。 业务失败:主机内存使用率过高时,可能会导致业务进程内存溢出,可能会导致作业运行失败。 可能原因 内存配置无法满足业务需求。内存使用率达到上限。 处理步骤 对系统进行扩容。 打开FusionInsight
如果“启用Ranger鉴权”是灰色,表示已开启Ranger鉴权,如图1所示。 已启用Ranger授权的组件(HDFS与Yarn除外),Manager上非系统默认角色的权限将无法生效,需要通过配置Ranger策略为用户组赋权。 图1 启用Ranger鉴权 滚动重启服务或者重启服务。 父主题: 使用Ranger(MRS
当在Filter中使用Big Double类型数值时,过滤结果与Hive不一致 executor内存不足导致查询性能下降 为什么数据查询/加载失败,且发生“org.apache.carbondata.core.memory.MemoryException: Not enough memory”异常?
在MRS Manager界面选择“系统设置>用户管理”,在用户名中选择sparkuser,单击操作中下载认证凭据文件,保存后解压得到用户的keytab文件与krb5.conf文件。用于在样例工程中进行安全认证,具体使用请参考准备认证机制代码。 父主题: 准备Spark应用开发环境
重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行4。 在Doris服务重启期间服务不可用,不能对外提供服务,且其他连接Doris运行的任务也会失败。 在实例重启期间,运行在对应实例节点上的任务会失败,未进行重启的实例节点上的任务不受影响。 收集故障信息。 在FusionInsight
分别查看告警节点和其他JournalNode节点的“/srv/BigData/journalnode/hacluster/current”路径下最新的edits日志文件,发现告警节点与其他节点存在不同步的情况。 解决办法 登录FusionInsight Manager,选择“集群 > 服务 > HDFS >
de节点上读取数据。 数据保密性 MRS分布式文件系统在Apache Hadoop版本基础上提供对文件内容的加密存储功能,避免敏感数据明文存储,提升数据安全性。 业务应用只需对指定的敏感数据进行加密,加解密过程业务完全不感知。在文件系统数据加密基础上,Hive服务支持列加密(参见
luster模式下稍有不同。 yarn-client模式下 在除--jars参数外,在客户端“spark-defaults.conf”配置文件中,将“spark.driver.extraClassPath”参数值中添加客户端依赖包路径,如“$SPARK_HOME/lib/streamingClient/*”。
在连接的TSD实例上绑定EIP,并把该EIP及该TSD实例的主机名配置到hosts中,linux环境需修改文件位置为“/etc/hosts”,Windows环境需修改的文件位置为“C:\Windows\System32\drivers\etc\hosts”。 例如,访问的TSD实
cookie认证。根据日志提示,发现配置文件中“security.kerberos.login.keytab :”配置项错误,未进行安全配置。 解决办法 从MRS上下载用户的keytab认证文件,并放置到Flink客户端所在节点的某个目录下。 在“flink-conf.yaml”文件中配置: keytab路径。
nt.tar 执行以下命令校验安装文件包。 sha256sum -c /opt/MRS_Services_ClientConfig.tar.sha256 MRS_Services_ClientConfig.tar:OK 执行以下命令解压安装文件包。 tar -xvf /opt/M