检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为INFO? 回答 登录Spark客户端节点,修改“{客户端安装目录}Spark/spark/conf/log4j.properties”配置文件,修改参数“Log4j.rootCategory”值为“INFO”,如下所示: 重新启动spark-sql客户端。 父主题: Spark常见问题
参考Kafka客户端使用实践,登录到Kafka客户端安装目录。 以Kafka客户端安装用户,登录Kafka安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下
Hive应用开发常用概念 客户端 客户端直接面向用户,可通过Java API、Thrift API访问服务端进行Hive的相关操作。 HQL语言 Hive Query Language,类SQL语句。 HCatalog HCatalog是建立在Hive元数据之上的一个表信息管理层
Spark重启成功后,选择“更多 > 下载客户端”,重新下载并安装Spark客户端,详细操作请参考安装客户端章节,并执行7。 如果不重新下载并安装客户端,则直接执行以下步骤更新Spark客户端配置文件(例如:客户端目录为“/opt/client”,具体以实际为准): 以root用户登录Spark客户端所在的节点,切换到客户端安装目录。
操作场景 在python3程序代码完成开发后,可以在Windows环境或者上传到Linux环境进行调测,和集群业务平面网络互通时,可以直接在本地进行调测。 操作步骤 参考导入并配置HetuEngine Python3样例工程章节,获取样例代码,获取hetu-jdbc-XXX.jar文件,并复制到自定义目录中。
操作场景 在python3程序代码完成开发后,可以在Windows环境或者上传到Linux环境进行调测,和集群业务平面网络互通时,可以直接在本地进行调测。 操作步骤 参考导入并配置HetuEngine Python3样例工程章节,获取样例代码,获取hetu-jdbc-XXX.jar文件,并复制到自定义目录中。
和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部表,如果数据要被多种工具共同处理,则应该使用外部表,可避免对该数据的误操作。删除外部表时,只删除掉元数据。 根据已有表创建新表,使用CREATE LIKE句式,完全复制原有的表结构,包括表的存储格式。
操作步骤 使用MySQL客户端连接Doris数据库时,在命令中新增“--enable-cleartext-plugin”,命令如下: mysql --enable-cleartext-plugin -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址
而“图表”是实时监控,每30秒刷新一次。 “图表”中的“租户CPU占用率平均值”的具体数值表示当前租户查询任务占用所有BE节点CPU资源的时间占比平均值。 由于排队设计不感知FE的个数,所以租户设置的并发数只在FE粒度生效,因此,“图表”中的“租户查询并发数总和”代表租户整体的并发情况。
Hive JDBC应用程序支持在安装Hive客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
MRS集群内角色或实例的堆栈信息采集功能依赖于JDK,具体参见“采集堆栈信息”章节。 安全风险说明:JDK中包含javac、jmap、jdb等调测工具,攻击者可以利用调测工具调试业务进程,可能造成进程中敏感信息泄露。但是此类攻击需要攻击者拿到集群节点的Shell权限后才可以执行,MRS集群部署在VP
Flink客户端执行命令报错“Error while parsing YAML configuration file : security.kerberos.login.principal:pippo” 问题背景与现象 客户端安装成功,执行客户端命令例如yarn-session.sh时报错,提示如下:
降低MapReduce客户端运行任务失败率 配置场景 当网络不稳定或者集群IO、CPU负载过高的情况下,通过调整如下参数值,降低客户端应用的失败率,保证应用的正常运行。 配置描述 在客户端的“mapred-site.xml”配置文件中调整如下参数。 “mapred-site.xm
FlinkServer对接Hive时创建集群连接 以具有FlinkServer管理员权限的用户访问FlinkServer WebUI界面,选择“系统管理 > 集群连接管理”,进入集群连接管理页面。 单击“创建集群连接”,在弹出的页面中填写集群连接信息,单击“测试”,测试连接成功后单击“确定”,完成集群连接创建。 例
原因分析 HDFS客户端的“hdfs-site.xml”文件中的dfs.blocksize大小没有更改,以客户端配置为准。 解决办法 确保“dfs.blocksize”为512的倍数。 重新下载安装客户端或者更改客户端配置。 dfs.blocksize是客户端配置,以客户端为准。若客户端不配置,以服务端为准。
Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3 sqlline
doBuild(PKIXValidator.java:392) ... 47 more 回答 通过https协议连接安全集群,服务端的证书没有被认证,导致连接失败。 可以用集群内节点上java jdk目录下的cacerts(例如:/opt/Bigdata/jdk1.8.0_2
不涉及 started_time Long 参数解释: 作业开始执行时间。单位:毫秒。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 submitted_time Long 参数解释: 作业提交时间。单位:毫秒。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及
r、Storm、Kafka。 使用客户端命令,提交Topology失败。 可能原因 Storm服务异常。 客户端用户没有进行安全认证或者认证过期。 提交拓扑中包含storm.yaml文件和服务端冲突。 原因分析 用户提交拓扑失败,可能原因客户端侧问题或者Storm侧问题。 查看Storm状态。
保存配置,然后单击“集群 > 服务”,在服务列表中重启Hive服务。 更新客户端配置文件。 登录Hive客户端所在的节点,执行以下命令修改Hive客户端配置文件目录下的“hivemetastore-site.xml”。 vi 客户端安装目录/Hive/config/hivemetastore-site