检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
on文件运行时出现段错误。 解决方案 方案一: 修改Spark2x客户端conf目录下spark-default.conf文件,清空(直接赋值为空) 配置项spark.driver.extraLibraryPath、spark.yarn.cluster.driver.extraLibraryPath和spark
使用Hue提交Oozie SSH作业 使用Hue提交Coordinator定时调度作业 使用Hue提交提交Bundle批处理作业 在Hue界面中查询Oozie作业结果 配置Oozie节点间用户互信 父主题: 使用Oozie
forName("org.apache.hive.jdbc.HiveDriver").newInstance(); 获取JDBC连接,执行HQL,输出查询的列名和结果到控制台,关闭JDBC连接。 连接字符串中的“zk.quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper
的过滤器中触发Select查询,则执行子查询,并将输出作为IN过滤器广播到左表,否则将执行SortMergeSemiJoin。建议在IN过滤器子查询未返回太多记录时启用此参数。例如,IN子句子查询返回10k或更少的记录时,启用此参数将更快地给出查询结果。 示例:select * from
的操作。以下开发程序示例中,全部通过clickhouse-jdbc API接口来进行描述。 设置属性 建立连接 创建库 创建表 插入数据 查询数据 删除表 父主题: 开发ClickHouse应用
|grep LISTEN查询tomcat的进程号。 执行kill -9 {pid},其中{pid}为上一步中查询到的进程号。 等待进程自动重启,可以执行netstat -anp |grep 28443 |grep LISTEN查看进程是否启动,如果可以查到结果说明进程启动成功。 为
此处的配置修改权限,指的是Broker、Broker Logger的配置权限。 当授予用户配置修改权限后,即使不授予配置查询权限也可查询配置详情(配置修改权限高于且包含配置查询权限)。 设置用户对Cluster的配置查询权限 在“cluster”右侧输入并选择集群名。 在“Allow Conditions”区域,单击“Select
xml 配置Yarn详细参数。 spark-defaults.conf 配置Spark详细参数。 spark-env.sh Spark环境变量配置文件。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要复制解压目录下的“hosts”文件中的内容到客户端所在节点的
PMS进程占用内存高 用户问题 主Master节点内存使用率高如何处理? 问题现象 主Master节点内存使用率高,且用top -c命令查询的内存占用量高的是如下idle的进程。 原因分析 PostgreSQL缓存:除了常见的执行计划缓存、数据缓存,PostgreSQL为了提高生
372,036,854,775,807。 Decimal 默认值是(10,0),最大值是(38,38)。 说明: 当进行带过滤条件的查询时,为了得到准确的结果,需要在数字后面加上BD。例如,select * from carbon_table where num = 1234567890123456
对连接器进行创建、更新、查询和删除,以及对Loader作业进行创建、更新、查询、删除、启动和停止等操作。 本章节适用于MRS 3.x及后续版本。 loader-tool工具是异步接口,命令提交后其结果不会实时返回到控制台,因此对连接器的创建、更新、查询和删除等操作,以及对Loa
检查DataNode实例。 在MRS集群详情页面,单击“组件管理 > HDFS > 实例”。 查看所有DataNode实例的状态是否为“良好”。 是,执行3。 否,执行1.c。 重启DataNode实例,查看能否成功启动。 是,执行2.b。 否,执行2.a。 删除被破坏的文件。 在集群节点使用客户端。执行hdfs
操作。删除外部表时,只删除掉元数据。 根据已有表创建新表,使用CREATE LIKE句式,完全复制原有的表结构,包括表的存储格式。 根据查询结果创建新表,使用CREATE AS SELECT句式。 这种方式比较灵活,可以在复制原表表结构的同时指定要复制哪些字段,不包括表的存储格式。
|grep LISTEN查询tomcat的进程号。 执行kill -9 {pid},其中{pid}为上一步中查询到的进程号。 等待进程自动重启,可以执行netstat -anp |grep 28443 |grep LISTEN查看进程是否启动,如果可以查到结果说明进程启动成功。 为
个修改即可。 执行su - omm命令切换到omm用户。 如果是安全集群,需要执行kinit hdfs命令进行认证。 执行如下命令,将环境变量脚本加载到环境中。 cd ${BIGDATA_HOME}/MRS_X.X.X/1_8_Zkfc/etc source ${BIGDATA_HOME}/MRS_X
检查NameNode节点是否进入安全模式。 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看该告警的详细信息,在定位信息中查看发生该告警的主机名称。 选择“集群 > 服务 > HDFS”,单击“NameNode Web UI”后的“NameNode
Content-Type: application/json; charset=UTF-8 Content-Length: 0 查询数据。例如,可查询指标testdata在过去三年中的汇总信息。 curl -ks https://<tsd_ip>:4242/api/query?s
使用Hue提交Oozie SSH作业 使用Hue提交Coordinator定时调度作业 使用Hue提交Bundle批处理作业 在Hue界面中查询Oozie作业结果 配置Oozie节点间用户互信 父主题: 使用Oozie
然后在该目录下创建“conf”目录,将“user.keytab” 和 "krb5.conf"拷贝至“conf”目录。可参考6 。 配置环境变量。 source /opt/client/bigdata_env 执行如下命令,运行Jar包。 hadoop jar hdfs-examples-1
可能会影响HDFS的使用性能。 如果“table_blocksize”值太大,数据查询时,索引匹配的block数据量较大,某些block会包含较多的blocklet,导致读取并发度不高,从而降低查询性能。 一般情况下,建议根据数据量级别来选择大小。例如:GB级别用256,TB级别用512,PB级别用1024。