检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的? 回答 目前已有的SQL语句无法满足用户场景时,用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏,SparkSQL的UDF功能只允许具备a
支持50~100并发,对于简单的SQL查询,支持100~200左右查询。 如果集群有混合负载(要求极致性能的点查/范围查询和有大数据量聚合及join查询),建议将不同类型的负载拆分到不同集群;对于集群规划有远远超过100个并发业务系统,也需要设计将业务分摊到不同的集群。 父主题:
部分临时数据无法清空。 请确保Jar包和配置文件的用户权限与Flink客户端一致,例如都是omm用户,且权限为755。 MRS 3.2.1及以后版本使用-tm指定taskmanager内存不能小于4096MB。 运行DataStream(Scala和Java)样例程序。 在终端另
新增作业并执行(废弃) 功能介绍 在MRS集群中新增一个作业,并执行作业。该接口不兼容Sahara。 集群ID可参考查询集群列表接口获取。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。 接口约束 DistCp作业需要配置文件操作类型(file_action)。
TABLES命令用于显示所有在当前database中的table,或所有指定database的table。 命令格式 SHOW TABLES [IN db_name]; 参数描述 表1 SHOW TABLES参数描述 参数 描述 IN db_name Database名称,仅当需要显示指定Database的所有Table时配置。
说明: 该参数仅MRS 3.3.0及之后版本支持。 region_repair_data_volume ConfigNode 10 Region数据量大于此阈值后进行自动修复, 默认值为:10GB。 说明: 该参数仅MRS 3.3.0及之后版本支持。 dest_datanod
小限制为10MB问题,调整到200MB 解决ClickHouse修改密码后监控数据不显示问题 解决ClickHouse支持MySQL引擎表无法连接MySQL时进程启动问题 解决ClickHouse crash问题 解决ClickHouse冷热分离,dettach/attach一个
SHOW VIEWS 语法 SHOW VIEWS [IN/FROM database_name] [ LIKE pattern [ESCAPE escapeChar] ] 描述 列举指定Schema中所有满足条件的视图。 默认使用当前Schema,也可以通过in/from子句来指定Schema。
功能。 MRS 2.x及之前版本:单击“服务管理”。 选择“更多 > 同步配置”。 根据集群版本进行相关操作。 MRS 2.x及之前版本:进行身份验证,并勾选“重启配置过期的服务或实例。”,单击“确定”,开始为当前集群同步配置。操作结束。 MRS 3.x及之后版本:单击“确定”,
--detached:以分离方式运行job。 -files,--dependencyFiles <arg>:Flink程序依赖的文件。该参数适用于MRS 3.2.0及以后版本。 -n,--allowNonRestoredState: 从快照点恢复时允许跳过不能恢复的状态。比如删除了程序中某个操作符,那么在恢复快照点时需要增加该参数。
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时,不支持使用Hive类似的隐式类型转换来编写Impala SQL: Impala示例: select * from default.tbl_src where id = 10001; select
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时,不支持使用Hive类似的隐式类型转换来编写Impala SQL: Impala示例: select * from default.tbl_src where id = 10001; select
SparkSQL UDF功能的权限控制机制 问题 SparkSQL中UDF功能的权限控制机制是怎样的? 回答 目前已有的SQL语句无法满足用户场景时,用户可使用UDF功能进行自定义操作。 为确保数据安全以及UDF中的恶意代码对系统造成破坏,SparkSQL的UDF功能只允许具备a
执行analyze table语句,因资源不足出现任务卡住 问题 使用spark-sql执行analyze table语句,任务一直卡住,打印的信息如下: spark-sql> analyze table hivetable2 compute statistics; Query ID
processes where current_database='库名' and query like '%表名%' 查询是否有正在执行的mutation任务: select * from system.mutations where database='库名' and table='表名';
xml”中新增主备集群的相关配置。 将主备集群相关配置设置到HBaseMultiClusterConnection中(仅MRS 3.3.0及之后版本支持)。 在“hbase-dual.xml”中新增主备集群配置 将在准备MRS应用开发用户时获取的主集群keytab认证文件“user
使得调度器能够全局掌控集群的资源使用情况。Superior调度器采用了push调度模型,令调度更加精确、高效,大大提高了大集群下的资源使用率。另外,Superior调度器在NodeManager心跳间隔较大的情况下,调度性能依然优异,不牺牲调度性能,也能避免大集群环境下的“心跳风暴”。
HDFS Shell命令介绍 HDFS Shell 您可以使用HDFS Shell命令对HDFS文件系统进行操作,例如读文件、写文件等操作。 执行HDFS Shell的方法: 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Ker
Kudu应用程序开发思路 开发思路 通过典型场景,可以快速学习和掌握Kudu的开发过程,并对关键的接口函数有所了解。 作为存储引擎,通常情况下Kudu会和计算引擎一起协同工作: 首先在计算引擎上(比如Impala)用SQL语句创建表对象; 然后通过Kudu的驱动往这个表里写数据;
files.openCostInBytes”来设置一个partiton读取的最大字节,在一个partition中合并多个小文件来减少输出文件数及执行重命名文件操作的时间,从而减少执行INSERT...SELECT语句的时间。 上述优化操作并不能解决全部的性能问题,对于以下场景仍然需要较多时间: