检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cutor-memory指定内存大小; 对于同时运行的task太多,主要看--executor-cores设置的vcore数量。 问题2: 需要在相应的task的日志里面查找异常原因。如果有OOM的情况,请参照问题1。 父主题: 使用Spark
连接ClickHouse查询表数据。 clickhouse client --host ClickHouse的实例IP --user 登录名 --password '密码'--port ClickHouse的端口号 --secure --multiline 执行查询命令查询ClickHou
> 备份管理”。 在任务列表指定任务的“操作”列,选择“更多 > 查询历史”,打开备份任务执行历史记录。 在弹出的窗口中,在指定一次执行成功记录的“备份路径”列,单击“查看”,打开此次任务执行的备份路径信息,查找以下信息: “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。
REPLICATION SLAVE on *.* to 'maxwell'@'%'; 若Maxwell部署在MySQL机器上,则创建的maxwell用户可以设置为只能在本机登录数据库,此时创建命令为 mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION
REPLICATION SLAVE on *.* to 'maxwell'@'%'; 如果Maxwell部署在MySQL机器上,则创建的maxwell用户可以设置为只能在本机登录数据库,此时创建命令为 mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION
为便于操作,当子租户值为-1时,父租户值可以设置为具体限制值;当父租户设置为具体限制值时,子租户可以设置为-1。 “每个YARN容器最多分配核数”和“每个YARN容器最大分配内存(MB)”需要同时修改为非-1的值才会生效。 对于开启了跨资源池调度的队列,在作业运行过程中不能删除已
2版本并设置参数“delete.topic.enable = true”的集群支持) 支持批量生成多个主题的分区分配,并可选择要使用的分区方案 支持批量运行重新分配多个主题的分区 支持为已有主题增加分区 支持更新现有主题的配置 可以为分区级别和主题级别度量标准启用JMX查询 可以过滤掉zookeeper中没有ids
例如以下业务场景,对于一个银行客户: 在白天HBase查询服务的业务多。 在晚上查询服务的业务少而Hive分析服务业务多。 如果只给每个服务设置固定的资源可能会导致: 白天查询服务的资源不够用,分析服务的资源空闲。 晚上分析服务的资源不够用,查询服务的资源空闲。 集群资源利用率不高,而且服务能力也打了折扣。因此:
配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。 正确配置参数“spark.dynamicAllocation.maxExecutors”,不推荐使用默认值(2048
配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。 正确配置参数“spark.dynamicAllocation.maxExecutors”,不推荐使用默认值(2048
Impala 机机 加入impala和supergroup组,设置其“主组”为supergroup。 Storm/CQL 人机 加入storm组。 ClickHouse 人机 加入developgroup和supergroup组,设置其“主组”为supergroup,并添加具有ClickHouse权限的角色。
口: 方法 说明 public void setFileColumn() 设置这个列族为存储文件的列族。 public void setFileThreshold(int fileThreshold) 设置存储文件大小的阈值。 org.apache.hadoop.hbase.filestream
避免程序出现未知异常。可以使用try-catch块来处理异常,并在必要时记录异常信息。 UDF中应避免定义静态集合类用于临时数据的存储,或查询外部数据存在较大对象,否则会导致内存占用过高。 应该避免类中import的包和服务侧包冲突,可通过grep -lr "完全限定类名"命令来
test.c“MRS_Services_ClientConfig/HDFS/hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数,建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr
Okerberos依赖的OLdap资源异常。 处理步骤 检查Manager中的OKerberos依赖的OLdap资源是否异常。 登录主管理节点。 执行以下命令,查询当前HA管理的OLdap资源状态是否正常。 sh ${BIGDATA_HOME}/OMSV100R001C00x8664/workspac
新增作业并执行(废弃) 功能介绍 在MRS集群中新增一个作业,并执行作业。该接口不兼容Sahara。 集群ID可参考查询集群列表接口获取。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。 接口约束 DistCp作业需要配置文件操作类型(file_action)。
”的“容器内存(MB)”和“JVM”的“-Xmx”的值。 控制单个查询在单个Worker的内存使用大小 在“自定义配置”中单击“增加”,添加2个同名参数“query.max-memory-per-node”,值设置为小于“JVM”中“-Xmx”值的70%的值,参数文件分别选择“coordinator
其他: --创建视图 create view orders_by_date as select * from orders; --设置表的注释信息,可以通过设置注释信息为NULL来删除注释 COMMENT ON TABLE people IS 'master table'; --创建一个具有列名id、name的新表:
Manager界面操作: 登录MRS Manager。 选择“系统设置 > 用户管理”。 在操作用户对应的“操作”列,单击“修改”。 为用户加入kafkaadmin组。 图1 为用户加入kafkaadmin组 通过命令id查询用户组信息。 [root@10-10-144-2 client]#
timeline-service.generic-application-history.enabled”(客户端查询app任务数据时是否从TimelineServer服务获取)参数设置为“false”,直接从ResourceManager上面获取app任务数据。 处理步骤 登录FusionInsight