检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
答: Spark Job没有完成的任务日志保存在Core节点的“/srv/BigData/hadoop/data1/nm/containerlogs/”目录内。 Spark Job完成的任务日志保存在HDFS的“/tmp/logs/用户名/logs”目录内。 父主题: 作业管理类
[mainClass]:指jar包应用工程中的类的main方法。 <priority>:指定任务的优先级,其取值可为:VERY_HIGH、HIGH、NORMAL、LOW、VERY_LOW。 [path1]:指数据输入路径。 [path2]:指数据输出路径。
repair=true ( 192.168.67.78为异常的BE节点IP地址,29986为BE的HTTP Server的服务端口,可在Manager的Doris配置界面搜索“webserver_port”查看。 执行以下命令,获取DetailCmd。
MRS集群保留JDK说明 MRS集群是租户完全可控的大数据应用开发平台,用户基于平台开发业务后,将业务程序部署到大数据平台运行。由于需要具备开发调测能力,因此要在MRS集群中保留JDK。 此外,MRS集群功能中如下关键特性也强依赖JDK。
回答 登录HMaster WebUI,在导航栏选择“Procedure & Locks”,查看是否有处于Waiting状态的process id。
INFO [main] examples.PhoenixExample: 1 2020-03-13 14:54:14,270 INFO [main] examples.PhoenixExample: John 2020-03-13 14:54:14,270 INFO [main
2 NUMBER_PENDING_REQUEST: 3 NUMBER_RESERVED_CONTAINER: 1 MASTER_CONTAINER_ID: application_1443067302606_0609_01 MASTER_CONTAINER_RESOURCE:
\src\main\resources”目录下“com.huawei.bigdata.iotdb.IoTDBProperties”类,修改该类的IoTDBProperties()方法的proPath的值为“iotdb-example.properties”文件所在的绝对路径。
nohup sh install.sh rollback & 通过tail -f nohup.out查看执行情况(打印“rollback patch success.”表示执行完成)。 父主题: 回滚补丁
在左侧搜索框搜索“clickhouse-config-customize”,添加参数名:timezone,值:Asia/Shanghai,如下图所示: timezone参数值请与当地所在时区保持一致,UTC+8时区为Asia/Shanghai,UTC+0时区为Europe/London
写数据表设计调优 表2 影响实时写数据相关参数 配置参数 描述 默认值 COMPRESSION 配置数据的压缩算法,这里的压缩是HFile中block级别的压缩。对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。
表2 影响实时写数据相关参数 配置参数 描述 默认值 COMPRESSION 配置数据的压缩算法,这里的压缩是HFile中block级别的压缩。对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。
maintable_name 主表名。 注意事项 在执行此命令之前,使用REFRESH TABLE将主表和二级所索引表都注册到Hive元数据中。
将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”放置到"src/main/resources"的目录下。
修改“dfs.client.failover.proxy.provider.hacluster”参数配置项如下。
方案架构 租户是MRS大数据平台的核心概念,使传统的以用户为核心的大数据平台向以多租户为核心的大数据平台转变,更好的适应现代企业多租户应用环境,如图1所示。 图1 以用户为核心的平台和以多租户为核心的平台 对于以用户为核心的大数据平台,用户直接访问并使用全部的资源和服务。
2 NUMBER_PENDING_REQUEST: 3 NUMBER_RESERVED_CONTAINER: 1 MASTER_CONTAINER_ID: application_1443067302606_0609_01 MASTER_CONTAINER_RESOURCE:
配置MRS集群对接Syslog服务器上报告警 如果用户需要在统一的告警平台查看集群的告警和事件,管理员可以在FusionInsight Manager使用Syslog协议将相关数据上报到告警平台。 Syslog协议未做加密,传输数据容易被窃取,存在安全风险。
通过配置hoodie.cleaner.policy和hoodie.cleaner.commits.retained可以使用不同的清理策略和保存的commit数量。
代码样例 如下是写文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类和HdfsWriter类。