检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
current 检查日志中是否有元空间大小不足、或堆内存大小不足的报错。 是,执行14。 否,执行17。 执行su - omm切换为omm用户,根据集群版本编辑对应文件,并适当增大“nodeagent.Xms”初始堆内存参数值和“nodeagent.Xmx”最大堆内存参数值大小,保存修改。
Group has finished. ... 查看HDFS日志获取应用运行情况 您可以查看HDFS的namenode日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测HDFS应用
html。 准备运行环境 安装集群客户端,例如客户端安装目录为“/opt/client”。 执行下列命令进行用户认证,这里以hdfs为例,用户可根据实际用户名修改。 kinit hdfs kinit认证的默认时效为24小时,到期后再次运行样例,需要重新执行kinit。 在客户端目录创建
供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。 产品架构
、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应HDFS目录与文件。 如果用户访问别人创建的表或数据库,需要授予权限。所以根据Hive使用场景的不同,用户需要的权限可能也不相同。 表1 Hive使用场景 主要场景 用户需要的权限 使用Hive表、列或数据库 使用其
B(DWS)数据类型对应关系如下表所示。 本示例以安全模式FlinkServer、Kafka为例,对接安全模式GaussDB(DWS)。 根据安全需求,FlinkServer界面回显FlinkSQL时,SQL中的“password”字段将显示为空,在回显状态下需要将密码信息补齐后再提交作业。
开连接。 RegisterServerHandler接口实现了ZooKeeper作为RegisterServer的Handler,用户可以根据自己的需求,实现自己的Handler,ZooKeeper中信息的保存形式如下图所示: Namespace |---Topic-1
Group has finished. ... 查看HDFS日志获取应用运行情况 您可以查看HDFS的namenode日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测HDFS应用
checkpointing.mode: EXACTLY_ONCE 通过查看监控信息定位Back Pressure点 Flink提供了很多的监控指标,根据这些指标可以分析任务过程中的性能状况及瓶颈。 【示例】配置采样的样本数和时间间隔: # 有效的反压结果被废弃并重新进行采样的时间,单位ms
状态、进度、开始时间和结束时间。 对于启动、停止、重启以及滚动重启操作,在任务执行过程中,单击任务列表中的对应任务名称,单击“中止”按钮,根据界面提示输入系统管理员密码后,用户可中止该任务。中止后,任务将不再继续执行。 主页底部任务栏显示FusionInsight Manager
bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit HetuEngine管理员用户 根据回显提示输入密码。 执行如下命令创建目录“/user/hetuserver/fiber/extra_file/driver/mysql”,
RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本地双读日志路径,根据实际路径修改,但目录要有写入权限 log4j.additivity.DUAL=false log4j.appender.DUAL.MaxFileSize=${hbase
session: 0x12000059699f69e1 查看HDFS日志获取应用运行情况 可以查看HDFS的namenode日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测HDFS应用
RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本地双读日志路径,根据实际路径修改,但目录要有写入权限 log4j.additivity.DUAL=false log4j.appender.DUAL.MaxFileSize=${hbase
进入客户端安装目录/opt/client,执行下列命令初始化环境变量。 source bigdata_env 执行下列命令进行用户认证,这里以hdfs为例,用户可根据实际用户名修改(普通集群请跳过此步操作)。 kinit hdfs kinit一次的时效24小时。24小时后再次运行样例,需要重新执行kinit。
在“/home/omm/MRS_Log4j_Patch/bin/ips.ini”文件中配置需要打补丁的节点IP(当前集群所有节点IP)。 每行配置一个IP,中间不能有空行。 根据节点登录方式执行以下步骤: 密码登录 执行以下命令: nohup sh install.sh upgrade_resetpwdagent passwd:登录密码
过程中会影响管控面提交作业,请按需配置。 重启相关组件 补丁安装完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。 登录MRS管理控制台或FusionInsight Manager界面。
员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。 登录MRS控制台或FusionInsight Manager界面。
2 │ └────┴─── ─┘ ClickHouse通过HDFS引擎表写入数据到HDFS时,如果HDFS上数据文件不存在,会生成对应的数据文件。 ClickHouse不支持删除修改和追加写HDFS引擎表数据,只能一次性写入数据。 ClickHouse删除HDFS引擎表以后对HDFS上的数据文件没有影响。
、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应HDFS目录与文件。 如果用户访问别人创建的表或数据库,需要授予权限。所以根据SparkSQL使用场景的不同,用户需要的权限可能也不相同。 表1 SparkSQL使用场景 主要场景 用户需要的权限 使用SparkSQL表、列或数据库