检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
B(DWS)数据类型对应关系如下表所示。 本示例以安全模式FlinkServer、Kafka为例,对接安全模式GaussDB(DWS)。 根据安全需求,FlinkServer界面回显FlinkSQL时,SQL中的“password”字段将显示为空,在回显状态下需要将密码信息补齐后再提交作业。
Group has finished. ... 查看HDFS日志获取应用运行情况 您可以查看HDFS的namenode日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测HDFS应用
current 检查日志中是否有元空间大小不足、或堆内存大小不足的报错。 是,执行14。 否,执行17。 执行su - omm切换为omm用户,根据集群版本编辑对应文件,并适当增大“nodeagent.Xms”初始堆内存参数值和“nodeagent.Xmx”最大堆内存参数值大小,保存修改。
Group has finished. ... 查看HDFS日志获取应用运行情况 您可以查看HDFS的namenode日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测HDFS应用
开连接。 RegisterServerHandler接口实现了ZooKeeper作为RegisterServer的Handler,用户可以根据自己的需求,实现自己的Handler,ZooKeeper中信息的保存形式如下图所示: Namespace |---Topic-1
状态、进度、开始时间和结束时间。 对于启动、停止、重启以及滚动重启操作,在任务执行过程中,单击任务列表中的对应任务名称,单击“中止”按钮,根据界面提示输入系统管理员密码后,用户可中止该任务。中止后,任务将不再继续执行。 主页底部任务栏显示FusionInsight Manager
进入客户端安装目录/opt/client,执行下列命令初始化环境变量。 source bigdata_env 执行下列命令进行用户认证,这里以hdfs为例,用户可根据实际用户名修改(普通集群请跳过此步操作)。 kinit hdfs kinit一次的时效24小时。24小时后再次运行样例,需要重新执行kinit。
RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本地双读日志路径,根据实际路径修改,但目录要有写入权限 log4j.additivity.DUAL=false log4j.appender.DUAL.MaxFileSize=${hbase
bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit HetuEngine管理员用户 根据回显提示输入密码。 执行如下命令创建目录“/user/hetuserver/fiber/extra_file/driver/mysql”,
e_creates_user”,加入“hive”组,绑定角色“hive_hbase_create”,用于创建Hive表和HBase表。 请根据客户端所在位置,参考安装客户端章节,登录安装客户端的节点。 执行以下命令,配置环境变量。 source /opt/client/bigdata_env
conf”配置文件中,重启JDBCServer实例。 重启相关组件 补丁安装完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。 登录MRS管理控制台或FusionInsight Manager界面。
在“/home/omm/MRS_Log4j_Patch/bin/ips.ini”文件中配置需要打补丁的节点IP(当前集群所有节点IP)。 每行配置一个IP,中间不能有空行。 根据节点登录方式执行以下步骤: 密码登录 执行以下命令: nohup sh install.sh upgrade_resetpwdagent passwd:登录密码
checkpointing.mode: EXACTLY_ONCE 通过查看监控信息定位Back Pressure点 Flink提供了很多的监控指标,根据这些指标可以分析任务过程中的性能状况及瓶颈。 【示例】配置采样的样本数和时间间隔: # 有效的反压结果被废弃并重新进行采样的时间,单位ms
RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本地双读日志路径,根据实际路径修改,但目录要有写入权限 log4j.additivity.DUAL=false log4j.appender.DUAL.MaxFileSize=${hbase
session: 0x12000059699f69e1 查看HDFS日志获取应用运行情况 可以查看HDFS的namenode日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测HDFS应用
过程中会影响管控面提交作业,请按需配置。 重启相关组件 补丁安装完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式: 滚动重启:影响小,耗时长。 离线重启:会断服,耗时短。 登录MRS管理控制台或FusionInsight Manager界面。
backend.rocksdb.thread.num的multiplier倍数,作业将上报告警 在“作业管理”页面单击“启动”运行作业。然后根据RocksDB监测和告警情况,在作业开发界面的“自定义参数”项中添加如下参数调优作业。作业调优完成后建议关闭RocksDB的监测和告警。 表3
、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应HDFS目录与文件。 如果用户访问别人创建的表或数据库,需要授予权限。所以根据SparkSQL使用场景的不同,用户需要的权限可能也不相同。 表1 SparkSQL使用场景 主要场景 用户需要的权限 使用SparkSQL表、列或数据库
、查询数据、删除数据、插入数据、更新数据以及授权他人访问表与对应HDFS目录与文件。 如果用户访问别人创建的表或数据库,需要授予权限。所以根据SparkSQL使用场景的不同,用户需要的权限可能也不相同。 表1 SparkSQL使用场景 主要场景 用户需要的权限 使用SparkSQL表、列或数据库
指定连接器ID -xn,--xname 指定连接器名称 -t,--type 指定作业类型 可选值: import export 交互模式下,根据界面的提示逐一输入属性值。 创建连接器示例: create connection -c 1 create connection -cn example