检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
createConf(); String userJarFilePath = "替换为用户jar包地址"; System.setProperty(STORM_SUBMIT_JAR_PROPERTY, userJarFilePath);
Manager中创建一个人机用户,例如“cdluser”,加入用户组cdladmin、hadoop、kafka,主组选择“cdladmin”组,关联角色“System_administrator”。 操作步骤 使用cdluser用户登录FusionInsight Manager(首次登录需要修改密码),选择“集群
修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。 使用Yarn客户端 安装客户端,具体请参考安装MRS客户端。 以客户端安装用户,登录安装客户端的节点。
使用PuTTY工具登录发生告警的“HostName”节点,检查“/etc/fstab”文件中是否包含“DirName”的行。 是,执行7。 否,执行8。 执行vi /etc/fstab命令编辑文件,将包含“DirName”的行删除。 联系硬件工程师插入全新磁盘,具体操作请参考对应型
20和1.8.0.6.15版本。 ARM客户端: OpenJDK:支持1.8.0_272版本(集群自带JDK,可通过集群客户端安装目录中“JDK”文件夹下获取)。 毕昇JDK:支持1.8.0_272版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS
用参数如表1所示。 表1 Hive常用参数说明 参数名称 参数说明 默认值 hive.auto.convert.join Hive基于输入文件大小将普通join转为mapjoin的开关,取值范围为: true false 说明: 在使用Hive进行联表查询,且关联的表无大小表的分
table_blocksize CarbonData表使用的数据文件的block大小,默认值为1024,最小值为1,最大值为2048,单位为MB。 如果“table_blocksize”值太小,数据加载时,生成过多的小数据文件,可能会影响HDFS的使用性能。 如果“table_bloc
CREATE SECONDARY INDEX SHOW SECONDARY INDEXES DROP SECONDARY INDEX CLEAN FILES SET/RESET CarbonData表操作并发语法说明 CarbonData Segment API语法说明 CarbonData表空间索引语法说明
修复问题列表: MRS Manager 优化补丁机制 解决偶现获取监控指标为空的问题 解决DLF+Presto查询时字段中包含换行符,数据和文件显示问题。 补丁兼容关系 无 安装补丁的影响 安装MRS 2.0.6.1补丁期间会重启MRS Manager,滚动重启Hive以及相关依赖服务,重启MRS
操作步骤 以omm用户登录到需要还原的DBService节点。 执行以下命令恢复DBService的“hacom_local.xml”配置文件: cd $BIGDATA_HOME/FusionInsight_BASE_x.x.x/install/FusionInsight-dbservice-2
UI界面排版优化。 MRS Manager操作及显示易用性优化。 MRS Manager增加大数据服务滚动重启能力。 MRS Manager新增文件句柄数量监控功能。 MRS Manager新增大数据组件发生重启事件上报功能。 MRS镜像 解决ECS VNC登录不停打印输出问题。 解决操作系统日志转储配置问题。
配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS
配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS
系统管理员。 执行ll命令查看对应localdir的文件夹和containerlogs文件夹权限,确认权限是否是“755”,且“用户:属组”是否为“omm:ficommon”。 是,处理完毕。 否,执行9。 执行如下命令将文件夹权限修改为“755”,并将“用户:属组”修改为“omm:ficommon”。
接口参数说明 命令 参数 含义 oozie version 无 显示Oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server地址 -run 运行job -start <arg>
JobManager的标准。 /jobmanager/metrics JobManager的指标。 /:* 对Web前端的静态文件(如HTML,CSS或JS文件)的请求。 表1中变量的介绍请参见表2。 表2 变量说明 变量 说明 jobid job的id vertexid 流图的顶点id
以omm用户登录主OMS节点。 执行以下命令,查看路径下是否包含后缀为“.mdb”的文件。 ll /srv/BigData/ldapData/oldap/data/ 是,查看并记录“.mdb”文件大小,执行17。 否,执行18。 执行以下命令查看Oldap配置,并记录“Map s
接口参数说明 命令 参数 含义 oozie version 无 显示oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server地址 -run 运行job -start <arg>
接口参数说明 命令 参数 含义 oozie version 无 显示oozie版本信息 oozie job -config <arg> 指定job配置文件(job.properties)路径 -oozie <arg> 指定oozie server地址 -run 运行job -start <arg>
sshd_config Subsystem sftp /usr/libexec/openssh/sftp-server 图2 修改sshd_config文件 执行以下命令重启SFTP服务。 systemctl restart sshd.service 父主题: Loader常见问题