检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
{thisParam}”,该路径可通过界面上的“yarn.nodemanager.remote-app-log-dir-suffix”参数进行配置。 设置为false,表示日志不会收集到HDFS中。 修改参数值后,需重启Yarn服务使其生效。 说明: 在修改值为false并生效后
owkey的设计在排序上必须与主要的查询条件契合。 离散度较好的属性作为RowKey组成部分。分析数据离散度特点以及查询场景,综合各种场景进行设计。 存储冗余信息,提高检索性能。使用二级索引,适应更多查询场景。 利用过期时间、版本个数设置等操作,让表能自动清除过期数据。 在HBa
使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果是安全集群,执行以下命令进行用户认证(该用户需要具有Hive操作的权限),如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit Hive组件操作用户
当一个连接被用完后,该连接会自动返回池中等待下次被使用;当一个连接损坏后,该连接会从池中被删除,并重建一个连接重新执行用户的操作。 对于查询操作: 使用SessionPool进行查询时,得到的结果集是SessionDataSet的封装类SessionDataSetWrapper。 若对于一个查询的结果集,用户并没有
在告警列表中单击该告警,从完整的告警信息中的“定位信息”处获得“主机名”。 以omm用户进入主集群HBase客户端所在节点。 如果集群采用了安全版本,要进行安全认证,然后使用hbase用户进入hbase shell界面。 cd /opt/client source ./bigdata_env kinit
in/java: No such file or directory 解决办法 适当调大堆内存(xmx)的值。 与正常启动Flume的节点进行文件和文件夹权限对比,更改错误文件或文件夹权限。 重新配置JAVA_HOME。 客户端替换“${install_home}/fusioni
xml”,选择“Add as Maven Project”,将该项目添加为Maven Project。若"pom.xml"图标如所示,可直接进行下一步骤操作。 图9 Add as Maven Project 此时IDEA可将该项目识别为Maven项目。 图10 样例项目作为Maven项目在IDEA中显示
jar,并将jar包放在客户端$SPARK_HOME目录下,以下命令均在$SPARK_HOME目录执行,Java接口对应的类名前有Java字样,请参考具体样例代码进行书写。 yarn-client模式: java/scala版本(类名等请与实际代码保持一致,此处仅为示例) bin/spark-submit
超过一天不超过两天的数据从冷存储归档到热存储中,即修改“COLD_BOUNDARY”的值为“172800”,在实际业务场景中请根据实际需求进行设置: alter 'hot_cold_table', {NAME=>'f', COLD_BOUNDARY=>'172800'} 在业务低峰期行Major
name=test&op=MKDIRS" 其中用linux1代替<HOST>,用9870代替<PORT>,test为执行操作的用户,此用户需与管理员确认是否有权限进行操作。 运行结果: HTTP/1.1 200 OK Cache-Control: no-cache Expires: Thu, 14 Jul
examples.DstreamKafkaWriter。 建议使用新的API createDirectStream代替原有API createStream进行应用程序开发。原有API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <checkPointDir>为checkPoint目录。
后执行5。 以root用户登录告警节点,执行df -h命令,查看输出内容是否包含“磁盘名”字段的值,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行7。 否,执行6。 执行lsblk命令,是否可以查到“磁盘名”字段值与磁盘设备的映射关系。 是,执行7。 否,执行22。 以
执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行以下命令,获取Flink集群container信息。 yarn logs
Yarn > 配置 > 全部配置 > ResourceManager > 系统”。对ResourceManager 的内存参数“GC_OPTS”进行调整。保存配置,并重启ResourceManager实例。 重启主ResourceManager实例,会发生ResourceManager
”内存参数。将GC_OPTS参数中的“-Xmx”和“-XX:CMSInitiatingOccupancyFraction”的值参考以下说明进行调整。 HMaster的GC参数配置建议: 建议“-Xms”和“-Xmx”设置成相同的值,这样可以避免JVM动态调整堆内存大小时影响性能。
examples.DstreamKafkaWriter。 建议使用新的API createDirectStream代替原有API createStream进行应用程序开发。原有API仍然可以使用,但新的API性能和稳定性更好。 该样例代码只存在于mrs-sample-project-1.6.0.zip中。
能够同时处理结构化和非结构化的数据。 MRS对外提供了基于HBase组件的应用开发样例工程,本实践用于指导您创建MRS集群后,获取并导入样例工程并在本地进行编译调测,用于实现MRS集群中的HBase表创建、数据插入、索引创建、表删除等操作。 创建MRS HBase集群 购买一个包含有HBase
examples.DstreamKafkaWriter。 建议使用新的API createDirectStream代替原有API createStream进行应用程序开发。原有API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <checkPointDir>为checkPoint目录。
examples.DstreamKafkaWriter。 建议使用新的API createDirectStream代替原有API createStream进行应用程序开发。原有API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <checkPointDir>为checkPoint目录。
examples.DstreamKafkaWriter。 建议使用新的API createDirectStream代替原有API createStream进行应用程序开发。原有API仍然可以使用,但新的API性能和稳定性更好。 /** * 参数解析: * <checkPointDir>为checkPoint目录。