检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Server页面,用于展示已经完成的和未完成的Spark应用的运行情况。 页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。单击应用ID,页面将跳转到该应用的SparkUI页面。 查看Spark日志获取应用运行情况。 您可以查看Spark日志了解应用运行
server会定期向master发送心跳。 kudu kudu的管理工具,可以用来检查集群的健康状况、日常运维等操作。 keytab文件 存放用户信息的密钥文件,应用程序采用此密钥文件在组件中进行API方式认证。 Schema 表信息,用来表示表中列的信息。 父主题: Kudu应用开发概述
Server页面,用于展示已经完成的和未完成的Spark应用的运行情况。 页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。 页面入口:请参考登录MRS Manager登录MRS Manager页面,选择“服务管理 > Spark”,单击“Spark Web
令行中加入表1中的参数。 表1 增强BulkLoad效率的配置项 参数 描述 配置的值 -Dimporttsv.mapper.class 用户自定义mapper通过把键值对的构造从mapper移动到reducer以提高性能。mapper只需要把每一行的原始文本发送到reducer
当调大该值。 - 否 单击“保存”保存配置。 单击“实例”,勾选所有RegionServer实例,选择“更多 > 滚动重启实例”,输入当前用户密码,滚动重启RegionServer实例。 父主题: HBase性能调优
口有21730(TCP)、21731(TCP/UDP)、21732(TCP/UDP)。 解决方案 确保用户可以正常读取客户端节点相关路径下的user.keytab文件。 确保用户的user.principal与指定的keytab文件对应。 可通过klist -kt keytabpath/user
lib目录但没有生效 问题 在HDFS的“/user/oozie/share/lib”目录上传了新的jar包,但执行任务时仍然报找不到类的错误。 回答 在客户端执行如下命令刷新目录: oozie admin -oozie https://xxx.xxx.xxx.xxx:21003/oozie -sharelibupdate
运行此样例代码需要设置运行用户,设置运行用户有两种方式,添加环境变量HADOOP_USER_NAME或者修改代码设置运行用户。若在没有修改代码的场景下,执行以下语句添加环境变量: export HADOOP_USER_NAME=test 用户可向管理员咨询运行用户。test在这里只是举
完成后单击“下一步”。 按照提示仔细阅读扩容须知,单击“我已阅读,继续扩容”,确认扩容的磁盘容量信息无误后,单击“提交订单”。 以root用户登录到ClickHouse的扩容节点上,执行命令:df -hl,查看当前已有的数据目录和磁盘分区信息。 ClickHouse默认数据目录格
开启状态后端冷热分级存储功能步骤 安装包含Flink、HBase等服务的客户端,安装路径如:/opt/hadoopclient。 以客户端安装用户登录安装客户端的节点,复制HBase的“/opt/client/HBase/hbase/conf/”目录下的所有配置文件至部署FlinkS
参考HBase容灾集群业务切换指导。 关闭主集群写功能 下载并安装HBase客户端。 具体请参考安装客户端(3.x及之后版本)章节。 在备集群HBase客户端,以hbase用户执行以下命令指定备集群写数据状态关闭。 kinit hbase hbase shell set_clusterState_standby 界面提示以下信息表示执行成功:
Manager管理界面,重启Kafka服务所有Broker实例。 Kafka客户端配置Kafka Token认证。 参考Kafka Token认证机制工具使用说明为用户生成Token。 二次开发样例工程配置。 在二次开发样例的Producer()和Consumer()中对其进行配置。配置的样例代码可参考使用Kafka
du.reserved.percentage”来配置预留磁盘空间占总磁盘空间大小的百分比,那样可以基于总的磁盘空间来预留磁盘百分比。 如果用户同时配置“dfs.datanode.du.reserved.percentage”和“dfs.datanode.du.reserved”,
produced in 5000 ms, eventQueue still has 86417 events, MaxSize: 171764. 用户可以根据日志信息【队列中消息数量的最大值MaxSize】,在配置文件“spark-defaults.conf”中将配置项“spark.eventQueue
d命令行中加入如下参数。 表1 增强BulkLoad效率的配置项 参数 描述 配置的值 -Dimporttsv.mapper.class 用户自定义mapper通过把键值对的构造从mapper移动到reducer以帮助提高性能。mapper只需要把每一行的原始文本发送给reduc
因此当队列存放的速度大于获取的速度时,就会导致队列溢出,从而丢失了溢出的事件,影响了UI、EventLog、动态资源调度等功能。所以为了更灵活的使用,在这边添加一个配置项,用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口: 在执行应用之前,在Spark服务配置中修改。在Manager系统中,选择“集群
IDEA开发环境中,确认配置HetuEngine应用安全认证中得到的“user.keytab”和“krb5.conf”文件放到“resources”目录下,并根据实际路径和用户名修改“jaas-zk.conf”文件中的配置参数。 图1 将认证文件放置在resources目录下 单击IDEA右侧Maven导入依赖。
因此当队列存放的速度大于获取的速度时,就会导致队列溢出,从而丢失了溢出的事件,影响了UI、EventLog、动态资源调度等功能。所以为了更灵活的使用,在这边添加一个配置项,用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口: 在执行应用之前,在Spark服务配置中修改。在Manager系统中,选择“集群
produced in 5000 ms, eventQueue still has 86417 events, MaxSize: 171764. 用户可以根据日志信息【队列中消息数量的最大值MaxSize】,在配置文件“spark-defaults.conf”中将配置项“spark.eventQueue
false 是否只向下游算子发送最后一条数据。 false(默认值):发送所有未过期的数据。 true:只向下游算子发送最后一条数据。 使用方法 配置Flink作业时,可通过在FlinkServer Web UI的作业开发界面添加自定义参数“over.window.interval