检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
share)的资源,提高集群的资源利用率。但在资源不足时,为了保证公平,就需要抢占来保证在queue policy承诺的队列minimum资源。队列资源信息如下(其中,minimum为最小资源,share为权重): 用户A,提交作业1到queue1,AM使用<vcore 1, memory 2
重命名:重命名样例。 编辑:编辑步骤转换,参考6.c。 删除:删除样例。 也可使用快捷键“Del”删除。 单击“编辑”,编辑步骤转换信息,配置字段与数据。 步骤转换信息中的具体参数设置请参考Loader算子帮助。 使用sftp-connector或ftp-connector导入数据时,在数
配置外网客户端访问Kafka Broker 本章节适用于MRS 3.2.0及之后版本。 操作场景 外网环境Kafka客户端访问部署在内网的Kafka Broker,需开启Kafka内外网分流访问。 前提条件 Broker所在节点同时具有内网IP和外网IP,Broker绑定在内网I
Doris数据查询规范 该章节主要介绍Doris数据查询时需遵循的规则和建议。 Doris数据查询规则 在数据查询业务代码中建议查询失败时进行重试,再次下发查询。 in中常量枚举值超过1000后,必须修改为子查询。 禁止使用REST API(Statement Execution
在集群详情页,单击“组件管理”。 在服务列表中,单击指定服务名称。 在服务详情页面,单击“实例”页签。 在角色实例列表中,单击指定角色实例名称。 在角色实例状态及指标信息上方,选择“更多 > 同步配置”,根据界面提示同步配置。 图2 同步配置 通过Manager同步配置 同步集群配置: 登录Manager页面。
是否检验输入字段与值的类型匹配情况,值为“NO”,不检查;值为“YES”,检查。若不匹配则跳过该行。 enum 是 YES 输入字段 配置输入字段的相关信息: 位置:源文件每行被列分隔符分隔后,目标字段对应的位置,从1开始编号。 字段名:配置字段名。 类型:配置字段类型。 数据格式:字段类型为
kafka-topics.sh --list --zookeeper <ZooKeeper集群IP:2181/kafka> 查看单个Topic详细信息。 sh kafka-topics.sh --describe --zookeeper <ZooKeeper集群IP:2181/kafka>
es com.huawei.bigdata.iotdb.KafkaConsumerMultThread 查看调测结果 运行结果会有如下成功信息: 父主题: 调测IoTDB应用
执行/home/omm/kerberos/bin/kadmin -p kadmin/admin并输入密码Kerberos客户端。 执行listprincs并按回车,查询用户信息。 执行delprinc命令删除用户“krbtgt/本集群域名@外部集群域名”、“krbtgt/外部集群域名@本集群域名”。 使用quit命令退出Kerberos客户端。
Task”找到对应的executor,单击后面的stdout或者stderr查看整个executor日志。 图3 Jobs 图4 Stage 图5 Task 参考信息 通过单击stdout或者stderr进入日志页面以后只会展示stdout或者stderr的日志,如果需要查看完整日志,可以通过将url里
处理步骤 如果遇到上述问题,可参考以下两种方法解决。 重新访问这个Spark应用的HistoryServer页面,即可查看到正确的页面信息。 如果用户场景需要同时访问50个以上的Spark应用时,需要调大“spark.history.retainedApplications”参数的值。
<DEFAULT_PARTITION> 查看MapReduce日志获取应用运行情况。 您可以查看MapReduce日志了解应用运行情况,并根据日志信息调整应用程序。 父主题: 调测MapReduce应用
Spark SQL在不同DB都可以显示临时表 问题 切换数据库之后,为什么还能看到之前数据库的临时表? 创建一个DataSource的临时表,例如以下建表语句。 create temporary table ds_parquet using org.apache.spark.sql
面无法访问。 如果遇到上述问题,可参考以下两种方法解决。 重新访问这个Spark应用的HistoryServer页面,即可查看到正确的页面信息。 如果用户场景需要同时访问50个以上的Spark应用时,需要调大“spark.history.retainedApplications”参数的值。
HFS接口需要同时对HBase和HDFS进行操作,所以客户端用户需要同时拥有这两个组件的操作权限。 直接存放在HDFS中的大文件,HFS在存储时会加入一些元数据信息,所以存储的文件不是直接等于原文件的。不能直接从HDFS中移动出来使用,而需要用HFS的接口进行读取。 使用HFS接口存储在HDFS中的数据,暂不支持备份与容灾。
去检查其他错误,本例中是修改了log4j.properties的名称,还原后可以正常提交作业。 若提交作业失败,请提交工单进行处理。 参考信息 Flink使用请参考从零开始使用Flink。 父主题: 集群管理类
单击右上角的设置日志的起始收集时间“开始时间”和“结束时间”。 单击“下载”完成日志下载。 下载的日志压缩包中会包括对应开始时间和结束时间的拓扑信息,方便查看与定位。 拓扑文件以“topo_<拓扑结构变化时间点>.txt”命名。文件内容包括节点IP、节点主机名以及节点所安装的服务实例(
重启某服务,依赖该服务且启动的上层服务需重启后才可生效。 通过管理控制台启停组件步骤 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“组件管理”。 在指定服务所在行,单击“停止”执行停止操作。 如果需要启动服务则单击“启动”。 通过Manager启停组件步骤
是否检验输入字段与值的类型匹配情况,值为“NO”,不检查;值为“YES”,检查。如果不匹配则跳过该行。 enum 是 YES 输入字段 配置输入字段的相关信息: 位置:源文件每行被列分隔符分隔后,目标字段对应的位置,从1开始编号。 字段名:配置字段名。 类型:配置字段类型。 数据格式:字段类型为
优化HDFS NameNode RPC的服务质量 配置场景 本章节适用于MRS 3.x及后续版本。 数个成品Hadoop集群由于NameNode超负荷运行并失去响应而发生故障。 这种阻塞现象是由于Hadoop的初始设计造成的。在Hadoop中,NameNode作为单独的机器,在其