检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是,操作结束。 否,执行6。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Presto”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请
硬盘存在坏道等故障。 处理步骤 打开FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的。 从“定位信息”中获取“主机名”和“设备分区名”,其中“主机名”为故障告警的节点,“设备分区名”为故障磁盘的分区。 联系硬件工程师确认为磁盘硬件故障之后,将服务器上故障磁盘在线拔出。
Core应用时,在客户端配置文件“$SPARK_HOME/conf/spark-defaults.conf”中的配置项“spark.driver.extraJavaOptions”中添加如下内容: -XX:OnOutOfMemoryError='kill -9 %p' 父主题: Spark应用开发常见问题
求。 404 NotFound 所请求的资源不存在。 建议直接修改该请求,不要重试该请求。 405 MethodNotAllowed 请求中带有该资源不支持的方法。 建议直接修改该请求,不要重试该请求。 406 Not Acceptable 服务器无法根据客户端请求的内容特性完成请求。
base.rpc.protection”参数值必须保持一致。 参考登录Ranger WebUI界面章节,登录Ranger管理界面。 在首页中“HBASE”区域,单击组件插件名称,如HBase的按钮 搜索配置项“hbase.rpc.protection”,修改配置项的value值,与HBase服务端的“hbase
start-prequery.sh 执行此条命令需要:将user.keytab或jaas.conf(二选一),krb5.conf(必须)放入conf目录中。 此工具暂时只支持Carbon表。 此工具会初始化Carbon环境和预读取表的元数据到JDBCServer,所以更适合在多主实例、静态分配模式下使用。
for setuptools==5.7 安装Python客户端到客户端机器。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\hive-examples”目录下的样例工程文件夹“python-examples”。 进入“python-examples”文件夹。
执行以下命令,进入客户端安装目录,例如“/opt/client”。 cd /opt/client 执行source bigdata_env命令,配置客户端环境变量。 在客户端中执行如下命令,执行登录操作。 kinit 用户名 执行以下命令登录Hive客户端。 beeline 指定静态分区或者动态分区。 静态分区:
Thread会根据token renew周期 *0.8的时间比例去HDFS上获取更新后的Credential文件,用来刷新UserGroupInformation中的token,避免token失效。 当Executor进程的Credential Refresh Thread发现当前时间已经超过Credential文件更新时间(即token
base.rpc.protection”参数值必须保持一致。 参考登录Ranger WebUI界面章节,登录Ranger管理界面。 在首页中“HBASE”区域,单击组件插件名称,如HBase的按钮 搜索配置项“hbase.rpc.protection”,修改配置项的value值,与HBase服务端的“hbase
MRS Hive解决hive server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 MRS 2.1.0.2补丁包中包含MRS 2.1.0.1补丁包的全部内容。 安装补丁的影响 安装MRS 2.1.0.2补丁期间会重启MRS Manager,滚动重启Hiv
任意一个检查结果不正常,需要恢复租户数据,请执行4。 单击“恢复租户数据”。 如果通过MRS 3.x及之后版本集群的Manager操作,请单击,在弹出的确认窗中输入当前登录的用户密码确认身份,单击“确定”。 在弹出的窗口中,选择一个或多个需要恢复数据的组件,单击“确定”,等待系统自动恢复租户数据。 父主题:
是,处理完毕。 否,执行5。 收集故障信息。 在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“Doris”,单击“确定”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
ZooKeeper角色实例所在节点IP地址,填写三个角色实例其中任意一个的IP地址即可。 使用Kafka主题管理消息,请参见管理Kafka Topic中的消息。 MRS 3.x及后续版本:使用kafka-topics.sh创建Kafka主题。 创建主题: Topic的Partition自动划
ORT_COLUMNS中已经指定了该handler列,则它在SORT_COLUMNS的顺序将保持不变。 如果SORT_COLUMNS包含任意的sourcecolumns,但是没有包含handler列,则handler列将自动插入到SORT_COLUMNS中的sourcecolumns之前。
mpt次数(MapReduce默认4次)而失败。 规避手段: 在“客户端安装路径/Yarn/config/yarn-site.xml”文件中修改“yarn.resourcemanager.am-scheduling.node-blacklisting-disable-thresh
为了后续分析性能和数据的可靠性,一般使用HDFS进行存储。以HDFS存储来看,一个Hudi表的存储文件分为两类。 “.hoodie”文件夹中存放了对应的文件合并操作相关的日志文件。 包含_partition_key相关的路径是实际的数据文件和metadata,按分区存储。 Hud
以下代码片段在com.huawei.bigdata.opentsdb.examples包的“OpentsdbExample”类的deleteData方法中。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例: public void deleteData(String dataPoint)
tePartitioner对象,然后再检查该对象是否可序列化。由于ClosureCleaner::clean函数是static函数,当用例中的KafkaPartitioner对象是非static时,ClosureCleaner::clean函数无法访问KafkaDelegateP
"reducesCompleted":1 } ] } } 结果分析: 通过这个接口,可以查询当前集群中已完成的MapReduce任务,并且可以得到表1 表1 常用信息 参数 参数描述 submitTime 任务提交时间 startTime 任务开始执行时间