检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。
需要在集群管理页面Manager里面设置指定的参数到“core-site.xml”,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint; 新建表的存储类型为OBS。
需要在集群管理页面Manager里面设置指定的参数到“core-site.xml”,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint; 新建表的存储类型为obs。
--enable-cleartext-plugin -u数据库登录用户 -p数据库登录用户密码 -P数据库连接端口 -hDoris FE实例IP地址 在安装了MySQL客户端的节点执行以下命令启用mysql_clear_password插件,再重新连接Doris即可。 export LIBMY
que格式的数据,而Hive中默认是ORC的。 处理步骤 登录Spark客户端节点,执行如下命令,进入spark-sql: cd {客户端安装目录} source bigdata_env source Spark2x/component_env kinit 组件业务用户(普通模式无需执行kinit)
ster地址。 HMaster通过ZooKeeper随时感知各个HRegionServer的健康状况,以便进行控制管理。 HBase也可以部署多个HMaster,类似HDFS NameNode,当HMaster主节点出现故障时,HMaster备用节点会通过ZooKeeper获取主
chmod +x python3-examples -R。 在python3-examples/pyCLI_nosec.py中的host的值修改为安装HiveServer的节点的业务平面IP,port的值修改为Hive提供Thrift服务的端口(hive.server2.thrift.port),默认为21066。
nfo会执行kill -3将jstack信息打印到.out日志文件里,从而导致.out日志文件过大。 处理步骤 在每个HDFS实例的节点上部署定期清理.out日志文件的定时任务。后台登录HDFS的实例节点,在crontab -e中添加每天0点清理.out日志的定时任务。 crontab
释放。 解决办法 该解决办法以20051端口被占用为例,20050端口被占用的解决办法与该办法类似。 以root用户登录DBService安装报错的节点主机,执行命令:netstat -nap | grep 20051查看占用20051端口的进程。 使用kill命令强制终止使用20051端口的进程。
(1 + z * z / n) 下界值(z1-z2)/m,上界值 (z1+z2)/m wilson_interval_lower(successes, trials, z) → double 返回伯努利试验过程的威尔逊分数区间的下界,置信值由z分数z指定。 select wilson_interval_lower(1
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
fo会执行kill -3将jstack信息打印到.out日志文件里,从而导致.out日志文件过大。 处理步骤 在每个HBase实例的节点上部署定期清理.out日志文件的定时任务。后台登录HBase的实例节点,在crontab -e中添加每天0点清理.out日志的定时任务。 crontab
WebUI页面全量日志时需要展示的日志过大,导致报500内部错误。此时需要把作业生成的聚合日志调小,使其分段生成即可。 处理步骤 以root用户登录安装了Spark2x/Spark客户端的节点。 执行以下命令编辑文件。 vim $SPARK_HOME/conf/log4j-executor
数据的压力,同时能提升数据入库的性能,缩短入库时间。 常见错误: Too many parts(304). Merges are processing significantly slower than inserts 原因分析:MergeTree的merge的速度跟不上目录生成
response.getStatusLine()); } LOG.info("put data to opentsdb successfully."); } catch (IOException e) { LOG.error("Failed to put data
Storm WebUI页面中events超链接地址无效 用户问题 Storm组件的Storm UI页面中events超链接地址无效。 问题现象 用户提交拓扑后无法查看拓扑数据处理日志,按钮events地址无效。 原因分析 MRS集群提交拓扑时默认不开启拓扑数据处理日志查看功能。 处理步骤
定“LOCAL”时,这里的路径指的是当前连接的“HiveServer”的本地文件系统的路径,同时由于当前的“HiveServer”是集群式部署的,客户端在连接时是随机连接所有“HiveServer”中的一个,需要注意当前连接的“HiveServer”的本地文件系统中是否存在需要加
chmod +x python-examples -R 在“python-examples/pyCLI_nosec.py”中的hosts数组中填写安装HiveServer的节点的业务平面IP地址。HiveServer业务平面IP地址可登录FusionInsight Manager,选择“集群
chmod +x python-examples -R 在python-examples/pyCLI_nosec.py中的hosts数组中填写安装HiveServer的节点的业务平面IP。 Hive多实例的python客户端命令行形式:"python-examples/pyCLI_nosec
态,后续即使被加入黑名单的节点恢复,App1也无法得到资源。 由于上述原则不适用于资源池场景,所以目前可通过调整客户端参数(路径为“客户端安装路径/Yarn/config/yarn-site.xml”)“yarn.resourcemanager.am-scheduling.nod