检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看Kafka Topic信息 操作场景 用户可以在Manager或KafkaUI上查看Kafka已创建的主题信息。 在Manager查看Kafka Topic信息 登录FusionInsight Manager,具体请参见访问集群Manager。然后选择“集群 > 服务 > Kafka”。
server会终止。 在region server终止时,HMaster对终止的region server的WAL文件进行replay操作以恢复数据。由于限制了磁盘空间quota值,导致WAL文件的replay操作失败进而导致HMaster进程异常退出。 2016-07-28 19:11:40,352
Submit Topology权限只有在Storm Topology为*的情况下可以赋权生效。 File Upload:文件上传。 File Download:文件下载。 Kill Topology:删除拓扑。 Rebalance:Rebalance操作权限。 Activate:激活权限。
server会终止。 在region server终止时,HMaster对终止的region server的WAL文件进行replay操作以恢复数据。由于限制了磁盘空间quota值,导致WAL文件的replay操作失败进而导致HMaster进程异常退出。 2016-07-28 19:11:40,352
RWX+ownership(for create external table - the location) 说明: 按照指定文件路径创建datasource表时,需要path后面文件的RWX+ownership权限。 DROP TABLE “Ownership”(of table) DROP TABLE
以root用户登录上报告警的QAS实例所在节点的主机。 执行以下命令进入QAS数据目录,根据需求清理临时文件。 cd ${BIGDATA_DATA_HOME}/hetuengine/qas 清理临时文件会影响QAS本次运行结果,不影响后续QAS结果。 等待2分钟,查看告警是否消失。 是,处理完毕。
查看ZooKeeper实例所在节点上是否安装DNS。在ZooKeeper实例所在Linux节点使用命令cat /etc/resolv.conf,看该文件是否为空。 是,执行16。 否,执行19。 运行命令service named status查看DNS是否启动。 是,执行17。 否,执行19。
数据丢失:如果在扩容过程中出现错误,可能会导致数据丢失。因此,建议在扩容前备份重要数据。 系统不稳定:如果扩容过程中出现错误,可能会对系统文件造成损坏,导致系统不稳定或无法启动。 磁盘无法使用:如果扩容失败,可能会导致磁盘无法使用,需要重新格式化磁盘,以便重新分区。 性能降低:如
数,改善数据分块不均匀的情况,多次验证发现配置为质数或者奇数效果比较好。 在Driver端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数 描述 默认值 spark.sql.shuffle.partitions shuffle操作时,shuffle数据的分块数。
取值范围可以为0~2147483647毫秒。 如果Hadoop进程已处于D状态,重启该进程所处的节点。 “core-site.xml”配置文件在客户端安装路径的conf目录下,例如“/opt/client/Yarn/config”。 父主题: MapReduce常见问题
x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > Hive > 配置 > 全部配置”。 选择“MetaStore(角色) > 自定义”,对参数文件“hivemetastore-site.xml”添加自定义参数,设置“名称”为“hive.mapreduce.per.task.max.s
ini”和“${BIGDATA_HOME}/om-server/OMS/workspace0/conf/oms-config.ini”配置文件,在“ntp_server_ip”参数值前添加“ntp.myhuaweicloud.com,” ... ntp_server_ip=ntp
取值范围可以为0~2147483647毫秒。 如果Hadoop进程已处于D状态,重启该进程所处的节点。 “core-site.xml”配置文件在客户端安装路径的conf目录下,例如“/opt/client/Yarn/config”。 父主题: MapReduce常见问题
'20220908155421949'); 注意事项 MOR表不支持savepoint。 最大的savepoint之前的commit相关文件不会被clean。 存在多个savepoint时需要从最大的savepoint开始执行rollback,逻辑是:rollback savepoint
面。 选择并停止需要配置的计算实例,单击计算实例的“配置”,进入计算实例配置界面。 根据使用场景删除如下自定义配置并保存。 名称 值 参数文件 说明 implicit-conversion true coordinator.config.properties 隐式转换 udf-implicit-conversion
该问题是由于某个block块损坏或者丢失,导致该block对应的机器ip和port为空引起的,出现该问题的时候使用hdfs fsck检查对应文件块的健康状态,删除损坏或者恢复丢失的块,重新进行任务计算即可。 父主题: HDFS故障排除
调测Hive Python3样例程序 Python3样例工程的命令行形式运行 赋予“python3-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令: chmod +x python3-examples -R。 将“python3-examples/pyCLI_nosec
”)自带了PgSQL驱动包“gsjdbc4-*.jar”,与开源PgSQL服务不兼容导致报错。 处理步骤 用户在“pg_hba.conf”文件配置白名单。 驱动重复,集群自带,将其余驱动清除,所有Core节点上的gsjdbc4 jar包去掉,在sqoop/lib目录下添加PgSQL
Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer(角色) > 自定义”,对参数文件“hive-site.xml”添加自定义参数,设置“名称”为“hive.internaltable.notallowlocation”,“值”为“true”。
lang.String directory) 入参directory为HDFS目录,该方法创建一个输入流检测可兼容Hadoop文件系统的新文件,并且读取为文本文件。 void start() 启动Spark Streaming计算。 void awaitTermination() 当前进程等待终止,如Ctrl+C等。