检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”,选中“告警ID”为“50232”的告警,查看“附加信息”中的“db”和“table”。如果较大的Tablet较多,在附加信息中不能完全显示相关信息,可在Master FE节点的日志文件“${BIGDATA_LO
校验失败。 解决办法 distcp时,增加-pb参数。该参数作用为distcp时候保留block大小,确保新集群写入文件blocksize和老集群一致。 图2 distcp时保留block大小 父主题: 使用HDFS
夹“oozienormal-examples”中的OozieMapReduceExample,OozieSparkHBaseExample和OozieSparkHiveExample三个样例工程。 在应用开发环境中,导入样例工程到IDEA开发环境。 在IDEA中选择“File >
是网络原因,由于Sqoop迁移数据过程,MapReduce任务是运行在分析core节点,因此需要保证正常加载驱动类的情况下,保证源端数据库和集群节点的网络正常通信。 处理步骤 检查源端数据库端口对集群节点均放通。 若使用EIP公网通信,那么集群节点均需要绑定公网,尤其是分析节点,必须绑定公网才能保证作业正常运行。
vaExample Spark通过ClickHouse JDBC的原生接口,以及Spark JDBC驱动,实现对ClickHouse数据库和表的创建、查询、插入等操作样例代码。 sparknormal-examples/SparkOnClickHousePythonExample
Tez,HBase,Flink,Flume,Hue,meta,Guardian,Loader,ClickHouse,HetuEngine,CDL和IoTDB服务 MRS 3.2.0-LTS.1.8 MRS 3.2.0-LTS.1.9 ZooKeeper,DBService,HDFS,Yarn
Tez,HBase,Flink,Flume,Hue,meta,Guardian,Loader,ClickHouse,HetuEngine,CDL和IoTDB服务 MRS 3.2.0-LTS.1.8 MRS 3.2.0-LTS.1.9 ZooKeeper,DBService,HDFS,Yarn
密码字符长度为16~32位。 至少需要包含大写字母、小写字母、数字、特殊字符~`!@#$%^&*()-+_=\|[{}];:",<.>/?中的3种类型字符。 不可和用户名相同或用户名的倒序字符相同。 不可与前20个历史密码相同。 超期时间格式为xxxx-xx-xx,例如:2020-10-31。 显示如下结果,则修改成功:
、HBase、Flink、Flume、Hue、meta、Guardian、Loader、ClickHouse、HetuEngine、CDL和IoTDB服务 MRS 3.2.0-LTS.1.8 MRS 3.2.0-LTS.1.9 ZooKeeper、DBService、HDFS、Y
在Spark客户端机器中,通过修改“conf/yarn-site.xml”文件,添加并配置“yarn.resourcemanager.connect.max-wait.ms”和“yarn.resourcemanager.connect.retry-interval.ms”,这样可以更改重试次数,Spark应用可以提早退出。
在Spark客户端机器中,通过修改“conf/yarn-site.xml”文件,添加并配置“yarn.resourcemanager.connect.max-wait.ms”和“yarn.resourcemanager.connect.retry-interval.ms”,这样可以更改重试次数,Spark应用可以提早退出。
Tez,HBase,Flink,Flume,Hue,meta,Guardian,Loader,ClickHouse,HetuEngine,CDL和IoTDB服务 MRS 3.2.0-LTS.1.8 MRS 3.2.0-LTS.1.9 ZooKeeper,DBService,HDFS,Yarn
> 配置”,搜索Kafka服务的“sasl.port”参数获取。 hadoop.系统域名:登录Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 Doris: Doris的FE实例IP地址:登录Manager,选择“集群 > 服务 > Doris
安装补丁后需要重启服务才能生效,重启服务期间引起服务暂不可用。 安装补丁后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。
<outputPath> 此命令包含了设置参数和提交job的操作,其中<inputPath>指HDFS文件系统中input的路径,<outputPath>指HDFS文件系统中output的路径。 在执行以上命令之前,需要把log1.txt和log2.txt这两个文件上传到HDFS的<
<outputPath> 此命令包含了设置参数和提交job的操作,其中<inputPath>指HDFS文件系统中input的路径,<outputPath>指HDFS文件系统中output的路径。 在执行以上命令之前,需要把log1.txt和log2.txt这两个文件上传到HDFS的<
服务日志默认20MB滚动存储一次,最多保留20个文件,不压缩。 针对MRS 3.x之前版本,Executor日志默认30MB滚动存储一次,最多保留20个文件,不压缩。 日志大小和压缩文件保留个数可以在Manager界面中配置或者修改客户端“客户端安装目录/Flink/flink/conf/”中的log4j-cli.properties、log4j
一次,最多保留100个文件,压缩存储。 JDBCServer2x审计日志默认20MB滚动存储一次,最多保留20个文件,压缩存储。 日志大小和压缩文件保留个数可以在FusionInsight Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志
一次,最多保留100个文件,压缩存储。 JDBCServer2x审计日志默认20MB滚动存储一次,最多保留20个文件,压缩存储。 日志大小和压缩文件保留个数可以在FusionInsight Manager界面中配置。 表1 Spark2x日志列表 日志类型 日志文件名 描述 SparkResource2x日志
令中IP替换为2中查询到的故障DataNode的IP地址,其中不能有空格。 如果有两个Master节点,请在Master2节点上同样执行3和4。 在Master1节点执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果当前集群已启用Kerber