检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
out日志不压缩,导致/var/log/占满的问题 解决Hive分区表增加字段时间长的问题 解决rand函数在0-1直接的随机数字串只能生成0.72左右的问题 解决Hive的WebHcat进程kill后,无法自拉起,无告警上报的问题 解决Kafka在kerberos认证失败之后自动重启存在异常的问题 解决Hudi
BLOCKCACHE => 'true', BLOCKSIZE => '65536'} MRS集群中Spark及其他引擎禁止执行自读自写的SQL语句。 例如,以下SQL示例即为自读自写: insert overwrite table test select * from test; insert
生成Storm应用Jar包 操作场景 通过命令行生成示例代码的jar包。 操作步骤 在Storm示例代码根目录执行如下命令打包: mvn package 执行成功后,将会在target目录生成storm-examples-1.0.jar。 父主题: 调测Storm应用
/system/balancer.id 用户在执行了6的脚本后,会在客户端安装目录“/opt/client/HDFS/hadoop/logs”目录下生成名为hadoop-root-balancer-主机名.out日志。打开该日志可以看到如下字段信息: Time Stamp:时间戳 Bytes
优化节点间互信失效告警,自动恢复功能。 重启Agent进程,如果这个Agent节点安装有服务健康检查配置的关键实例,将会误报服务不可用告警。 运维通道功能校验签名失败后任务阻塞。 节点内存打满,MRS集群磁盘出现踢盘,盘分区丢失。 租户资源修改用户策略功能无法使用。 空间聚合指标聚合时使用了实时数据聚合,导致聚合的数据不准确。
下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。 客户端软件包名称格式为:“FusionInsig
spark.network.crypto.keyLength 要生成的加密密钥的长度,支持设置为“192”或“256”。 256 spark.network.crypto.keyFactoryAlgorithm 生成加密密钥时使用的算法。 PBKDF2WithHmacSHA1 spark
集群数据导出 codegen 获取数据库中某张表数据生成Java并打包jar create-hive-table 创建Hive表 eval 执行sql并查看结果 import-all-tables 导入某个数据库下的所有表到HDFS中 job 生成一个sqoop任务 list-databases
用户定义聚集函数UDAF(User-Defined Aggregating Functions),用于接受多个输入数据行,并产生一个输出数据行。 用户定义表生成函数UDTF(User-Defined Table-Generating Functions),用于操作单个输入行,产生多个输出行。Impala不支持该类UDF。
x及后续版本,主管理节点的“${BIGDATA_HOME}/om-server/OMS/workspace/data”。 第一次转存告警时自动生成目录。 操作视频 本视频将分别为您介绍查看告警和事件信息及配置告警阈值的操作。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。
下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。 客户端软件包名称格式为:“FusionInsig
查看MRS作业详情和日志 用户通过管理控制台可在线查看当前MRS集群内所有作业的状态详情,以及作业的详细配置信息和运行日志信息。 由于Spark SQL和Distcp作业在后台无日志,因此运行中的Spark SQL和Distcp作业不能在线查看运行日志信息。 查看作业状态 登录MRS管理控制台。
GuoYijun,male,50 CaiXuyu,female,50 FangBo,female,60 开发思路为: 读取文本数据,生成相应DataStream,解析数据生成UserRecord信息。 筛选女性网民上网时间数据信息。 按照姓名、性别进行keyby操作,并汇总在一个时间窗口内每个女性上网时间。
HetuEngine SQL诊断功能介绍 HetuEngine QAS实例可对用户的SQL执行历史记录提供自动感知、自动学习、自动诊断服务,提升在线SQL运维能力,自动加速在线SQL分析任务,开启SQL诊断能力后,系统可实现如下能力: 自动感知并向集群管理员展现不同时间周期范围内的租户级、用户级的S
MRS集群所在VPC部署了VPCEP后集群补丁安装失败 问题现象 通过MRS管理控制台为MRS集群在线安装补丁,补丁安装失败,报错日志信息中提示访问OBS 403无权限。 原因分析 用户集群所在VPC中,部署并配置了VPC终端节点(VPCEP)。相关的终端节点策略中,未允许MRS
组件有所不同,可根据需要选择版本类型。 LTS版:集群提供更强的高可靠和容灾能力,融入了MRS服务自研组件,提供长期的支持和演进。 普通版:主要依托开源组件的能力,融入了MRS服务自研、成熟稳定的特性和功能,带来性能及稳定性的提升。 LTS版 集群版本 MRS集群的版本,不同版本
最后单击“OK”完成配置。 生成Jar包。 在IDEA主页面,选择“Build > Build Artifacts...”。 图4 Build Artifacts 在弹出的菜单中,选择“FlinkStreamJavaExample > Build”开始生成Jar包。 图5 Build
最后单击“OK”完成配置。 生成Jar包。 在IDEA主页面,选择“Build > Build Artifacts...”。 图4 Build Artifacts 在弹出的菜单中,选择“FlinkStreamJavaExample > Build”开始生成Jar包。 图5 Build
最后单击“OK”完成配置。 生成Jar包。 在IDEA主页面,选择“Build > Build Artifacts...”。 图4 Build Artifacts 在弹出的菜单中,选择“FlinkStreamJavaExample > Build”开始生成Jar包。 图5 Build
查询child表中的数据。 删除child表。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务