检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
总共为600MB。而Kafka中定义了接收数据的阈值大小为500MB。那么此时回写数据已超出阈值。此时,会出现上述错误。 图1 应用场景 解决措施: 方式一:推荐优化Spark Streaming应用程序中定义的批次时间,降低批次时间,可避免超过Kafka定义的阈值。一般建议以5-10秒/次为宜。
享受着包周期的优惠。 您只需要打开MRS服务页面,通过界面操作便可扩容出您需要的节点数。整个扩容过程无需后台人工介入,只需几分钟,即可完美解决您遇到的日益上涨的业务数据压力。 缩容集群 用户可以根据业务需求量,通过简单的缩减Core节点或者Task节点,对集群进行缩容,以使MRS
接执行Msck元数据修复操作,且解冻只能通过msck repair命令进行操作。 对冻结后的分区进行rename时,需要先解冻数据,否则会提示分区不存在。 删除存在冻结数据的表时,被冻结的数据会同步删除。 删除存在冻结数据的分区时,被冻结的分区信息不会被删除,HDFS业务数据也不会被删除。
在弹出窗口选择文件夹“hcatalog-example”,单击“OK”。Windows下要求该文件夹的完整路径不包含空格。 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。 在IntelliJ IDEA的菜单栏中,选择“File > Settings”。弹出“Settings”窗口。 在左边导航上选择“Editor
不加密。这种方式能保证性能但存在安全风险。 integrity:指数据直接传输,即不加密也不鉴权。 为保证数据安全,请谨慎使用这种方式。 解决办法 重新下载客户端,如果是应用程序,更新应用程序中的配置文件。 父主题: 使用HDFS
登录FusionInsight Manager。 选择“集群 > 服务 > HetuEngine > 概览”。 在页面右上角,选择“更多 > 下载客户端”,根据界面提示下载“完整客户端”文件到本地。 解压HetuEngine客户端压缩包文件“FusionInsight_Cluster_集群ID_ HetuEngine_Client
件包生成后根据浏览器提示下载客户端到本地并解压。 MRS 3.3.0及之后版本,登录FusionInsight Manager页面,在“主页”右上方单击“下载客户端”,“选择客户端类型”设置为“仅配置文件”,单击“确定”,等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。
单击“下一步”,选择权限范围方案,默认选择“所有资源”,单击“展开其他方案”,选择“全局服务资源”,单击“确定”。 在弹出的提示框中单击“知道了”,开始授权。界面提示“授权成功。”,单击“完成”,委托成功创建。 步骤二:为MRS集群配置委托 配置存算分离支持在新建集群中配置委托实现,也
总共为600MB。而Kafka中定义了接收数据的阈值大小为500MB。那么此时回写数据已超出阈值。此时,会出现上述错误。 图1 应用场景 解决措施: 方式一:推荐优化Spark Streaming应用程序中定义的批次时间,降低批次时间,可避免超过Kafka定义的阈值。一般建议以5-10秒/次为宜。
总共为600MB。而Kafka中定义了接收数据的阈值大小为500MB。那么此时回写数据已超出阈值。此时,会出现上述错误。 图1 应用场景 解决措施: 方式一:推荐优化Spark Streaming应用程序中定义的批次时间,降低批次时间,可避免超过Kafka定义的阈值。一般建议以5-10秒/次为宜。
-XX:MaxNewSize=9G” 300,000,000 “-Xms164G -Xmx164G -XX:NewSize=12G -XX:MaxNewSize=12G” 解决办法 按照规格修改NameNode的内存参数,如这里3600万block,将内存参数调整为“-Xms32G -Xmx32G -XX:NewSize=2G
升级完成后需要在FusionInsight Manager界面上重启Spark的JDBCServer2x实例。 升级组件安装包 该操作可以解决添加服务、添加实例、新下载客户端场景下的补丁安装。 登录集群主OMS节点,执行以下命令。 su - omm cd /opt/Bigdata/patches/MRS_3
是,执行5。 否,执行3。 修改错误参数,单击“确定”。 选择“系统 > 权限 > 用户 > AD域用户”,单击“手工同步”,确认界面右上角是否提示“手工同步成功。”。 是,告警处理完毕。 否,执行5。 检查第三方AD服务器及网络。 以root用户登录主管理节点,用户密码为安装前用户自
ATAL”信息。 “WARN”:警告日志级别,设置后日志打印输出“WARN”、“ERROR”和“FATAL”信息。 “INFO”(默认):提示信息日志级别,设置后日志打印输出“INFO”、“WARN”、“ERROR”和“FATAL”信息。 “DEBUG”:调试日志级别,设置后日志
source bigdata_env kinit hbase hbase shell set_clusterState_active 界面提示以下信息表示执行成功: hbase(main):001:0> set_clusterState_active => true 确认HBas
<.>/?中的3种类型字符。 不能与用户名或倒序用户名相同。 不可与前20个历史密码相同。 单击“确定”,系统自动重新启动对应的服务。界面提示“操作成功”,单击“完成”。 父主题: 修改MRS集群数据库用户密码
controller资源为单主资源,一般资源异常会导致主备倒换,看到告警时,基本已经主备倒换,并在新主环境上启动新的controller资源,告警恢复。该告警用于提示用户,Manager主备倒换的原因。 告警属性 告警ID 告警级别 是否自动清除 12070 重要 是 告警参数 参数名称 参数含义 来源
接执行Msck元数据修复操作,且解冻只能通过msck repair命令进行操作。 对冻结后的分区进行rename时,需要先解冻数据,否则会提示分区不存在。 删除存在冻结数据的表时,被冻结的数据会同步删除。 删除存在冻结数据的分区时,被冻结的分区信息不会被删除,HDFS业务数据也不会被删除。
失败原因是C80SPC200版本开始,创建集群不再替换/etc/krb5.conf文件,改为通过配置参数指定到客户端内krb5路径,而HiBench并不引用客户端配置文件。 解决方案: 将客户端/opt/client/KrbClient/kerberos/var/krb5kdc/krb5.conf,copy覆盖集群内所有节点的/etc/krb5
选择要导入的样例工程 选择以maven工程的形式导入。 图9 以maven工程的形式导入 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。 在IntelliJ IDEA的菜单栏中,选择“File > Settings”。 弹出“Settings”窗口。 在左边导航上选择“Editor