正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IoTDB应用开发流程介绍 本文档主要基于Java API对IoTDB进行应用开发。 开发流程中各阶段的说明如图1和表1所示。 图1 IoTDB应用程序开发流程 表1 IoTDB应用开发的流程说明 阶段 说明 参考章节 准备开发环境 在进行应用开发前,需首先准备开发环境,推荐使用
enabled为true,记录Spark事件的目录。在此目录下,Spark为每个应用程序创建文件,并将应用程序的事件记录到文件中。用户也可设置为统一的与HDFS目录相似的地址,这样History server就可以读取历史文件。 hdfs://hacluster/spark2xJobHistory2x spark
须是唯一的(并发度除外),否则,连接NettySink时会出现冲突,导致无法连接。 topic:订阅的NettySink的topic。 registerServerHandler:为注册服务器的句柄。 NettySource的并发度必须与NettySink的并发度相同,否则无法正常创建连接。
告警ID 告警信息的ID。 告警名称 告警信息的名称。 告警级别 包含紧急、重要、次要、提示四项级别。 产生时间 产生告警的时间。 清除时间 告警检测到已清除的时间。如果未清除,则显示为“--”。 来源 集群名称。 对象 触发告警的服务、进程或模块。 是否自动清除 能够在问题修复后自动清除告警。
enabled为true,记录Spark事件的目录。在此目录下,Spark为每个应用程序创建文件,并将应用程序的事件记录到文件中。用户也可设置为统一的与HDFS目录相似的地址,这样History server就可以读取历史文件。 hdfs://hacluster/spark2xJobHistory2x spark
HBase启动后原生页面显示RegionServer个数多于实际个数 问题背景 HBase启动后,HMaster原生页面显示RegionServer个数多于实际RegionServer个数。 查看HMaster原生页面,显示有4个RegionServer在线,如下图示: 原因分析
= StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool paraTool
参数介绍具体可参见Loader连接配置说明。 单击“确定”。 如果连接配置,例如IP地址、端口、访问用户等信息不正确,将导致验证连接失败无法保存。 用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面,单击“新建作业”。 单击“连接”后的下拉列表框,可以查看已创建的连接。 编辑连接 在Loader页面,单击“新建作业”。
在弹出菜单中单击“修改密码”。 图1 修改密码 在“密码修改”界面分别输入“旧密码”、“新密码”、“确认新密码”,单击“确定”完成修改。 默认密码复杂度要求: MRS 2.x及之前版本: 密码字符长度至少为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@#$%^&*()-_=+\|[{}];:'"
nager的个数相当于增大了任务的并发度。在资源充足的情况下,可以相应增加TaskManager的个数,以提高运行效率。 配置TaskManager Slot数。 每个TaskManager多个核同时能跑多个task,相当于增大了任务的并发度。但是由于所有核共用TaskManag
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析,用户将鼠标置于Tasks的彩色小方框上,无法显示彩色小框的title说明,如图1所示。正常的显示界面如图2所示。
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析,用户将鼠标置于Tasks的彩色小方框上,无法显示彩色小框的title说明,如图1所示。正常的显示界面如图2所示。
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析,用户将鼠标置于Tasks的彩色小方框上,无法显示彩色小框的title说明,如图1所示。正常的显示界面如图2所示。
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析,用户将鼠标置于Tasks的彩色小方框上,无法显示彩色小框的title说明,如图1所示。正常的显示界面如图2所示。
Hudi Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎,提供IUD接口,在HDFS的数据集上提供了插入更新和增量拉取的功能。 如需使用Hudi,请确保MRS集群内已安装Spark/Spark2x服务。
= StreamExecutionEnvironment.getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool paraTool
shuffle并行度。 hoodie.upsert.shuffle.parallelism upsert方式写入数据时的spark shuffle并行度。 hoodie.delete.shuffle.parallelism delete方式删除数据时的spark shuffle并行度。 hoodie
when子句的view视图,不应嵌套超过3层,避免出现嵌套过深导致Impala内存溢出 case when子句包含多个判断分支,在多层view视图嵌套场景下,复杂度呈指数增长,通过实测该场景下view嵌套层数不能超过3层,否则会出现内存溢出。可使用临时表替代view,将一个多重嵌套拆分成多个查询执行。 分区表select
nager的个数相当于增大了任务的并发度。在资源充足的情况下,可以相应增加TaskManager的个数,以提高运行效率。 配置TaskManager Slot数。 每个TaskManager多个核同时能跑多个task,相当于增大了任务的并发度。但是由于所有核共用TaskManag
进行调整。 dataSize如果只有几个G,推荐跑单节点运行spark,或者yarn模式但是只分配一个container。 入湖程序的并行度p设置:建议 p = (dataSize)/128M, 程序分配core的数量保持和p一致即可。内存设置建议内存大小和core的比例大于1.5:1