检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
slideInterval) 返回流中滑动窗口元素的个数。 reduceByWindow(func, windowLength, slideInterval) 当调用在DStream的KV对上,返回一个新的DStream的KV对,其中每个Key的Value根据滑动窗口中批次的reduce函数聚合得到。 join(otherStream
在FusionInsight Manager页面创建的用户。 异常场景下登录客户端操作赋权 ClickHouse集群默认每个节点上的表元信息是相同的,因此在Manager的权限管理页面上默认采集的是任意ClickHouse节点的表信息,如果有个别节点上创建DATABASE/TABLE时未使用ON
由于客户端选择服务端的策略是随机的,可能会出现会话随机分配不均匀的情况,进而可能引起实例间的负载不均衡。 实例进入维护模式(即进入此模式后不再接受新的客户端连接)后,当达到退服超时时间,仍在此实例上运行的业务有可能会发生失败。 URL连接介绍 多主实例模式 多主实例模式的客户端读取Zo
JDBC驱动的加载 客户端程序以JDBC的形式连接HiveServer时,需要首先加载Hive的JDBC驱动类org.apache.hive.jdbc.HiveDriver。 故在客户端程序的开始,必须先使用当前类加载器加载该驱动类。 如果classpath下没有相应的jar包,则客户端程序抛出Class
可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 SparkSql作业常用的运行程序参数如表2所示,可根据执行程序及集群资源情况进行配置。 - 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数。 该参数的修改仅适
客户端默认使用安装目录下文件Version中的“wsom=xxx”所配置的浮动IP刷新客户端配置,如需刷新为其他集群的配置文件,请执行本步骤前修改Version文件中“wsom=xxx”的值为对应集群的浮动IP地址。 全量更新主Master节点的原始客户端 场景描述 用户创建集群时,默认在集群所有节点的“/opt
该任务以Derby数据库为例。Derby是一个小型的,java编写的,易于使用却适合大多数应用程序的开放源码数据库。 Derby数据库的获取。在官网下载最新版的Derby数据库,将下载下来的数据库将传入Linux客户端(如"/opt"),并解压。 在Derby的安装目录下,进入bin目录,输入如下命令:
该任务以Derby数据库为例。Derby是一个小型的,java编写的,易于使用却适合大多数应用程序的开放源码数据库。 Derby数据库的获取。在官网下载最新版的Derby数据库,将下载下来的数据库将传入Linux客户端(如"/opt"),并解压。 在Derby的安装目录下,进入bin目录,输入如下命令:
指定业务用户名,则输入“yes”,并根据提示输入业务用户名和对应的业务用户密码: 不指定业务用户名,则输入“no”;此时,则使用7中的用户执行后续操作: 输入其他,则退出登录: (可选)创建元数据。 IoTDB具有类型推断的能力,因此在数据导入前创建元数据不是必须的。但仍然推荐在使用CSV导入工具导入数据
中 - 大数据量的维度表建议采用HBase 数据量比较大,而且不要数据高一致的场景,可以采用HBase类的KV库提供维度表点查关联能力。 由于K-V库的数据需由另外的作业写入,与当前的Flink作业会存在一定的时差,容易导致当前Flink作业查询K-V库时不是最新的数据,且由于lo
仅压缩单个检查点中的文件,即生成的文件数量至少与检查点数量相同。合并前的文件是不可见的,因此文件的可见性是:检查点间隔+压缩时间之后。如果压缩时间太长,将延长检查点的时间段。 表2 分区目录的文件合并 配置项 默认值 类型 描述 auto-compaction false Boolean 是否启用自动压缩。
>hive”,勾选“warehouse”的“读”、“写”和“执行”,单击“确定”保存。 编辑角色,在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”,勾选“default”的“建表”,单击“确定”保存。 编辑角色,在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn
在“主页”选择所需要操作的集群的图表区的右上角,选择一个时间范围获取监控数据,例如“1周”。 默认为实时数据,无法导出。单击可以自定义监控数据时间范围。 在图表区的右上角,单击,在弹出菜单中选择“导出” 导出指定监控项数据 在“主页”选择所需要操作的集群的图表区任意一个监控报表窗格的右上角,单击。
要重启的服务,进入服务页面。在“服务状态”页签单击“更多”,选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面,选择“集群 > 服务 > 待操作的服务名称”,单击右上角的“更多”,选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样,详情见如下表格。
群管理器在不同的应用之间调度资源。Driver同时会启动应用程序DAG调度、Stage划分、Task生成。 然后Spark会把应用的代码(传递给SparkContext的JAR或者Python定义的代码)发送到Executor上。 所有的Task执行完成后,用户的应用程序运行结束。
Coordinator 资源使用 选取的队列中的coordinator资源使用情况。 Coordinator 资源使用率 选取的队列中的coordinator资源使用率。 Worker 资源使用 选取的队列中的worker资源使用情况。 Worker 资源使用率 选取的队列中的worker资源使用率。
可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 Spark作业常用的运行程序参数如表2所示,可根据执行程序及集群资源情况进行配置。 - 执行程序参数 可选参数,程序执行的关键参数,该参数由用户程序内的函数指定,MRS只负责参数的传入。
”参数还需要在Yarn的客户端进行配置,且在ResourceManager、NodeManager和JobHistory节点的配置与在Yarn的客户端的配置必须一致。 周期性收集日志功能目前仅支持MapReduce应用,且MapReduce应用必须进行相应的日志文件滚动输出配置,
afka的监控指标“未完全同步的Partition总数”进行查看。 Kafka滚动重启过程中,建议设置客户端Producer的配置参数“acks”的值为“-1”(配置方式和其他Producer配置参数的配置方式一致),否则在逐个重启Broker实例的瞬间有丢失少量数据的风险。设置
要重启的服务,进入服务页面。在“服务状态”页签单击“更多”,选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面,选择“集群 > 服务 > 待操作的服务名称”,单击右上角的“更多”,选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样,详情见如下表格。