检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Core调优 数据序列化 配置内存 设置并行度 使用广播变量 使用External Shuffle Service提升性能 Yarn模式下动态资源调度 配置进程参数 设计DAG 经验总结 父主题: Spark应用调优
Flink性能调优 优化Flink内存GC参数 配置Flink任务并行度 配置Flink任务进程参数 优化Flink Netty网络通信参数 Flink作业RocksDB状态后端调优 配置Flink作业状态后端冷热数据分离存储 父主题: 使用Flink
Sink一般都是成对出现,用于多个Flume Agent间进行数据中转,因此一般场景下Avro Source和Avro Sink都不会成为性能瓶颈。 模块间性能 根据模块间性能对比,可以看到对于前端是SpoolDir Source的场景下,Kafka Sink和HDFS Sink都能满足吞吐量要求,但是HBase S
Spark Core性能调优 Spark Core数据序列化 Spark Core内存调优 设置Spark Core并行度 配置Spark Core广播变量 配置Spark Executor堆内存参数 使用External Shuffle Service提升Spark Core性能
当初始Executor为0时,为什么INSERT INTO/LOAD DATA任务分配不正确,打开的task少于可用的Executor? 为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 父主题: 使用CarbonData
val env = StreamExecutionEnvironment.getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler
val env = StreamExecutionEnvironment.getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler
val env = StreamExecutionEnvironment.getExecutionEnvironment // 设置并发度 env.setParallelism(1) // 解析运行参数 val paraTool = ParameterTool
val env = StreamExecutionEnvironment.getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler
配置YARN-Client和YARN-Cluster不同模式下的环境变量 Hive分区修剪的谓词下推增强 配置列统计值直方图Histogram用以增强CBO准确度 CarbonData首查优化工具 父主题: 使用Spark2x(MRS 3.x及之后版本)
FlinkSQL写入JDBC数据支持ignoreDelete Join-To-Live FlinkSQL行级过滤 FlinkSQL算子并行度 FlinkSQL JSON_VALUE函数性能优化 FlinkSQL Lookup算子复用 FlinkSQL Function增强 FlinkSQL支持MultiJoin算子
env = StreamExecutionEnvironment.getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler
env = StreamExecutionEnvironment.getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler
env = StreamExecutionEnvironment.getExecutionEnvironment(); //设置job的并发度为2 env.setBufferTimeout(2); // 创建Zookeeper的注册服务器handler
配置YARN-Client和YARN-Cluster不同模式下的环境变量 Hive分区修剪的谓词下推增强 配置列统计值直方图Histogram用以增强CBO准确度 CarbonData首查优化工具 消减Spark Insert Overwrite自读自写风险 父主题: 使用Spark/Spark2x
env = StreamExecutionEnvironment.getExecutionEnvironment // 设置并发度 env.setParallelism(1) // 解析运行参数 val paraTool = ParameterTool
x及之后版本,移动鼠标到界面右上角的“Hello, admin”,在弹出菜单中单击“修改密码”。 在修改密码页面,输入“旧密码”、“新密码”、“确认新密码”。 默认的密码复杂度要求: MRS 2.x及之前版本: 密码字符长度至少为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@#$%^&*()-_=+\|[{}];:'"
val env = StreamExecutionEnvironment.getExecutionEnvironment // 设置并发度 env.setParallelism(1) // 解析运行参数 val paraTool = ParameterTool
val env = StreamExecutionEnvironment.getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler
来处理您向其投入的任何负载。每个TSD使用CloudTable集群中的HBase来存储和检索时间序列数据。数据模式经过高度优化,可快速聚合相似的时间序列,从而最大限度地减少存储空间。TSD的用户不需要直接访问底层存储。您可以通过HTTP API与TSD进行通信。所有通信都发生在同