检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关闭弹性伸缩,否则请另择时间进行补丁升级。 是,弹性伸缩关闭,检查结束。 检查Manager是否有正在运行的任务 登录FusionInsight Manager界面,查看右上角任务。
0ms”,集群规格为每个regionserver上有2000~3000个region,在集群正常情况下(HBase无异常,HDFS无大量的读写操作等),建议此参数依据集群的规格进行调整,若实际规格(实际平均每个regonserver上region的个数)大于默认规格(默认平均每个
息,登录到实例节点上,进入对应的数据目录(即6中“log.dirs”修改之前的配置路径),查看该目录下哪些Topic的Patition目录占用的磁盘空间比较大。 是,执行15。 否,执行16。 通过Kafka客户端对Topic的Partition进行扩展,命令行操作命令如下: kafka-topics
ms”,集群规格为每个regionserver上有2000~3000个region,在集群正常情况下(HBase无异常,HDFS无大量的读写操作等),建议此参数依据集群的规格进行调整,如果实际规格(实际平均每个regonserver上region的个数)大于默认规格(默认平均每个
Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。 父主题: Flink应用开发概述
Doris应用开发规范 Doris建表规范 Doris数据变更规范 Doris命名规范 Doris数据查询规范 Doris数据导入规范 Doris UDF开发规范 Doris连接运行规范
本样例使用Python调用Java的方式实现 """ from py4j.java_gateway import java_import from pyspark.sql import SparkSession # 创建SparkSession spark = SparkSession\ .builder\
本样例使用Python调用Java的方式实现 """ from py4j.java_gateway import java_import from pyspark.sql import SparkSession # 创建SparkSession spark = SparkSession\ .builder\
面,单击“Stdout”查看该任务的输出结果如图12。 图10 运行完成的作业 图11 提交的任务 图12 运行结果 查看Stream SQL Join结果 结果在flink的“taskmanager.out”文件中,用户可以进入Yarn的WebUI页面,选择“Jobs > Running
加kafkaadmin用户组。 使用Ranger管理员用户rangeradmin登录Ranger管理页面。 在首页中单击“HADOOP SQL”区域的组件插件名称如“Hive”。 单击“Policy Name”名称为“all - database, table, column”操作列的。
streamingClient010/*.jar); IFS=,; echo "${files[*]}") --conf "spark.sql.streaming.statefulOperator.checkCorrectness.enabled=false" --class com
Doris对接SpringBoot运行结果 在浏览器中访问链接“http://样例运行节点IP地址:8080/doris/example/executesql”,IDEA正常打印日志,请求返回如下图所示: 图7 返回样例运行信息 父主题: 调测Doris应用
已获取GBase数据库所在的IP地址,端口号,用户名及密码。 HetuEngine对接GBase数据源约束 HetuEngine支持对接GBase操作的SQL语法:SHOW CATALOGS/SCHEMAS/TABLES/COLUMNS、DESCRIBE、USE、SELECT表/视图。 Hetu
E_8.1.0.1/install/FusionInsight-dbservice-2.7.0/.dbservice_profile gsql -U 用户名-W Oozie数据库密码 -p 20051 -d 数据库名称 登录成功后,输入\d,检查数据表是否共有15张。 Oozie
1.1-hw-ei-311001.jar kafka-clients-xxx.jar kafka_2.12-xxx.jar spark-sql-kafka-0-10_2.12-3.1.1-hw-ei-311001-SNAPSHOT.jar spark-streaming-kafka-0-10_2
创建存储组“root.集团名称”以表示该集团。 创建时间序列,用于存储具体设备传感器对应的指标数据。 模拟传感器,录入指标数据。 使用SQL查询指标数据信息。 业务结束后,删除存储的数据。 图1 数据结构 操作步骤 登录客户端。 以客户端安装用户登录安装客户端的节点,执行以下命
通过Spark客户端,查看数据库,确认对接成功。如果集群不存在Spark组件请跳过该步骤。 source 客户端安装路径/Spark/component_env spark-sql show databases;desc database default; 父主题: 配置LakeFormation数据连接
使用CDL CDL数据集成概述 CDL用户权限管理 快速使用CDL创建数据同步作业 创建CDL作业前准备 创建CDL作业 CDL作业数据DDL变更说明 CDL日志介绍 CDL常见问题 CDL故障排除
管理MRS集群客户端 服务端配置过期后更新MRS集群客户端 查看已安装的MRS集群客户端 批量升级MRS集群客户端 父主题: 管理MRS集群
客户端直接向Leader、Follower或Observer读取数据。 ZooKeeper常见规格 ZooKeeper服务的常见系统规格如ZooKeeper常见规格所示。 表2 ZooKeeper常见规格 指标名称 规格 说明 单集群ZooKeeper最大实例数 9 ZooKeeper最大实例数