检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理 for (ConsumerRecord<Integer, String> record : records)
Reduce input records=6 Reduce output records=2 Spilled Records=12 Shuffled Maps
@Override public JavaRDD<HoodieRecord<T>> repartitionRecords(JavaRDD<HoodieRecord<T>> records, int outputSparkPartitions) { JavaPairRDD<String
@Override public JavaRDD<HoodieRecord<T>> repartitionRecords(JavaRDD<HoodieRecord<T>> records, int outputSparkPartitions) { JavaPairRDD<String
对于集群内的节点,节点架构类型可在Manager页面选择“主机”,在待安装客户端节点所在行的“平台类型”列查看。 勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主OMS节点(通常为Master1节点)的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框
myhuaweicloud.com/mrs-demon-samples/demon/detail-records.zip获取Spark样例数据到本地。 将下载的“detail-records.zip”解压,获取图3所示的样例数据。 图3 样例数据 进入“input”文件夹,单击“上传文件”,选择本地存放的Spark样例数据。
JAVADStreamKafkaWriter.writeToKafka() 支持将DStream中的数据批量写入到Kafka。 JAVADStreamKafkaWriter.writeToKafkaBySingle() 支持将DStream中的数据逐条写入到Kafka。 Spark SQL常用接口
JAVADStreamKafkaWriter.writeToKafka() 支持将DStream中的数据批量写入到Kafka。 JAVADStreamKafkaWriter.writeToKafkaBySingle() 支持将DStream中的数据逐条写入到Kafka。 Spark SQL常用接口
参数描述 表1 SHOW SECONDARY INDEXES参数 参数 描述 db_name 数据库的名称。数据库名称应由字母数字字符和下划线(_)特殊字符组成 table_name 数据库中的表名称。表名称应由字母数字字符和下划线(_)特殊字符组成。 注意事项 db_name为可选项。
--jobManagerMemory <arg>:为JobManager设置内存。 -m,--jobmanager <arg>:要连接的JobManager的地址,使用该参数可以连接特定的JobManager。 -nl,--nodeLabel <arg>: 指定YARN application的nodeLabel
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
insertTablets(Map<String, Tablet> tablet) 插入多个Tablet。 void insertRecords(List<String> deviceIds, List<Long> times, List<List<String>> measurementsList
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 ommdba密码过期,OMS数据库无法管理,数据不能访问。 可能原因 该主机ommdba密码即将过期。 处理步骤 检查系统中ommdba密码是否即将过期。 以root用户登
metastore获取元数据信息。HetuEngine提供了元数据缓存的功能,当首次访问Hive数据源的库或表时,会将该库或表的元数据信息(数据库名、表名、表字段、分区信息、权限信息等)缓存起来,后续访问时不需要再次访问Hive metastore,在Hive数据源的表数据变化不频繁
ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理 for (ConsumerRecord<Integer, String> record : records) {
是(一级) - 表 是(二级) - 视图 是(二级) 与表一致 表2 资源权限列表 资源对象 可选权限 备注 数据库(DATABASE) CREATE CREATE DATABASE/TABLE/VIEW/DICTIONARY权限 表/视图(TABLE/VIEW) SELECT/INSERT
设置属性:设置连接ClickHouse服务实例的参数属性。 建立连接:建立和ClickHouse服务实例的连接。 创建库:创建ClickHouse数据库。 创建表:创建ClickHouse数据库下的表。 插入数据:插入数据到ClickHouse表中。 查询数据:查询ClickHouse表数据。 删除表:删除已创建的ClickHouse表。
扫描功能 命令形式: sh mergetool.sh scan <db.table> <filesize> db.table的形式是“数据库名.表名”,filesize为用户自定义的小文件阈值(单位MB),返回结果为小于该阈值的文件个数,及整个表目录数据文件的平均大小。 例如:sh