正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看MRS集群基本信息 集群创建完成后,可对集群进行监控和管理。选择“现有集群”,选中一集群并单击集群名,进入集群详情页面,查看集群的基本配置信息、网络信息和部署的节点信息等。 ECS集群和BMS集群在管理控制台操作基本一致,本文档主要以ECS集群描述为例,如有操作区别则分开描述。
查看MRS集群运行状态 MRS支持创建多个集群,集群购买数量受弹性云服务器数量限制。用户可以通过管理控制台查看所有MRS集群运行状态。 查看MRS集群运行状态 登录MRS管理控制台。 选择“现有集群”,进入集群列表页面。 集群列表默认按创建时间顺序排列,集群列表参数说明如表1所示。
使用MRS Spark SQL访问DWS表 华为云提供MapReduce服务(MRS),可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件,专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark SQL语言,
/user/hbase/t1 hdfs://192.168.40.2:8020/user/hbase/t1 使用备集群HBase表用户,在备集群中导入数据。 在备集群HBase shell界面,使用“hbase”用户执行以下命令保持写数据状态: set_clusterState_active
Tuple3<>(word[0], word[1], word[2]); } }); //将Stream1注册为Table1 tableEnv.registerDataStream("Table1", kafkaStream, "name
load("/tmp/default/cow_bugx/") // 指定读取的hudi表路径 .createTempView("mycall") // 注册为spark临时表 spark.sql("select * from mycall where `_hoodie_commit_time`
Tuple3<>(word[0], word[1], word[2]); } }); //将Stream1注册为Table1 tableEnv.registerDataStream("Table1", kafkaStream, "name
load("/tmp/default/cow_bugx/") // 指定读取的hudi表路径 .createTempView("mycall") // 注册为spark临时表 spark.sql("select * from mycall where `_hoodie_commit_time`>'20210308211131'")
true --auto-create-database 自动创建Hive database N true --skip-ro-suffix 注册时跳过读取_ro后缀的读优化视图 N false --use-file-listing-from-metadata 从Hudi的元数据中获取文件列表
Tuple3<>(word[0], word[1], word[2]); } }); //将Stream1注册为Table1 tableEnv.registerDataStream("Table1", kafkaStream, "name
true --auto-create-database 自动创建Hive database N true --skip-ro-suffix 注册时跳过读取_ro后缀的读优化视图 N false --use-file-listing-from-metadata 从Hudi的元数据中获取文件列表
RY_AND_DISK)等。 pyspark.sql.SQLContext:是SparkSQL功能的主入口。可用于创建DataFrame,注册DataFrame为一张表,表上执行SQL等。 pyspark.sql.DataFrame:分布式数据集。DataFrame等效于Spar
RY_AND_DISK)等。 pyspark.sql.SQLContext:是SparkSQL功能的主入口。可用于创建DataFrame,注册DataFrame为一张表,表上执行SQL等。 pyspark.sql.DataFrame:分布式数据集。DataFrame等效于Spar
RY_AND_DISK)等。 pyspark.sql.SQLContext:是SparkSQL功能的主入口。可用于创建DataFrame,注册DataFrame为一张表,表上执行SQL等。 pyspark.sql.DataFrame:分布式数据集。DataFrame等效于Spar
RY_AND_DISK)等。 pyspark.sql.SQLContext:是SparkSQL功能的主入口。可用于创建DataFrame,注册DataFrame为一张表,表上执行SQL等。 pyspark.sql.DataFrame:分布式数据集。DataFrame等效于Spar
RY_AND_DISK)等。 pyspark.sql.SQLContext:是SparkSQL功能的主入口。可用于创建DataFrame,注册DataFrame为一张表,表上执行SQL等。 pyspark.sql.DataFrame:分布式数据集。DataFrame等效于Spar
对于已安装HBase组件的节点组扩容时: 如果集群没有开启节点自动注册DNS,扩容该节点组时需选择不启动组件,之后请参考服务端配置过期后更新MRS集群客户端更新完HBase客户端配置后再启动扩容节点上的HBase组件实例。 以下版本默认开启了集群自动注册DNS,也可以请通过查询对应版本元数据查询返回
maxRegistrationDuration TaskManager向JobManager注册自己的最长时间,如果超过时间,TaskManager会关闭。 5 min 否 taskmanager.initial-registration-pause 两次连续注册的初始间隔时间。该值需带一个时间单位(ms/s/min/h/d)(比如5秒)。
word[2]); } }); //将Stream1注册为Table1 tableEnv.registerDataStream("Table1", kafkaStream, "name
registrationRequired 是否需要使用Kryo来注册对象。当设为“true”时,如果序列化一个未使用Kryo注册的对象则会发生异常。当设为“false”(默认值)时,Kryo会将未注册的类名称一同写到序列化对象中。该操作会带来大量性能开销,所以在用户还没有从注册队列中删除相应的类时应该开启该选项。