检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务韧性 跨AZ容灾部署能力 MRS服务管理面提供双集群跨AZ容灾能力,即在另一个可用区(跨AZ)部署一个同构的MRS灾备集群。
准备Linux客户端环境 背景信息 安装Linux客户端用于拓扑的提交。 前提条件 确认Storm组件已经安装,并正常运行。 客户端机器的时间与集群的时间要保持一致,时间差要小于5分钟。 操作步骤 下载Storm客户端程序。 登录MRS Manager系统。
答: 已经创建的MRS 3.1.0及之前版本集群不支持安装新的组件。如果需要使用当前集群未安装的组件,则需要重新创建一个集群,并且选择所需要的组件。 MRS 3.1.2-LTS.3及之后版本的自定义类型集群支持手动添加组件,具体请参见管理服务操作。 父主题: 集群管理类
集群负载 对于不同业务负载的业务,需要分开集群部署,便于不同负载的业务进行资源隔离。
当集群版本为MRS 3.1.0(须安装3.1.0.0.11及以上补丁)、MRS 3.1.5(须安装3.1.5.0.3及以上补丁)、MRS 3.3.0-LTS请参考数据盘扩容(一键扩容)进行数据盘扩容。
为应对不同应用场景的特殊需求,对所有下推模块设计开关功能,用户可以自行配置是否应用上述查询下推的增强。
例如:“192.168.81.37:2181,192.168.195.232:2181,192.168.169.84:2181” 在Manager页面,选择“集群 > 服务 > HetuEngine > 实例”,获取HSBroker所有实例的业务IP;在“配置”页签,搜索“server.port
hdfs://hacluster/kylin/kylin_metadata/coprocessor/kylin-coprocessor-1.6.0-SNAPSHOT-0.jar HBase在配置协处理器时,一定要保证对应的jar包路径没有问题,否则HBase会无法启动。
true')*/ 为右表设置去重 /*+ OPTIONS('duplicate.right'='true')*/ 同时为左表和右表设置去重 /*+ OPTIONS('duplicate.left'='true','duplicate.right'='true')*/ 在SQL语句中配置
为应对不同应用场景的特殊需求,对所有下推模块设计开关功能,用户可以自行配置是否应用上述查询下推的增强。
操作步骤 使用omm用户登录安装了Hive服务的节点,执行以下命令进入Hive安装目录。
conf.set("spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator") val sc = new SparkContext(conf) // 建立连接hbase的配置参数
val sparkConf = new SparkConf().setAppName("KafkaWordCount") val ssc = new StreamingContext(sparkConf, Seconds(batchSize.toLong)) //配置
spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator"); JavaSparkContext jsc = new JavaSparkContext(conf); // 建立连接hbase的配置参数
conf.set("spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator") val sc = new SparkContext(conf) // 建立连接hbase的配置参数
spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator"); JavaSparkContext jsc = new JavaSparkContext(conf); // 建立连接hbase的配置参数
conf.set("spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator") val sc = new SparkContext(conf) // 建立连接hbase的配置参数
在部署集群的时候,需要保证每一个IoTDBserver节点的UDF JAR包路径下都存在相应的Jar包。可以通过修改IoTDB配置“udf_root_dir”来指定UDF加载Jar的根路径。
在服务端的“hbase-site.xml”文件中配置splitlog参数,如表1所示。
回答 Tez WebUI依赖Yarn的TimelineServer实例,需要预先安装TimelineServer,且处于良好状态。 父主题: Tez常见问题