检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator"); JavaSparkContext jsc = new JavaSparkContext(conf); // 建立连接
org.apache.spark.serializer.KryoSerializer") conf.set("spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator") val sc = new SparkContext(conf) // 建立连接
"spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator"); JavaSparkContext jsc = new JavaSparkContext(conf); // 建立连接
org.apache.spark.serializer.KryoSerializer") conf.set("spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator") val sc = new SparkContext(conf) // 建立连接
集群外节点安装客户端 根据在集群外节点安装客户端前提条件,创建一个满足要求的弹性云服务器。 执行ntp时间同步,使集群外节点的时间与MRS集群时间同步。
如果Flink开启了HA(MRS 3.2.0及以后版本),则RestAPI创建租户样例的“--hostName”参数值为FlinkServer的浮动IP。 父主题: 调测Flink应用
已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flume_hdfs的kerberos证书文件并保存在本地。
配置RSGroup 创建RSGroup 在FusionInsight Manager界面,选择“集群 > 服务 > HBase > RSGroup管理”。
在HDFS客户端路径下建立一个文件夹,“/tmp/input”,并上传input_data1.txt,input_data2.txt到此目录,命令如下: 在HDFS客户端,执行如下命令获取安全认证。
admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 在NameNode WebUI,查看是否显示如下信息:“Safe mode is ON.”
admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。
state.backend.rocksdb.block.blocksize 4KB 128KB:开启SPINNING_DISK_OPTIMIZED_HIGH_MEM Block大小 推荐4KB-256KB state.backend.rocksdb.use-bloom-filter false 是否开启索引提速,若为true,则每个新创建的
说明: 如果对URL片段标示名称进行如下指定,该属性还可以为存档创建别名。作为示例,这里将别名设为了mr-framework。
如何调优 每次CarbonData加载创建一个segment,如果每次加载的数据量较小,将在一段时间内生成许多小文件,影响查询性能。配置该参数将小的segment合并为一个大的segment,然后对数据进行排序,可提高查询性能。 压缩的策略根据实际的数据大小和可用资源决定。
配置了监听该广播地址的Listener将接收到Dead RegionServer的信息,并自动剔除客户端建立的Connection中该Dead RegionServer上的Region位置缓存信息,在下次访问这部分Region时拉取最新的位置信息,实现业务侧及时识别故障RegionServer
配置RSGroup 创建RSGroup 在FusionInsight Manager界面,选择“集群 > 服务 > HBase > RSGroup管理”。
org.apache.spark.serializer.KryoSerializer") conf.set("spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator") val sc = new SparkContext(conf) // 建立连接
创建CDM集群,该CDM集群的安全组、虚拟私有云、子网需要和迁移目的端集群保持一致,保证CDM集群和MRS集群之间网络互通。 在“集群管理”页面单击待操作集群对应“操作”列的“作业管理”。 在“连接管理”页签,单击“新建连接”。
String, String>> propsList, List<Map<String, String>> tagsList, List<Map<String, String>> attributesList, List<String> measurementAliasList) 创建单个或多个时间序列
无法创建新的omm线程,可能会导致作业运行失败。 可能原因 告警阈值配置不合理。 omm用户可以同时打开的进程(包括线程)的最大个数配置不合理。 同时打开的进程过多。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。