检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JavaSparkContext jsc = new JavaSparkContext(conf); // 建立连接hbase的配置参数,此时需要保证hbase-site.xml在classpath中 Configuration hbConf = HBaseConfiguration
在UDF列表中,可查看当前应用内所有的UDF信息。可在对应UDF信息的“操作”列编辑或删除UDF信息(只能删除未被使用的UDF项)。 (可选)如果需要立即运行或开发作业,可在“作业管理”进行相关作业配置,可参考创建FlinkServer作业。 UDF java代码及SQL样例 UDF java使用样例
MyRegistrator") val sc = new SparkContext(conf) // 建立连接hbase的配置参数,此时需要保证hbase-site.xml在classpath中 val hbConf = HBaseConfiguration.create(sc
JavaSparkContext jsc = new JavaSparkContext(conf); // 建立连接hbase的配置参数,此时需要保证hbase-site.xml在classpath中 Configuration hbConf = HBaseConfiguration
MyRegistrator") val sc = new SparkContext(conf) // 建立连接hbase的配置参数,此时需要保证hbase-site.xml在classpath中 val hbConf = HBaseConfiguration.create(sc
if(args.length >= 2) { //用户更改了默认的keytab文件名,这里需要将新的keytab文件名通过参数传入 conf.put(Config.STORM_CLIENT_KEYTAB_FILE
JavaSparkContext jsc = new JavaSparkContext(conf); // 建立连接hbase的配置参数,此时需要保证hbase-site.xml在classpath中 Configuration hbConf = HBaseConfiguration
MyRegistrator") val sc = new SparkContext(conf) // 建立连接hbase的配置参数,此时需要保证hbase-site.xml在classpath中 val hbConf = HBaseConfiguration.create(sc
condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 系统执行业务能力过低,无法正常响应客户请求,对Hive服务无影响,需要检查HiveServer日志排查SQL失败原因。 可能原因 HQL命令语法错误。 执行Hive on HBase任务时HBase服务异常。
168.234.167' (ED25519) to the list of known hosts. 删除所有JobServer所在节点时间戳,需要在所有的JobServer节点执行如下命令: TIME_RECORD_FILE=${BIGDATA_HOME}/FusionInsight
能关闭。 创建一张表或Scan时设定blockcache为true HBase客户端建表和scan时,设置blockcache=true。需要根据具体的应用需求来设定它的值,这取决于有些数据是否会被反复的查询到,如果存在较多的重复记录,将这个值设置为true可以提升效率,否则,建议关闭。
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的如下节点信息。(普通模式集群不需要下载KrbServer日志。) ZooKeeper KrbServer 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。
表时创建索引,并在生成用户数据的同时生成索引数据。 前提条件 已安装客户端,具体请参考安装客户端章节。 已根据业务需要创建具有相应权限的组件业务用户。“机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。 使用HIndexImportTsv批量生成HBase本地二级索引数据
表时创建索引,并在生成用户数据的同时生成索引数据。 前提条件 已安装客户端,具体请参考安装客户端章节。 已根据业务需要创建具有相应权限的组件业务用户。“机机”用户需要下载keytab文件,“人机”用户第一次登录时需修改密码。 使用HIndexImportTsv批量生成HBase本地二级索引数据
数据是否压缩: 对Map的中间结果进行压缩,当数据量大时,会显著减少网络传输的数据量,但是也因为多了压缩和解压,带来了更多的CPU消耗。因此需要做好权衡。当任务属于网络瓶颈类型时,压缩Map中间结果效果明显。针对bulkload调优,压缩中间结果后性能提升60%左右。 配置方法:将“mapreduce
MyRegistrator") val sc = new SparkContext(conf) // 建立连接hbase的配置参数,此时需要保证hbase-site.xml在classpath中 val hbConf = HBaseConfiguration.create(sc
table seq_Codec (key string, value string) stored as RCFile; HIVE使用OBS存储。 需要在beeline里面设置指定的参数,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 set fs.obs.access.key=AK;
JavaSparkContext jsc = new JavaSparkContext(conf); // 建立连接hbase的配置参数,此时需要保证hbase-site.xml在classpath中 Configuration hbConf = HBaseConfiguration
grep "进程ID" 查询出的第三列即为父进程ID。 执行以下命令终止父进程。 kill -9 父进程ID 否,如果所有线程均正常使用,则需要执行ulimit -u命令,将该值调整到大于60000。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行12。 收集故障信息。
class JDBCbyKerberosExample { /** * 安全模式下,“SSL_ENABLE”默认为“true”,需要导入truststore.jks文件。 * 安全模式下,也可登录FusionInsight Manager,选择“集群 > 服务 >