检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ssc = new StreamingContext(sparkConf, Seconds(batchSize.toLong)) //配置Streaming的CheckPoint目录。 //由于窗口概念的存在，此参数是必需的。 ssc.checkpoint(checkPointDir)
JavaSparkContext jsc = new JavaSparkContext(conf); // 建立连接hbase的配置参数，此时需要保证hbase-site.xml在classpath中 Configuration hbConf = HBaseConfiguration
MyRegistrator") val sc = new SparkContext(conf) // 建立连接hbase的配置参数，此时需要保证hbase-site.xml在classpath中 val hbConf = HBaseConfiguration
上region的个数，即2000），则调整方案为（实际规格 / 默认规格）* 默认时间。 在服务端的“hbase-site.xml”文件中配置splitlog参数，如表1所示。 表1 splitlog参数说明 参数 描述 默认值 hbase.splitlog.manager.timeout
sionInsight-IoTDB-*/iotdb/ext/udf”下。 在部署集群的时候，需要保证每一个IoTDBserver节点的UDF JAR包路径下都存在相应的Jar包。可以通过修改IoTDB配置“udf_root_dir”来指定UDF加载Jar的根路径。 使用SQL语句注册该UDF，语法如下：
ssc = new StreamingContext(sparkConf, Seconds(batchSize.toLong)) //配置Streaming的CheckPoint目录。 //由于窗口概念的存在，此参数是必需的。 ssc.checkpoint(checkPointDir)
切换为omm用户，进入拷贝目录下“/opt/example”，首先确保conf目录下和依赖库文件目录下的所有文件，对当前用户均具有可读权限；同时保证已安装jdk并已设置java相关环境变量，然后执行命令，如java -cp .:/opt/example/conf:/opt/example/kafka-examples-lib/*
ssc = new StreamingContext(sparkConf, Seconds(batchSize.toLong)) //配置Streaming的CheckPoint目录。 //由于窗口概念的存在，此参数是必需的。 ssc.checkpoint(checkPointDir)
ssc = new StreamingContext(sparkConf, Seconds(batchSize.toLong)) //配置Streaming的CheckPoint目录。 //由于窗口概念的存在，此参数是必需的。 ssc.checkpoint(checkPointDir)
strings 参数解释： 角色部署信息。可以指定节点组中部署的角色，该参数是一个字符串数组，每个字符串表示一个角色表达式。 角色表达式定义： 当该角色在节点组所有节点部署时： {role name}，如“DataNode”。 当该角色在节点组指定下标节点部署时：{role name}:{index1}
WebUI】Hue WebUI页面无法访问 【Hue WebUI】访问Hue WebUI页面报错“Proxy Error” 【Hue WebUI】集群未安装Hive服务时Hue原生页面无法正常显示 【Hue WedUI】Hue（主）无法打开web网页 【Ranger WebUI】新用户修改完密码后无法登录Ranger
WebUI页面全量日志时需要展示的日志过大，导致报500内部错误。此时需要把作业生成的聚合日志调小，使其分段生成即可。 处理步骤 以root用户登录安装了Spark2x/Spark客户端的节点。 执行以下命令编辑文件。 vim $SPARK_HOME/conf/log4j-executor
provided 可能原因 客户端用户没有进行安全认证 kerberos认证超期 解决方案 登录Hive客户端所在节点。 执行source 集群客户端安装目录/bigdata_env命令。 可通过klist命令查看本地是否有有效票据，如下信息表明票据在16年12月24日14:11:42生效，
egion Servers上Region分布是否均衡。 以omm用户登录故障RegionServer节点。 进入客户端安装目录，设置环境变量。 cd 客户端安装目录 source bigdata_env 如果集群采用安全版本，要进行安全认证。执行kinit hbase命令，按提示
egion Servers上Region分布是否均衡。 以omm用户登录故障RegionServer节点。 进入客户端安装目录，设置环境变量。 cd 客户端安装目录 source bigdata_env 如果集群采用安全版本，要进行安全认证。执行kinit hbase命令，按提示
否，执行11。 数据倾斜，需要均衡集群中的数据。以root用户登录MRS客户端，用户密码为安装前用户自定义，请咨询系统管理员。如果集群为普通模式，执行su - omm切换到omm用户。执行cd命令进入客户端安装目录，然后执行source bigdata_env。如果集群采用安全版本，要进行安全认证。执行kinit
登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql创建Hudi表或者Hive表，未插入数据前，查询表统计信息为空
MyRegistrator") val sc = new SparkContext(conf) // 建立连接hbase的配置参数，此时需要保证hbase-site.xml在classpath中 val hbConf = HBaseConfiguration
根据上述的业务场景进行功能开发，需要开发的功能如表4所示。 表4 在OpenTSDB中开发的功能 序号 步骤 代码实现 1 根据典型场景说明建立了数据模型 请参见配置OpenTSDB参数 2 写入指标数据 请参见写入OpenTSDB数据 3 根据指标项进行数据查询 请参见查询OpenTSDB数据 4 删除指定范围的数据
其中，<inputPath>指HDFS文件系统中input的路径。 运行Python样例程序 由于Python样例代码中未给出认证信息，请在执行应用程序时通过配置项“--keytab”和“--principal”指定认证信息。 bin/spark-submit --master yarn --deploy-mode
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
