检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目录下创建子目录“conf”。 将1导出的hive-examples-1.0.jar拷贝到“/opt/hive_examples”下。 将客户端下的配置文件拷贝到“conf”下，开启Kerberos认证的安全集群下把从5获取的user.keytab和krb5.conf拷贝到的/o
导入并配置Spark样例工程 操作场景 Spark针对多个场景提供样例工程，包含Java样例工程和Scala样例工程等，帮助客户快速学习Spark工程。 针对Java和Scala不同语言的工程，其导入方式相同。使用Python开发的样例工程不需要导入，直接打开Python文件（*
将storm-examples导入到Eclipse开发环境，请参见导入并配置Storm样例工程。 下载并安装HDFS客户端，参见准备HDFS应用运行环境。 获取相关配置文件。获取方法如下。 在安装好的HDFS客户端目录下找到目录“/opt/client/HDFS/hadoop/etc/hadoop”，在
执行select语句时报错“Execution Error return code 2” 问题现象 执行语句select count(*) from XXX;时客户端报错： Error:Error while processing statement :FAILED:Execution Error,return
能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。 GC的配置：在客户端的“conf/flink-conf.yaml”配置文件中，在“env.java.opts”配置项中添加参数：“-Xloggc:<LOG_DIR>/gc
C（Garbage Collection），评估内存中RDD的大小来判断内存是否变成性能瓶颈，并根据情况优化。 监控节点进程的GC情况（在客户端的conf/spark-default.conf配置文件中，在spark.driver.extraJavaOptions和spark.executor
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
mpaction动作完成，即触发HBase文件合并，方法如下： 方法1：使用HBase shell客户端，在客户端手动执行major_compact操作。 方法2：编写HBase客户端代码，调用HBaseAdmin类中的compact方法触发HBase的compaction动作。
val zkRegisterServerHandler = new ZookeeperRegisterServerHandler //添加用户自定义算子产生数据 env.addSource(new UserSource) .keyBy(0).map(x=>x.content
重新下载安装Spark服务客户端，或者更新已有客户端配置，具体参考使用MRS客户端。 验证配置结果 登录FusionInsight Manager，选择“集群 > 服务 > MemArtsCC > 图表 > 容量”。 查看图表“集群shard数量” 并记录shard数。 登录Spark客户端节点，
String[] words = line.toLowerCase(Locale.getDefault()).split(REGEX_STRING); for (String word : words) {
配置流式读取Spark Driver执行结果 配置场景 在执行查询语句时，返回结果有可能会很大（10万数量以上），此时很容易导致JDBCServer OOM（Out of Memory）。因此，提供数据汇聚功能特性，在基本不牺牲性能的情况下尽力避免OOM。 配置描述 提供两种不同
能瓶颈，并根据情况优化。 监控节点进程的YARN的Container GC日志，如果频繁出现Full GC，需要优化GC。 GC的配置：在客户端的“conf/flink-conf.yaml”配置文件中，在“env.java.opts”配置项中添加参数：“-Xloggc:<LOG_DIR>/gc
Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata
率要求很高，并且可以容忍丢失最近1S内的数据的话，可以将该功能关闭。 创建一张表或Scan时设定blockcache为true HBase客户端建表和scan时，设置blockcache=true。需要根据具体的应用需求来设定它的值，这取决于有些数据是否会被反复的查询到，如果存在
/opt/FI-Client/Spark2x/spark/examples/jars/spark-examples_2.12-3.1.1-xxx.jar 用户调试时需要把--class和jar包换成自己的程序，-Xdebug -Xrunjdwp:transport=dt_socket,server=y
/opt/FI-Client/Spark2x/spark/examples/jars/spark-examples_2.12-3.1.1-xxx.jar 用户调试时需要把--class和jar包换成自己的程序，-Xdebug -Xrunjdwp:transport=dt_socket,server=y
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
