检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
file. Exception:" + e); } finally { close(out); } } 父主题： 开发Alluxio应用
file. Exception:" + e); } finally { close(in); } } 父主题： 开发Alluxio应用
调测HCatalog样例程序 Hive HCatalog应用程序支持在安装Hive和Yarn客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive和Yarn客户端。 当客户端所在主机不是集群中的节点时，
0”，可根据实际场景在“Constant.java”文件修改“IOTDB_DATA_SAMPLE_TEMPLATE”值。 public static void main(String[] args) { // whether use security mode final boolean
operator .shuffle() // Stateful mapper with ID .map(new StateFulMapper()) .uid("mapper-id") // ID for the mapper // Stateless printing sink .print();
当一个NodeManager处于unhealthy的状态10分钟时，新应用程序失败 问题 当一个NM（NodeManager）处于unhealthy的状态10分钟时，新应用程序失败。 回答 当nodeSelectPolicy为SEQUENCE，且第一个连接到RM的NM不可用时，RM会在“yarn
当一个NodeManager处于unhealthy的状态10分钟时，新应用程序失败 问题 当一个NM（NodeManager）处于unhealthy的状态10分钟时，新应用程序失败。 回答 当nodeSelectPolicy为SEQUENCE，且第一个连接到RM的NM不可用时，RM会在“yarn
Flink Kafka样例程序（Java） 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.ja
HDFS C API接口介绍 功能简介 C语言应用开发代码样例中所涉及的文件操作主要包括创建文件、读写文件、追加文件、删除文件。完整和详细的接口请直接参考官网上的描述以了解其使用方法： http://hadoop.apache.org/docs/r3.1.1/hadoop-pro
conf”文件，会导致应用运行失败。 因此，根据应用是否涉及HBase进行以下处理： 当应用不涉及HBase时，即无需获取HBase Token。此时，将“spark.yarn.security.credentials.hbase.enabled”设置为“false”即可。 当应用涉及HBase时，将“spark
@throws java.io.IOException */ private void append() throws IOException { final String content = "I append this content."; FSDataOutputStream
batch time is {} ms", allBatchEnd - allBatchBegin); 父主题： 开发ClickHouse应用
消息key值选取一定是可变的，防止由于消息key值不变导致消息分布不均匀。 消费者尽量使用主动提交offset的方式，避免重复消费。 父主题： 开发Kafka应用
以在Windows环境下开发JDBC方式连接Hive服务的应用程序为例。 操作步骤 参考获取MRS应用开发样例工程获取Hive示例工程。 在Hive示例工程根目录，执行mvn install编译。 在Hive示例工程根目录，执行mvn eclipse:eclipse创建Eclipse工程。 在应用开发环境中，导入样例工程到Eclipse开发环境。
table2表有记录key=1,cf:cid=1000，表示用户1的历史消息记录金额为1000元。 基于某些业务要求，要求开发Spark应用程序实现如下功能： 根据用户名累计用户的历史消费金额，即用户总消费金额=100(用户当天的消费金额) + 1000(用户历史消费金额)。
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户，例如developuser，并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限，HDFS访
https://github.com/apache/storm/tree/v0.10.0/external/storm-jdbc。 父主题： Storm应用开发常见问题
stringBuilder.append(string).append("\t"); } log.info(stringBuilder.toString()); } } } 父主题： 开发ClickHouse应用
配置JobHistory本地磁盘缓存 配置场景 JobHistory可使用本地磁盘缓存spark应用的历史数据，以防止JobHistory内存中加载大量应用数据，减少内存压力，同时该部分缓存数据可以复用以提高后续对相同应用的访问速度。 配置参数 登录FusionInsight Manager系统，选择“集群
Hudi的自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题： 开发Spark应用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
