检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink Kafka样例程序(Scala) 功能介绍 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka,则需要引入FusionInsight的kafka-clients-*.j
Java样例代码 功能介绍 在Spark应用中,通过使用Streaming调用kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示,具体代码参见:com.huawei
在Windows环境调测程序请参考在Windows中调测程序。 在Linux环境调测程序请参考在Linux调测程序。 父主题: 调测Kafka应用
导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户,例如developuser,并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限,HDFS访
执行如下命令。 storm list 如果可以正常打印出storm集群正在运行的任务信息,则说明客户端安装成功。 父主题: 准备Storm应用开发环境
--replication-factor 1 --topic topic1 开发思路 启动Flink Kafka Producer应用向Kafka发送数据。 启动Flink Kafka Consumer应用从Kafka接收数据,保证topic与producer一致。 在数据内容中增加前缀并进行打印。 父主题:
run时必须使用-yid指出applicationID,使用-yz指出zookeeper的namespace,前后namespace保持一致。 举例: bin/yarn-session.sh -n 3 -z YARN101 bin/flink run -yid application_****_****
l权限。 colocation在zookeeper中的根目录默认为/hadoop/colocationDetails。 父主题: HDFS应用开发常见问题
l权限。 colocation在zookeeper中的根目录默认为/hadoop/colocationDetails。 父主题: HDFS应用开发常见问题
时间差要小于5分钟。 检查Flink客户端的“flink-conf.yaml”配置文件中的配置项是否配置正确。 父主题: 准备Flink应用开发环境
该目录大小限制可查询结果集大小; Phoenix实现了大部分java.sql接口,SQL紧跟ANSI SQL标准。 父主题: HBase应用开发常见问题
JDBC使用参见https://prestodb.io/docs/current/installation/jdbc.html。 父主题: Presto应用开发常见问题
gFiles.tar”,继续解压该文件。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 Windows本地hosts文件存放路
camelcase | +------------------+ Returned 4 row(s) in 0.54s 父主题: 开发Impala应用
camelcase | +------------------+ Returned 4 row(s) in 0.54s 父主题: 开发Impala应用
访问HBase ThriftServer应用开发示例工程所需的配置文件还需参考准备ThriftServer实例配置文件获取。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。
xml Hadoop客户端相关配置参数。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不
HBase数据读写样例程序开发思路 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。 查询年龄段在[20-29]之间的用户信息。
HBase数据读写样例程序开发思路 场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。 查询年龄段在[20-29]之间的用户信息。
Flink引入了第三方软件包RocksDB的缺陷问题导致该现象的发生。建议用户将checkpoint设置为FsStateBackend方式。 用户需要在应用代码中将checkpoint设置为FsStateBackend。例如: env.setStateBackend(new FsStateB