检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行SparkStreamingKafka样例工程时报“类不存在”问题 问题 通过spark-submit脚本提交KafkaWordCount(org.apache.spark.examples.streaming.KafkaWordCount)任务时,日志中报Kafka相关的类
更换MRS集群证书 更换CA证书 更换HA证书 父主题: MRS集群安全配置
er。 keytab file 存放用户信息的密钥文件。应用程序采用此密钥文件在集群中进行API方式认证。 父主题: Kafka开发指南(安全模式)
Linux中安装客户端时提交Storm拓扑 操作场景 在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
提供Web可视化组件管理界面。 keytab文件 存放用户信息的密钥文件,应用程序采用此密钥文件在组件中进行API方式认证。 父主题: HDFS开发指南(安全模式)
NodeManger)所在业务节点网络互通 需对外开放Coordinator的IP,端口 支持范围:MRS 3.1.0及之后版本 父主题: HetuEngine开发指南(安全模式)
Kafka提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 导入并配置Kafka样例工程 配置安全认证 如果您使用的是开启了Kerberos认证的MRS集群,需要进行安全认证。 配置Kafka应用安全认证 根据业务场景开发程序 提供了Producer和Consumer相关API的使用样例
keytab 对于Kerberos安全认证提供用户信息。 krb5.conf Kerberos Server配置信息。 core-site.xml 配置Hive详细参数。 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts
提交Storm拓扑 Linux中安装客户端时提交Storm拓扑 Linux中未安装客户端时提交Storm拓扑 在IDEA中提交Storm拓扑 父主题: 调测Storm应用
在Linux中调测JDBC样例程序 Hive JDBC应用程序支持在安装Hive客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装Hive客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的
在Linux环境中调测MapReduce应用 操作场景 在程序代码完成开发后,可以在Linux环境中运行应用。 MapReduce应用程序运行完成后,可通过如下方式查看应用程序的运行情况。 通过运行结果查看程序运行情况。 登录MapReduce WebUI查看应用程序运行情况。 登录Yarn
sasl-*linux-$(uname -p).egg thrift-*egg thrift_sasl*egg “dependency_python3.7”目录: /usr/local/bin/easy_install future*egg six*egg sasl-*linux-$(uname
Windows本地hosts文件存放路径举例:“C:\WINDOWS\system32\drivers\etc\hosts”。 如果使用Linux环境调测程序,需准备安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端,例如客户端安装目录为“/opt/client”。 客户端机器的时间
看到实时接收消息: 图2 Consumer.java运行窗口 在Linux调测程序 编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 运行Consumer样例工程的命令如下。 java -cp
例。 提供Doris对接SpringBoot的样例,样例介绍请参见配置并导入SpringBoot样例工程。 父主题: Doris开发指南(安全模式)
\etc\hosts”。 场景二:准备Linux环境程序所需配置文件。 在节点中安装客户端。例如客户端安装目录为“/opt/client”。 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集
getClassLoader().getResource("").getPath() + File.separator;[1] //In Linux environment //String confDirPath = System.getProperty("user
CheckPoint CheckPoint是Flink数据处理高可靠、最重要的机制。该机制可以保证应用在运行过程中出现失败时,应用的所有状态能够从某一个检查点恢复,保证数据仅被处理一次(Exactly Once)。 SavePoint Savepoint是指允许用户在持久化存储中保存某个che
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装和配置IntelliJ IDEA 开发环境的基本配置。版本要求:JDK使用1
集群,具体操作请参考配置Windows通过EIP访问安全模式集群Kafka。 Windows本地hosts文件存放路径举例:“C:\WINDOWS\system32\drivers\etc\hosts”。 场景二:准备Linux环境运行程序所需配置文件。 在节点中安装MRS集群客户端。