检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认值 yarn.nodemanager.linux-container-executor.cgroups.cpu-set-usage 设置为“true”时,应用以cpuset模式运行。 false yarn.nodemanager.linux-container-executor.cgroups
互通,可下载集群客户端到本地,获取相关调测程序所需的集群配置文件及配置网络连通后,然后直接在Windows中进行程序调测。 下载并解压客户端软件包。 MRS 3.3.0之前版本,登录FusionInsight Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,
表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK Java/Scala开发和运行环境的基本配置。版本要求如下:
查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 运行Python样例代码无需通过Maven打包。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“
/usr/bin/openssl 例如执行后结果如下: [omm@xxx ~]$ ldd /usr/bin/openssl linux-vdso.so.1 (0x0000ffffaf016000) libssl.so.1.1 => /usr/lib64/libssl
通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行,则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数,或参数值为“false
sasl-*linux-$(uname -p).egg thrift-*egg thrift_sasl*egg “dependency_python3.7”目录: /usr/local/bin/easy_install future*egg six*egg sasl-*linux-$(uname
前提条件 已安装客户端,例如安装目录为“/opt/client”。以下操作的客户端目录只是举例,请根据实际安装目录修改。在使用客户端前,需要先下载并更新客户端配置文件,确认Manager的主管理节点后才能使用客户端。 操作步骤 安装客户端,具体请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。
户端目录只是举例,请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建,具体操作请参见。安全模式下,“机机”用户需要下载keytab文件,具体操作请参见。“人机”用户第一次登录时需修改密码。 操作步骤 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
每秒向Kafka集群某Topic发送一条消息,另外还需要实现一个Consumer,订阅该Topic,实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。可参考Kafka Shell命令介绍。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。
下。 若要在Windows或Linux中未安装客户端时提交拓扑,则需要将“streaming-site.xml”和“storm.yaml”都放入样例工程的“storm-examples\src\main\resources”目录下。 若要在Linux安装客户端时提交拓扑,只需要将“streaming-site
秒向Kafka集群某Topic发送一条消息,另外,还需要实现一个Consumer,订阅该Topic,实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 父主题:
每秒向Kafka集群某Topic发送一条消息,另外还需要实现一个Consumer,订阅该Topic,实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。可参考Kafka Shell命令介绍。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。
通过Windows系统提交MapReduce任务 配置场景 用户将MapReduce任务从Windows上提交到Linux上运行,则“mapreduce.app-submission.cross-platform”参数值需配置为“true”。若集群无此参数,或参数值为“false
互通,可下载集群客户端到本地,获取相关调测程序所需的集群配置文件及配置网络连通后,然后直接在Windows中进行程序调测。 下载并解压客户端软件包。 MRS 3.3.0之前版本,登录FusionInsight Manager页面,选择“集群 > 概览 > 更多 > 下载客户端”,
下。 若要在Windows或Linux中未安装客户端时提交拓扑,则需要将“streaming-site.xml”和“storm.yaml”都放入样例工程的“storm-examples\src\main\resources”目录下。 若要在Linux安装客户端时提交拓扑,只需要将“streaming-site
每秒向Kafka集群某Topic发送一条消息,另外还需要实现一个Consumer,订阅该Topic,实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 性能调优建议
开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 华为提供开源镜像站,各服务样例工程依赖的Jar包通过华为开源镜像站下载,剩余所依赖的开源Jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载,详情请参考配置华为开源镜像仓。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip
执行下列命令访问HTTP。 linux1:/opt/client # curl -i -X PUT --negotiate -u: "http://linux1:9870/webhdfs/v1/huawei?op=MKDIRS" 其中linux1表示<HOST>,9870表示<PORT>。
络互通,可下载集群客户端到本地,获取相关调测程序所需的集群配置文件及配置网络连通后,然后直接在Windows中进行程序调测。 下载客户端到本地并解压。 MRS 3.3.0之前版本,登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 下载客户端”,“