正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
在本地Windows环境中调测HetuEngine应用 操作场景 在程序代码完成开发后,可以在Windows环境下进行编译,本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows环境下的IntelliJ IDEA开发环境中,确认配置HetuEngine应用安全认证中得到的“user
在本地Windows环境中调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中编包并运行Spark程序 在本地Windows环境中查看Spark程序调试结果 父主题: 调测Spark应用
在本地Windows环境中调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中编包并运行Spark程序 在本地Windows环境中查看Spark程序调试结果 父主题: 调测Spark应用
理或应用开发的场景中,需要在客户端认证用户身份后才能连接到集群服务端。系统操作运维与业务场景中主要使用的用户分为“人机”用户和“机机”用户。二者主要区别在于“机机”用户密码由系统随机生成。 Kerberos认证 Kerberos认证支持两种方式:密码认证及keytab认证,认证有效时间默认为24小时。
仓。 编包并运行程序 在IntelliJ IDEA中,打开Maven工具窗口。 在IDEA主页面,选择“View->Tool Windows->Maven”打开“Maven”工具窗口。 图1 打开Maven工具窗口 若项目未通过maven导入,需要执行以下操作: 右键选择单击样例代码项目中的pom文件,选择“Add
Java开发环境可以搭建在Windows环境下,而运行环境(即客户端)只能部署在Linux环境下。 操作步骤 对于Java开发环境,推荐使用IDEA工具,安装要求如下。 JDK使用1.7版本(或1.8版本) IntelliJ IDEA(版本:13.1.6) Spark不支持当客户端程序使用IBM JDK 1.7
1-LTS.1.1 发布时间 2024-07-24 解决的问题 MRS 3.3.1-LTS.1.1修复问题列表: 解决设置用户密码永久生效后,会产生密码过期告警的问题。 解决Manager的fms进程线程泄露的问题。 解决修改chrony的域名后nodeagent启动失败的问题。
sftp-connector连接器相关作业运行失败 问题 使用sftp-connector连接器相关作业运行失败,出现如下类似报错:“获取Sftp通道失败。xxx (原因是: failed to send channel request)”。 SFTP服务出现如下报错:“subsystem
在本地Windows环境中调测HetuEngine应用 操作场景 在程序代码完成开发后,可以在Windows环境下进行编译,本地和集群业务平面网络互通时,您可以直接在本地进行调测。 操作步骤 在Windows环境下的Intellij IDEA开发环境中,单击IDEA右侧Maven导入依赖。
tore)”和“密钥存储密码(keystore-password)”。 truststore-type JKS Java信任库类型,“JKS”或“PKCS12”。 说明: JKS的密钥库和私钥采用不同的密码进行保护,而PKCS12的密钥库和私钥采用相同密码进行保护。 truststore
解决Hive客户端连接HiveServer时建立session获取token时并发锁导致连接排队慢的问题 解决Hive任务持有metastore连接获但执行select NOTIFCATION_SEQUENCE for update时阻塞变慢,连接释放慢问题 解决Flink连接Hive
必选参数,指定监控指标数据对接后存放监控文件的FTP服务器。 FTP端口 必选参数,指定连接FTP服务器的端口。 FTP用户名 必选参数,指定登录FTP服务器的用户名。 FTP密码 必选参数,指定登录FTP服务器的密码。 保存路径 必选参数,指定监控文件在FTP服务器保存的路径。 转储时间间隔(秒)
节点间互信失效”告警,或者发现节点间无ssh互信时,可参考如下步骤操作。 分别在互信集群的两端节点执行ssh-add -l 确认是否有identities信息。 如果没有identities信息,执行ps -ef|grep ssh-agent找到ssh-agent进程,并kill该进程等待该进程自动重启。
Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端,请根据指导完成客户端的安装和配置。 准备Spark本地应用开发环境 准备开发用户 开发用户用于运行样例工程。用户需要有HDFS
准备Impala开发和运行环境 准备开发环境 在进行应用开发时,需要准备的本地开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,推荐Windows7以上版本。 运行环境:Windows或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装JDK
以基于被授予的权限对云服务进行操作。 在MRS管理控制台“现有集群” 列表,单击对应集群名称,进入集群信息页面。检查安全组中是否正确配置了本地IP。 MRS 3.x及之后版本:请参考“用户指南 > 访问集群Manager> 访问FusionInsight Manager(MRS 3
conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前,样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如:“/opt/female/user
HBase企业级能力增强 配置HBase全局二级索引提升查询效率 配置HBase本地二级索引提升查询效率 增强HBase BulkLoad工具数据迁移能力 配置HBase冷热分离 配置RSGroup管理RegionServer资源 查看HBase慢请求和超大请求信息 父主题: 使用HBase
Source配置的IP所在节点与故障节点的网络状态。 本地打开用户自定义配置文件properties.properties,搜索配置文件中是否有“type = avro”关键字确认Flume Source是否是avro类型。 是,执行8。 否,执行11。 以root用户登录故障节点所在主机,执行ping