检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当CPU内核数很多时,如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口: 服务器端配置 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。 HDFS客户端配置文件路径:客户端安装目录/HD
当CPU内核数很多时,如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口: 服务器端配置 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。 HDFS客户端配置文件路径:客户端安装目录/HD
ARM环境python pipeline运行报139错误码规避方案 问题 在TaiShan服务器上,使用python插件的pipeline报错显示139错误。具体报错如下: subprocess exited with status 139 回答 该python程序既使用了libcrypto
ARM环境python pipeline运行报139错误码 问题 在TaiShan服务器上,使用python插件的pipeline报错显示139错误。具体报错如下: subprocess exited with status 139 回答 该python程序既使用了libcrypto
组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用分区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见自定义购买弹性云服务器。 方法二:使用本机访问MRS集群操作Imp
x及之后版本,已在集群内的任一节点安装了客户端,并获取此节点IP地址。 修改Kerberos管理员用户密码 如果当前为MRS 3.x及之后版本,修改此用户密码将同步修改OMS Kerberos管理员密码。 登录集群节点。 MRS 3.x及之后版本:以root用户通过节点IP地址登录安装了客户端的节点。 MRS 2
安装和配置Eclipse或IntelliJ IDEA 用于开发Kafka应用程序的工具。 网络 确保本地与Kafka服务所在的VPC的至少一个节点在网络上互通。 访问云服务器的安全认证 本地可以通过密钥或密码方式登录访问Linux弹性云服务器 父主题: 准备Kafka应用开发环境
ARM环境python pipeline运行报139错误码 问题 在TaiShan服务器上,使用python插件的pipeline报错显示139错误。具体报错如下: subprocess exited with status 139 回答 该python程序既使用了libcrypto
ARM环境python pipeline运行报139错误码规避方案 问题 在TaiShan服务器上,使用python插件的pipeline报错显示139错误。具体报错如下: subprocess exited with status 139 回答 该python程序既使用了libcrypto
从SFTP服务器导入数据到HDFS/OBS。 从SFTP服务器导入数据到HBase。 从SFTP服务器导入数据到Phoenix表。 从SFTP服务器导入数据到Hive表。 从FTP服务器导入数据到HDFS/OBS。 从FTP服务器导入数据到HBase。 从FTP服务器导入数据到Phoenix表。
客户端默认使用安装目录下文件Version中的“wsom=xxx”所配置的浮动IP刷新客户端配置,如需刷新为其他集群的配置文件,请执行本步骤前修改Version文件中“wsom=xxx”的值为对应集群的浮动IP地址。 全量更新主Master节点的原始客户端 场景描述 用户创建集群时,默认在集群所有节点的“/opt/c
out日志。打开该日志可以看到如下字段信息: Time Stamp:时间戳 Bytes Already Moved:已经移动的字节数 Bytes Left To Move:待移动的字节数 Bytes Being Moved:正在移动的字节数 日志出现“Balancing took xxx seconds”信息表示均衡操作已完成。
Frontend: JobManager启动时,会在同一进程内启动Web服务器,访问Web服务器可以获取当前Flink集群的信息,包括JobManager,TaskManager及集群内运行的Job。Web服务器参数的配置项包括端口,临时目录,显示项目,错误重定向,安全相关等。 File
如果使用的是Windows云服务器,并且与集群的网络是通的,则无需配置EIP。 登录FusionInsight Manager,选择“集群 > 服务 > ZooKeeper > 实例”。 选择任一节点,将该节点对应的EIP填入主机框中(如果使用的是Windows云服务器,并且与集群的网络是通的,直接填写节点的业务IP地址即可)。
数据备份至NAS前,系统会自动将NAS共享地址挂载为备份任务执行节点的本地分区。在备份结束后,系统会卸载备份任务执行节点的NAS共享分区。 为防止备份恢复失败,数据备份及恢复期间,请勿访问NAS服务器挂载至本地的共享地址,如:“/srv/BigData/LocalBackup/nas”。
<Hostname| IP Address> 此条命令可以根据传入的DataNode生成一个Json文件,该文件包含了数据移动的源磁盘、目标磁盘、待移动的块等信息。同时,该命令还支持指定一些其他网络带宽参数等。 hdfs diskbalancer -query <Hostname:$dfs.datanode
开启了Kerberos认证的安全模式集群,进行应用开发时需要进行安全认证。 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。
与关系型数据库、文件系统之间交换“数据”、“文件”,同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中,或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。 Loader模型主要由Loader Client和Loader Server组成,如图1所示。
登录FusionInsight Manager系统。 在浏览器地址栏中输入访问地址,地址格式为“https://FusionInsight Manager系统的WebService浮动IP地址:28443/web”。 例如,在IE浏览器地址栏中,输入“https://10.0.0.1:28443/web”。
登录FusionInsight Manager系统。 在浏览器地址栏中输入访问地址,地址格式为“https://FusionInsight Manager系统的WebService浮动IP地址:28443/web”。 例如,在IE浏览器地址栏中,输入“https://10.0.0.1:28443/web”。