-
典型场景:从关系型数据库导入数据到HBase - MapReduce服务 MRS
、mysql-fastpath-connector),输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connector)或者专用数据库连接器(oracle-connect
-
使用Loader从关系型数据库导入数据到HBase - MapReduce服务 MRS
、mysql-fastpath-connector),输入配置连接参数,单击“测试”验证连接是否可用,待提示“测试成功”后单击“确定”。 与关系数据库连接时,可以选择通用数据库连接器(generic-jdbc-connector)或者专用数据库连接器(oracle-connect
-
beeline客户端报错“Failed to execute session hooks: over max connections” - MapReduce服务 MRS
beeline客户端报错“Failed to execute session hooks: over max connections” 问题背景与现象 HiveServer连接的最大连接数默认为200,当超过200时,beeline会报Failed to execute session
-
集群内ClickHouseServer节点间数据迁移 - MapReduce服务 MRS
以后的某个时间(最长为90天以后)。 在选择迁移节点界面,填写“迁入节点主机名”、“迁出节点主机名”,单击“下一步”。 “迁入节点主机名”与“迁出节点主机名”只能各填写一个主机名,不支持多节点迁移。 具体的参数值可以在ClickHouse服务界面单击“实例”页签,查看当前Clic
-
配置HivePython3样例工程 - MapReduce服务 MRS
dependencies for future==0.18.2 对于“dependency_python3.x”文件夹下同时存在aarch64与x86_64版本的“egg”文件,需要根据操作系统选取其中一个版本安装即可,使用uname -p命令确认当前操作系统架构。 MRS 3.2.
-
Spark从Hive读取数据再写入HBase样例程序开发思路 - MapReduce服务 MRS
/opt/female/” )下。 运行任务 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令分别如下(类名与文件名等请与实际代码保持一致,此处仅为示例): 运行Java或Scala样例代码 bin/spark-submit --class com.huawei
-
ALM-45427 ClickHouse服务在ZooKeeper的容量配额使用率超过阈值 - MapReduce服务 MRS
更多 > 同步配置”,执行ClickHouse同步配置操作,同步配置成功后,执行1。 计算返回的结果中Output stat的bytes值与Output quota的bytes值之比是否大于0.9。 listquota /clickhouse absolute path is /
-
配置HivePython3样例工程 - MapReduce服务 MRS
dependencies for future==0.18.2 对于“dependency_python3.x”文件夹下同时存在aarch64与x86_64版本的“egg”文件,需要根据操作系统选取其中一个版本安装即可,使用uname -p命令确认当前操作系统架构。 MRS 3.2.
-
Flink客户端执行命令报错“Could not connect to the leading JobManager” - MapReduce服务 MRS
Flink客户端执行命令报错“Could not connect to the leading JobManager” 问题背景与现象 创建Fllink集群,执行yarn-session.sh命令卡住一段时间后报错: 2018-09-20 22:51:16,842 | WARN
-
ALM-45426 ClickHouse服务在ZooKeeper的数量配额使用率超过阈值 - MapReduce服务 MRS
更多 > 同步配置”,执行ClickHouse同步配置操作,同步配置成功后,执行1。 检查计算返回的结果中Output stat的count值与Output quota的count值之比是否大于0.9。 listquota /clickhouse absolute path is /
-
退订包周期集群指定节点 - MapReduce服务 MRS
若待退订的节点中部署了HDFS的DataNode、Yarn的NodeManager或HBase的RegionServer,需登录Manager参考入服与退服实例退服相关实例。 在MRS管理控制台的“节点管理”页面,勾选需退订的节点,选择“节点操作 > 隔离主机”,主机隔离成功后再联系技术支持退订节点。
-
ALM-16002 Hive SQL执行成功率低于阈值 - MapReduce服务 MRS
me”查看执行错误语句的用户。 输入正确的HQL语句,观察命令是否正确执行。 是,执行12。 否,执行4。 检查HBase服务是否异常。 与执行HQL命令的用户确认是否执行的是Hive on HBase任务。 是,执行5。 否,执行8。 在FusionInsight Manager界面选择“集群
-
Spark Structured Streaming样例程序开发思路 - MapReduce服务 MRS
报class not found异常。 进入Spark客户端目录,调用bin/spark-submit脚本运行代码,运行命令分别如下(类名与文件名等请与实际代码保持一致,此处仅为示例): 运行Java或Scala样例代码: bin/spark-submit --master yarn
-
滚动重启集群 - MapReduce服务 MRS
行操作。 如果修改了端口类等需要尽快生效的配置(例如服务端的端口),则不建议通过滚动重启的方式使之生效,建议采用普通重启。 对系统的影响 与普通重启相比,滚动重启不会导致服务业务中断,但是滚动重启将比普通重启要花费更长的时间,且对应服务的吞吐量、性能等可能会受到影响。 操作步骤 登录FusionInsight
-
优化HDFS NameNode RPC的服务质量 - MapReduce服务 MRS
decay-scheduler.backoff.responsetime.thresholds 配置每个队列的响应时间阈值。ResponseTime阈值必须与优先级数目(ipc.<port> .faircallqueue.priority-levels)相匹配。单位:毫秒。 10000,20000
-
集群内ClickHouseServer节点间数据迁移 - MapReduce服务 MRS
以后的某个时间(最长为90天以后)。 在选择迁移节点界面,填写“迁入节点主机名”、“迁出节点主机名”,单击“下一步”。 “迁入节点主机名”与“迁出节点主机名”只能各填写一个主机名,不支持多节点迁移。 具体的参数值可以在ClickHouse服务界面单击“实例”页签,查看当前Clic
-
使用Broker Load方式导入数据至Doris - MapReduce服务 MRS
支持导入CSV、Parquet、ORC格式的数据,默认支持导入CSV格式数据。 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证(安全模式) 在FusionInsight Mana
-
恢复NameNode数据 - MapReduce服务 MRS
系统管理员可以通过FusionInsight Manager创建恢复NameNode任务并恢复数据。只支持创建任务手动恢复数据。 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的NameNode数据。
-
使用distcp命令跨集群复制HDFS数据 - MapReduce服务 MRS
-delete表示将源位置和目标位置的文件同步,删除掉目标位置多余的文件,注意如果需要增量拷贝文件,请将-delete删掉; -prbugpaxtq与-update配合,表示被拷贝文件的状态信息也会被更新; hdfs://cluster1/source、hdfs://cluster2/target分别表示源位置和目标位置。
-
使用distcp命令跨集群复制HDFS数据 - MapReduce服务 MRS
-delete表示将源位置和目标位置的文件同步,删除掉目标位置多余的文件,注意如果需要增量复制文件,请将-delete删掉; -prbugpaxtq与-update配合,表示被复制文件的状态信息也会被更新; hdfs://cluster1/source、hdfs://cluster2/target分别表示源位置和目标位置。