检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Spark客户端机器中,通过修改“conf/yarn-site.xml”文件,添加并配置“yarn.resourcemanager.connect.max-wait.ms”和“yarn.resourcemanager.connect.retry-interval.ms”,这样可以更改重试次数
Client 客户端直接面向用户,可通过Java API或HBase Shell访问服务端,对HBase的表进行读写操作。
在大数据应用,尤其是周期性的数据分析处理场景中,需要根据业务数据的周期变化,动态调整集群计算资源以满足业务需要。MRS的弹性伸缩规则功能支持根据集群负载对集群进行弹性伸缩。
用户场景 当集群数据量变化不大而集群业务处理能力需求变化比较大,临时需要增大业务量时,可选择添加Task节点。 临时业务量增大,如年底报表处理。 需要在短时间内处理大量的任务,如一些紧急分析任务。 父主题: 集群管理
以Java JDBC方式执行SQL语句在集群中dbName变量对应的数据库下创建tableName对应的表。
如需体验新版本集群相关能力,建议重新创建一个新版本的集群,然后将老版本集群的数据迁移到新的集群。 MRS LTS版本集群 MRS LTS版本集群支持版本升级能力,可从历史版本升级至目标LTS版本。
Flink Hudi样例程序(Java) 功能介绍 通过调用Flink API读写Hudi数据。 代码样例 下面列出WriteIntoHudi和ReadFromHudi主要逻辑代码作为演示。
在上传的文件所在目录执行以下命令,安装MySQL客户端及对应的依赖包: rpm -ivh mysql-community-client-8.0.22-1.el8.x86_64.rpm --nodeps --force rpm -ivh mysql-community-client-plugins
修改后HDFS中的目录和文件的属主、属组以及权限信息保持不变。 单击“保存”,单击“确定”。 等待界面提示操作完成。 开启Yarn鉴权 登录FusionInsight Manager。 选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”。 单击“全部配置”。
总数据量1亿条。
ctlg_dest为在哪个数据源创建virtual schema,参数可选,如果不指定则取当前Session中的catalog,如果当前Session中也未指定catalog则会创建失败。
控制单个查询在单个Worker的内存使用大小 在“自定义配置”中单击“增加”,添加2个同名参数“query.max-memory-per-node”,值设置为小于“JVM”中“-Xmx”值的70%的值,参数文件分别选择“coordinator.config.properties”和
修改“/opt/Bigdata/om-server_xxx/apache-tomcat-8.5.63/webapps/cas/WEB-INF/classes/config/application.properties”文件,在文件中新增配置“ticket.tgt.timeToKillInSeconds
以Java JDBC方式执行SQL语句在集群中dbName变量对应的数据库下创建tableName对应的表。
命令功能 同步Hudi表(存储层中的Hudi数据目录)到Hive。
Flink HBase样例程序(Java) 功能介绍 通过调用Flink API读写HBase数据。 代码样例 下面列出WriteHBase和ReadHBase主要逻辑代码作为演示。
在“主组”选择一个组作为用户创建目录和文件时的主组。下拉列表包含“用户组”中勾选的全部组。 根据业务实际需要在“分配角色权限”,单击“选择并绑定角色”为用户添加角色。 创建用户时,如果用户从用户组获得的权限还不满足业务需要,则可以再分配其他已创建的角色。
执行命令vi $BIGDATA_LOG_HOME/omm/oms/ha/scriptlog/tomcat.log,查看ha的Tomcat资源日志,是否有如下关键字“Cannot find XXX”,根据如下关键字修复对应文件的权限。 等待5分钟,查看告警是否自动清除。
Flink Job Pipeline样例程序(Java) 发布Job自定义Source算子产生数据 下面代码片段仅为演示,完整代码参见FlinkPipelineJavaExample样例工程下的com.huawei.bigdata.flink.examples.UserSource
告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)检查作业RocksDB监控数据,如果作业RocksDB的Pending Compaction请求数持续达到flush