检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
{pid},其中{pid}为上一步中查询到的进程号。 等待进程自动重启,可以执行netstat -anp |grep 28443 |grep LISTEN查看进程是否启动,如果可以查到结果说明进程启动成功。 为各组件添加或修改配置项,配置项的值与超时时间一致,单位为秒。 HDFS/MapReduce/Yarn:添加自定义配置项http
> 服务配置”,在“参数类别”选择“全部配置”,在“搜索”框里搜索“hadoop.ssl.enabled.protocols”,查看参数值是否包含“TLSv1”,若不包含,则在配置项“hadoop.ssl.enabled.protocols”中追加“,TLSv1”。清空“ssl.server
sssd restart SUSE sevice nscd restart 重启相关服务后,在节点通过id username命令查看相应用户信息是否已有效。 父主题: 使用Kafka
ite.xml”中配置“mapreduce.job.maps”项。 说明: 指定的InputFormat类用来控制map任务个数,注意该类是否支持客户端设定map个数。 setNumReduceTasks(int n) 核心接口,指定MapReduce作业的reduce个数。默认
打开浏览器访问:华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020.2版本的IntelliJ IDEA开发工具为例,单击“File
打开浏览器访问:华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。 比如以2020.2版本的IntelliJ IDEA开发工具为例,单击“File
表名”,filesize为用户自定义的合并后平均文件大小(单位MB),shuffle是一个boolean值,取值true/false,作用是设置合并过程中是否允许数据进行shuffle。 例如:sh mergetool.sh merge default.table1 128 false 提示如下,则操作成功:
的告警。(MRS 3.3.0及之后版本支持该功能) “告警ID”和“告警名称”包含阈值将触发的告警信息。 Manager会检查监控指标数值是否满足阈值条件,若连续检查且不满足的次数等于“平滑次数”设置的值则发送告警,支持自定义。 “检查周期(秒)”表示Manager检查监控指标的时间间隔。
NodeManager)创建标签(Label),将具有相同标签的计算节点添加到同一个资源池中,Yarn根据任务队列对资源的需求,将任务队列和有相应标签的资源池动态关联。 例如,集群中有40个以上的节点,根据各节点的硬件和网络配置,分别用Normal、HighCPU、HighMEM、
l.log HiveServer启动前的工作日志 /hiveserver/check-serviceDetail.log Hive服务启动是否成功的检查日志 /hiveserver/cleanupDetail.log HiveServer卸载的清理日志 /hiveserver/startDetail
表名”,filesize为用户自定义的合并后平均文件大小(单位MB),shuffle是一个boolean值,取值true/false,作用是设置合并过程中是否允许数据进行shuffle。 例如:sh mergetool.sh merge default.table1 128 false 提示如下,则操作成功:
zhangsan 4,wangwu 8,zhaosi 输入完成后按回车发送消息。 登录数据仓库服务(DWS)客户端执行以下命令查看Sink表中是否接收到数据。 Select * from dws_test; 父主题: 创建FlinkServer作业
l.log HiveServer启动前的工作日志 /hiveserver/check-serviceDetail.log Hive服务启动是否成功的检查日志 /hiveserver/cleanupDetail.log HiveServer卸载的清理日志 /hiveserver/startDetail
Broker安装后的工作日志。 prestart.log Broker启动前的工作日志。 checkService.log Broker启动是否成功的检查日志。 start.log Broker进程启动日志。 stop.log Broker进程停止日志。 checkavailable
数据表中存在备份后新增加的数据,那恢复后将丢失这些数据。选择“false”表示存在同名表时不执行恢复任务。 单击“校验”查看恢复任务的配置是否正确。 如果队列名称不正确,校验失败。 如果不存在指定的恢复目录,校验失败。 如果不满足强制覆盖的条件,校验失败。 单击“确定”保存。 在
Server配置信息。 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。
Flink在写Hudi的MOR表只会生成log文件,后续通过compaction操作,将log文件转为parquet文件。Spark在更新Hudi表时严重依赖parquet文件是否存在,如果当前Hudi表写的是log文件,采用Spark写入就会导致重复数据的产生。在批量初始化阶段 ,先采用Spark批量写入Hudi表
0及之后版本的开启Kerberos认证的集群支持通过FusionInsight Manager创建角色进行赋权,如果集群为MRS 3.3.0之前的版本,无论是否开启Kerberos认证,都需要通过root用户(默认密码为空)来连接数据库。 执行以下命令创建角色: CREATE ROLE dorisrole;
>-<DATE>-<PID>-gc.log HBase服务垃圾回收日志。 checkServiceDetail.log HBase服务启动是否成功的检查日志。 hbase.log HBase服务健康检查脚本以及部分告警检查脚本执行所产生的日志。 sendAlarm.log HBase告警检查脚本上报告警信息日志。
Yarn任务只读用户组。将用户加入此用户组,可获得Yarn和Mapreduce界面上任务的只读权限。 check_sec_ldap 用于内部测试主LDAP是否工作正常。用户组随机存在,每次测试时创建,测试完成后自动删除。系统内部组,仅限组件间内部使用。 compcommon 系统内部组,用于访问