检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
编写Coordinator任务文件“coordinator.xml”。 完成每天一次的定时数据分析工作,请参见coordinator.xml。 上传流程文件。 使用或切换到拥有HDFS上传权限的用户,准备用户可参见准备本地应用开发环境。 使用该用户进行Kerberos认证。 使用HDFS上传命令,将“dat
"承诺日期", `LO_SHIPMODE` varchar(100) NOT NULL COMMENT "运输方式" ) UNIQUE KEY (`LO_ORDERKEY`,`LO_LINENUMBER`,`LO_CUSTKEY`,`LO_PARTKEY`,`LO_SUPPKEY`
编写Coordinator任务文件“coordinator.xml”。 完成每天一次的定时数据分析工作,请参见配置Coordinator定时调度作业。 上传流程文件。 使用或切换到拥有HDFS上传权限的用户,准备用户可参见准备本地应用开发环境。 使用该用户进行Kerberos认证。 使用HDFS上传命令,将“dat
查看“server.port”的值,默认为“29900”。 192.168.1.1:29900 区域 当前请求发起方所属区域,只能包数字和下划线。 0755_01 接收超时时长(秒) 等待接收数据的超时时长(单位:秒)。 60 Task总超时时长(秒) 每个跨域Task执行的总超时时长(单位:秒)。
x之前版本请参考安装客户端章节。 MRS 3.x及之后版本请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
abric 说明: XXX:驱动名,请以实际样例代码中的内容为准。 catalog、schema分别是JDBC客户端要连接的catalog和schema名称。 HSFabric_IP:HSFabric_Port是HSFabric的URL,多个URL以逗号隔开。例如:“192.168
自定义,请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 执行以下命令,切换至omm用户并登录omm数据库。 su - omm gsql -U omm -W omm数据库密码 -p 20015 执行命令 select
Source配置的IP所在节点与故障节点的网络状态。 确认Flume Source是否是avro类型。 是,执行2.c。 否,执行3。 登录故障节点所在主机,执行以下命令切换root用户。 sudo su - root 执行ping Flume Source配置的IP地址命令查看对端主机是否可以ping通。 是,执行3。
strategy”为“capacity”。 Kafka创建Topic时,支持基于“机架感知” 和 “跨AZ特性” 两种选项组合生成分区及副本的分配方案且支持 “--zookeeper” 和 “--bootstrap-server”两种方式 禁用机架策略 & 禁用跨AZ特性 (默认策略)。
指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff,即低于1MB。 说明: 如果更改此选项,则必须在所有服务器和客户端上设置该系统属性,否则将出现问题。 0xfffff 父主题: ZooKeeper常见问题
指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff,即低于1MB。 说明: 如果更改此选项,则必须在所有服务器和客户端上设置该系统属性,否则将出现问题。 0xfffff 父主题: ZooKeeper常见问题
0-LTS及之后的版本中,Spark2x服务改名为Spark,服务包含的角色名也有差异,例如JobHistory2x变更为JobHistory。相关涉及服务名称、角色名称的描述和操作请以实际版本为准。 kinit sparkuser 上传CSV中的文件到HDFS的“/data”目录: hdfs
Node的详细信息,并将RPC调用保存到备用的NameNode。在异常情况下有很多优势,例如当备用的NameNode连接长时间不响应时。 当发生故障,将另一个NameNode切换为活动状态时,缓存的详细信息将被更新为当前活动的NameNode的信息。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径如下:
Node的详细信息,并将RPC调用保存到备用的NameNode。在异常情况下有很多优势,例如当备用的NameNode连接长时间不响应时。 当发生故障,将另一个NameNode切换为活动状态时,缓存的详细信息将被更新为当前活动的NameNode的信息。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径如下:
本章节适用于MRS 3.x及后续版本。 前提条件 已安装Hive客户端。 操作步骤 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 例如安装目录为“/opt/client”,则执行以下命令: cd /opt/client 执行以下命令配置环境变量。
分析集群HDFS使用情况,增加HDFS分配给Hive使用的容量上限。 登录MRS集群详情页面,单击“组件管理 > Hive > 服务配置”,将“基础配置”切换为“全部配置”,然后查找“hive.metastore.warehouse.size.percent”,调大该配置项。设配置项的值为A,H
DataNode数据目录与系统关键目录(“/”或“/boot”)使用同一磁盘。 DataNode数据目录中多个目录使用同一磁盘。 处理步骤 查看告警原因和产生告警的DataNode节点信息。 在MRS集群详情页面,单击“告警管理”,在告警列表中单击此告警。 在“告警详情”区域,查看“告警原因”,可知产生该告警的原因。
log 启动日志。 FlinkServer服务日志、审计日志和HA相关日志。 FlinkServer服务日志、审计日志和HA相关日志默认100MB滚动存储一次,服务日志最多保留30天,审计日志最多保留90天。 日志大小和压缩文件保留个数可以在Manager界面中配置或者修改客户端
记录Kafka角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin
https://github.com/edenhill/librdkafka/tree/v0.11.1。 ./configure make make install 使用客户端时增加如下配置项。 "security.protocol": "SASL_PLAINTEXT", "sasl