检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
xt。所以在序列化时报“NullPointerException”。 解决办法:应用中如果有无输出逻辑的输入流,则在代码中删除该输入流,或添加该输入流的相关输出逻辑。 父主题: Spark Streaming
Manager界面上看不到该客户端的相关信息。 “-c”:可选参数,表示Flume客户端在安装后默认加载的配置文件“properties.properties”。如不添加参数,默认使用客户端安装目录的“fusioninsight-flume-1.6.0/conf/properties.properties”
选择“Loader”,在“Loader WebUI”右侧,单击链接,打开Loader的WebUI。 在Loader页面,单击“新建作业”。 在“连接”后单击“添加”,配置连接参数。 参数介绍具体可参见Loader连接配置说明。 单击“确定”。 如果连接配置,例如IP地址、端口、访问用户等信息不正确,将导致验证连接失败无法保存。
clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty 如果不包含,将上述内容添加到配置项末尾处。 查看调测结果 查看运行结果获取应用运行情况 如下所示,通过控制台输出结果查看应用运行情况。 3614 [main] INFO
Kafka依赖包路径为“$SPARK_HOME/jars/streamingClient010”。所以在运行应用程序时,需要在spark-submit命令中添加配置项,指定Spark Streaming Kafka的依赖包路径,如--jars $(files=($SPARK_HOME/jars/streamingClient010/*
选择“Loader”,在“Loader WebUI”右侧,单击链接,打开Loader的WebUI。 在Loader页面,单击“新建作业”。 在“连接”后单击“添加”,配置连接参数。 参数介绍具体可参见Loader连接配置说明。 单击“确定”。 如果连接配置,例如IP地址、端口、访问用户等信息不正确,将导致验证连接失败无法保存。
主机被用户隔离,主机上的服务角色停止运行。 表6 主机健康状态 状态 描述 良好 主机心跳检测正常。 故障 主机心跳超时未上报。 未知 执行添加操作时,主机的初始状态。 单击列表中指定的主机名称,查看单个主机状态及指标。 定制、导出监控图表。 在“图表”区域框中,单击“定制”自定义服务监控指标。
在本地Windows中调测HDFS程序 (可选)在开发环境中(例如IntelliJ IDEA中),运行此样例代码需要设置运行用户,设置运行用户有两种方式,添加环境变量HADOOP_USER_NAME或者修改代码。设置环境变量方法具体如下: 选中需要运行的样例程序HdfsExample.java或者ColocationExample
间而定,步骤如下: 在安装好的storm客户端目录的“Storm/storm-1.2.1/conf/storm.yaml”文件尾部新起一行添加如下内容: topology.auto-credentials: - org.apache.storm.security.auth.kerberos
使用WinSCP工具将CSV文件导入客户端节点,例如“/opt”目录下。 登录FusionInsight Manager页面,选择“系统 > 权限 > 用户”,添加人机用户sparkuser,用户组(hadoop、hive),主组(hadoop)。 进入客户端目录,加载环境变量并认证用户: cd /客户端安装目录
'IS_EMPTY_DATA_BAD_RECORD'='false'); 使用“REDIRECT”选项,CarbonData会将所有的Bad Records添加到单独的CSV文件中,但是该文件内容不能用于后续的数据加载,因为其内容可能无法与源记录完全匹配。用户必须清理原始源记录以便于进一步的数据提
配置 > 全部配置 > ClickHouseServer(角色) > 自定义”,在“clickhouse-config-customize”中添加如下参数: 名称 值 kafka.security_protocol plaintext 单击“保存”,在弹窗页面中单击“确定”,保存配置
间而定,步骤如下: 在安装好的storm客户端目录的“Storm/storm-1.2.1/conf/storm.yaml”文件尾部新起一行添加如下内容: topology.auto-credentials: - org.apache.storm.security.auth.kerberos
Manager授予该用户所属角色对应表的“Select授权”权限,详细操作请参考配置Hive表、列或数据库的用户权限章节。 集群启用了Ranger鉴权,需参考添加Hive的Ranger访问权限策略章节授予用户对应表的Import/Export操作权限。 还需在源端集群和目标集群启用集群间复制功能。
-y命令自行安装。 需要允许用户使用密码方式登录Linux弹性云服务器(SSH方式)。 MRS集群安全组入方向将所有端口对客户端节点放开,具体操作请参考添加安全组规则。 执行NTP时间同步,使集群外节点的时间与MRS集群时间同步。 执行vi /etc/ntp.conf命令编辑NTP客户端配置文
执行本样例工程,需配置“allow.everyone.if.no.acl.found”为“true”,详情请参考配置对接Kafka。 Kafka应用需要添加如下所示的jar文件: Flink服务端安装路径的lib目录下“flink-dist_*.jar”。 Flink服务端安装路径的opt目录
行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 已添加关联Yarn并分配了动态资源的租户。 通过管理控制台配置租户队列 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
中是否有数据插入,具体过程如下: 执行SQL语句select * from goal; 查询“goal”表中的数据,如果goal表中有数据添加,则表明整个拓扑运行成功。 父主题: Storm应用开发常见问题
timeout.ms 网络异常。 在hosts文件中没有配置主机名和IP的对应关系,导致使用主机名进行访问时,无法获取信息。 在hosts文件中添加对应的主机名和IP的对应关系。 Linux Windows 父主题: 使用Kafka
群互信,具体请参考配置跨Manager集群互信。 操作步骤 登录Kafka服务所在Manager页面,选择“系统 > 权限 > 用户 > 添加用户”,创建一个具有Kafka权限的人机用户,例如创建人机用户ck_user1,首次使用需要修改初始密码。Kafka用户权限介绍请参考Kafka用户权限说明。