检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Apply”后,单击“OK”,如图2所示。 图2 设置IntelliJ IDEA的编码格式 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,使用IntelliJ IDEA开发工具时,可选择“File >
导入数据时,对于Key列相同的行会聚合成一行,而Value列会按照设置的AggregationType进行聚合。 AggregationType目前有以下四种聚合方式: SUM:求和,多行的Value进行累加。 REPLACE:替代,下一批数据中的Value会替换之前导入过的行中的Value。 MAX:保留最大值。
topic中。 请求一个广告后,可能用于多次展示,每次展示,会生成广告展示事件,保存到kafka的adShow topic中。 每个广告展示,可能会产生多次点击,每次点击,会生成广告点击事件,保存到kafka的adClick topic中。 广告有效展示的定义如下: 请求到展示的时长超过A分钟算无效展示。
topic中。 请求一个广告后,可能用于多次展示,每次展示,会生成广告展示事件,保存到kafka的adShow topic中。 每个广告展示,可能会产生多次点击,每次点击,会生成广告点击事件,保存到kafka的adClick topic中。 广告有效展示的定义如下: 请求到展示的时长超过A分钟算无效展示。
Apply”后,单击“OK”,如图2所示。 图2 设置IntelliJ IDEA的编码格式 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,使用IntelliJ IDEA开发工具时,可选择“File >
是,处理完毕。 否,执行2。 对系统进行扩容。 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的节点地址。 登录告警节点。 执行cat /proc/stat | awk 'NR==1'|awk '{for(i=2;i<=NF;i++)j+=$i;print
等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行4。 检查网口速率是否满足需求。 在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机地址及网口名称。 使用PuTTY工具,以root用户登录告警所在主机。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。
等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行4。 检查网口速率是否满足需求。 在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机地址及网口。 使用PuTTY工具,以root用户登录告警所在主机。 执行命令ethtool 网口名称,查看当前网口速率最大值Speed。 对于
conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将krb5.conf和user.k
使用导入器通过“.csv”,“.txt”等格式的文件导入数据。 使用创建的用户第一次登录Hue WebUI,需修改密码。 用户获取Hue WebUI的访问地址后,可以给其他无法访问Manager的用户用于访问Hue WebUI。 在Hue的WebUI操作但不操作Manager页面,重新访问Manager时需要输入已登录的账号密码。
个级别的索引组成,处理框架可以利用这个索引来减少需要安排和处理的任务,也可以通过在任务扫描中以更精细的单元(称为blocklet)进行skip扫描来代替对整个文件的扫描。 可选择的数据编码:通过支持高效的数据压缩和全局编码方案,可基于压缩/编码数据进行查询,在将结果返回给用户之前
ZooKeeper常见规格 指标名称 规格 说明 单集群ZooKeeper最大实例数 9 ZooKeeper最大实例数 每个ZooKeeper实例,单个IP最大连接数 2000 - 每个ZooKeeper实例,最大连接总数 20000 - 默认参数情况下,最大ZNode数 2000000 ZN
务。 元数据:选择“本地元数据”。 网络配置: 可用区:默认即可。 虚拟私有云:默认即可。 子网:默认即可。 安全组:默认即可。 弹性公网IP:默认即可。 节点配置: CPU架构:默认即可。MRS 3.1.0及MRS 3.1.5版本无该参数。 常用模板:当“集群类型”选择“自定义”时该参数有效,保持默认即可。
KafkaProperties kafkaProc = KafkaProperties.getInstance(); // Broker地址列表 props.put(BOOTSTRAP_SERVER, kafkaProc.getValues(BOOTSTRAP_SERVER,
“/home/flinkuser/keytab/”表示的是用户保存keytab的目录。 principal名(即开发用户名)。 security.kerberos.login.principal:flinkuser 对于HA模式,如果配置了ZooKeeper,还需要设置ZK kerberos认证相关的配置。配置如下:
KafkaProperties kafkaProc = KafkaProperties.getInstance(); // Broker地址列表 props.put(BOOTSTRAP_SERVER, kafkaProc.getValues(BOOTSTRAP_SERVER,
zookeeperuser。 直接执行Zookeeper组件的客户端命令。 zkCli.sh -server <zookeeper安装节点ip>:<port> 例如:zkCli.sh -server node-master1DGhZ:2181 <port>可在ZooKeeper的
SDK”为“SDKs”中添加的JDK。 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
数据写入HDFS后文件名的前缀。 TMP_ hdfs.batchSize 一次写入HDFS的最大事件数目。 61200 hdfs.kerberosPrincipal kerberos认证时用户,在安全版本下必须填写。安全集群需要配置此项,普通模式集群无需配置。 flume_hdfs hdfs.kerberosKeytab
数据写入HDFS后文件名的前缀。 TMP_ hdfs.batchSize 一次写入HDFS的最大事件数目。 61200 hdfs.kerberosPrincipal kerberos认证时用户,在安全版本下必须填写。安全集群需要配置此项,普通模式集群无需配置。 flume_hdfs hdfs.kerberosKeytab