先看：Windows下部署 Logstash（单机）   1、复制三份上边配置好的Logstash目录 2、分别启动即可 注：配置文件里的 group_id 必须一致，不然会出现logstash重复消费问题。

ElasticSearch：         是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。它是一个建立在全文搜索引擎 Apache Lucene 基础上的搜索引擎，使用 Java 语言编写。 Logstash：       &nb

1、下载 Logstash 官网：https://www.elastic.co/cn/downloads/logstash 2、解压，将 logstash config 目录下的 logstash-sample.conf 重命名为 logstash.conf，并编辑： #必须包含input 和 output #可以定义多个输入源与多个输出位置 input { kafka { #注意这里配置的kaf

ELK介绍： 所谓ELK就是指：ElasticSearch、Logstash、Kibana 这三个组件，这三个组件往往是配合使用的。我们将这三个组合起来的技术称之为 ELKStack，所以说 ELKStack 指的是 ElasticSearch、Logstash、Kibana 技术栈的结合。 ES：负责数据的存储和索引。 Logstash：负责数据采集和过滤转换（logstash在ELK中负责收集

点击下载：IDM 6.38.1.zip 注册码： 6KRUG-MPB4H-Z1KRG-F5MB1 LNOU7-WHRSY-02JUW-HRC1T KYICP-AOYDJ-91VHT-L8ZVL 92854-7QHJY-7VR1G-F6LTP OS5HG-K90NH-SXOGT-7JYEZ R2C1T-O0KQO-JAVU2-4MMYP M2A16-47AAW-6NLYP-V1E0J IZO7M-3

先看单机Kafka部署：Windows下部署 Kafka（单机） 1、先部署ZooKeeper集群，参考：Windows下部署 ZooKeeper（集群） 2、分别修改 Kafka config 目录下的 server.properties 配置文件： node-1： #唯一标识 broker.id=0 #监听端口 port=9092 host.name=127.0.0.1 #消息最大大小 mes

1、安装 JDK 并配置Java环境 2、下载Zookeeper 官网：https://zookeeper.apache.org/releases.html 可直接下载：apache-zookeeper-3.6.1-bin.zip 3、 解压，将 zoo_sample.cfg 重命名为 zoo.cfg，并编辑： dataDir=./data     &nbs

先看单机ZooKeeper部署：Windows下部署 ZooKeeper（单机）         在集群模式下，建议至少部署3个ZooKeeper服务，或者部署奇数个ZooKeeper服务。如果只部署2个ZooKeeper服务，当其中一个ZooKeeper服务挂掉后，剩下的一个服务并不能构成一个quorum的大多数。因

一、kafka拓扑结构： 二、Kafka架构图： 三、Kafka的特点 1、同时为分布和订阅提供高吞吐量。 2、可进行持久化操作，将消息持久化到到磁盘，以日志的形式存储，因此可用于批量消费，例如ETL，以及实时应用程序。 通过将数据持久化到硬盘以及replication防止数据丢失。 3、分布式系统，易于向外拓展。所有的Producer、broker和consumer都会有多个，均为分布式。无需停

1、安装 JDK 并配置Java环境 2、安装ZooKeeper         Kafka的运行依赖于ZooKeeper，所以在运行Kafka之前我们需要先安装并运行ZooKeeper。         Kafka使用ZooKeeper作