『互联网架构』kafka前世今生和安装部署(116)

  • 日期:07-30
  • 点击:(622)

凯时娱乐app

  原创文章,欢迎转载。转载请注明:转载自IT人故事是的,谢谢!

原始链接地址:“互联网架构”kafka前世和安装与部署(116)

今天,我带你去旧铁到卡夫卡,卡夫卡集群建成了。我不知道有多少旧铁杆用过卡夫卡。实际使用的旧铁不应该太多。我相信大多数老铁都使用activeMq,rabbitMq或者rocketMq,这些都是比较传统的Java开发,而且使用起来非常简单,结构也不那么复杂。许多人正在编写未暴露于大量数据的业务代码。我曾经说过rocketMq的历史。它的前身是metaQ。 metaQ从哪里知道它不是老铁?事实上,它是基于卡夫卡。基本上,metaQ的第一个版本是super kafka。在2010年底kafka开源之后,Ali立即通过java来模仿一个名为metaQ的kafka版本。作者姓名killme2008目前正在蚂蚁黄金诉讼中。

(a)介绍卡夫卡

官方网站

历史

卡夫卡历史

在2010年底,开源之路github,初始版本为0.7.0。

2011年7月,由于其关注,它被纳入了apache孵化器项目。

2012年10月,kafka从apache孵化器项目毕业,成为apache的顶级项目。

2014年,jaykreps,nehanarkhede,junrao离开了LinkedIn并建立了汇合。从那以后,linkedin和汇合已经成为卡夫卡的核心支流组织,致力于推广卡夫卡。

最新版本:2.3.0

引言

Kafka是一个用Scala编写的高吞吐量分布式发布和订阅消息系统。 Scala也是jvm系统的一种语言。 Scala需要驻留在java中才能运行。

为了熟悉JMS(JavaMessageService)规范,消息系统不是一个新概念(例如,ActiveMQ是符合JMS的规范,RabbitMQ是符合AMQP的规范等)。

Kafka具有消息传递系统应具备的功能,但它确实具有独特的设计。通过这种方式,Kafka借鉴了JMS规范的思想,但并未完全遵循JMS规范。

基本术语

Kafka根据主题分类维护消息。这与JMS订户有所不同,JMS订户被理解为发送和接收消息的主键。

生产者:我们向Topic发布(发布)消息的过程称为生产者。消息的发件人。

消费者:我们订阅主题并处理主题中的消息的过程称为消费者。消费者的消费。

代理:Kafka在集群中运行,集群中的每个服务器都称为代理。 activeMQ有一个服务器,类似于kafka节点的服务器。如果您有多个代理,则可以组成一个kafka群集。

主题深刻理解

主题是类别的名称,所有消息都在主题下发送。对于每个主题,kafka群集维护一个分区(分区,可以解释为队列队列)日志文件,如下所示。

消息在每个分区中都有唯一的标识符。消费者总是不听头,并听取旧消息。

传统的消息中间件在消费后不会直接消费。事实上,卡夫卡消费的方式不同。卡夫卡有一个消费偏移抵消的概念。 Kafka从偏移量开始,然后进入队列尾部开始消费。如果上图中Partition0的偏移量为3,则将从3开始消耗。每次消耗偏移量时,它将为+1,它标识消费者在某个分区中消费的位置。下一次消费是根据偏移记录的位置继续消费,不再重复。

注意:偏移量与消费者相关,即消费者偏移量可能为5,B消费者偏移量为0.也就是说,分区是无状态的,并且他与消费者和生产者松散耦合。也就是说,生产者只能把它放在上面,让消费者保持偏移量,这样它就能更好地满足高并发性。

主题实际上是一个抽象的东西。实际上,对分区进行分区很有用。分区实际上是存储消息。分区可以理解为队列队列。分区中的消息不会始终存在。 Kafka有一个处理过期消息的时间设置。默认值为2天。到期时间根据自己的消费时间设定。合理的安排可以防止消息丢失,也可以提高kafka的性能。

(二)卡夫卡装置

安装前的环境准备

由于Kafka是使用Scala语言开发并在JVM上运行的,因此您需要在安装Kafka之前安装JDK。

Kafka依赖zookeeper,所以你需要先安装zookeeper

启动zookeeper

下载安装包

下载1.1.0发行版

修改主机文件

开始服务

创建主题

现在让我们创建一个名为“test”的主题。此主题只有一个分区(实际上您可以创建多个分区,您有多个分区),备份因子也设置为1.实际上,您不会这样做。备份,因为一个不是群集。您会发现主题是一个虚拟概念,但实际上创建了一个分区。

查看kafka中的现有主题

主题目录也已添加到zookeeper中。似乎卡夫卡和动物园管理员是不可分割的。

发送消息

Kafka附带了一个可以从本地文件中读取内容的生产者命令客户端,或者我们可以直接从命令行输入内容并将其作为消息发送到kafka集群。默认情况下,每一行都被视为单独的消息。首先,我们需要运行发布消息的脚本,然后在命令中输入要发送的消息内容

消费者新闻

对于消费者来说,kafka还带有一个命令行客户端,它将输出命令中的内容。如果通过不同的终端窗口运行上述命令,您将看到在生产者终端输入的内容,该内容很快将显示在消费者的终端窗口中。

当我们运行没有任何参数的命令时,将显示该命令的详细用法。

一个发送,一个接收。

PS:安装了Kafka,并介绍了kafka的基本原理。

96

IT人员故事

B67c298df0204f89aac60710bc0709ec

2019.07.2209: 04

字数1855

原创文章,欢迎转载。转载请注明:转载自IT故事,谢谢!

原始链接地址:“互联网架构”kafka前世和安装与部署(116)

今天,我带你去旧铁到卡夫卡,卡夫卡集群建成了。我不知道有多少旧铁杆用过卡夫卡。实际使用的旧铁不应该太多。我相信大多数老铁都使用activeMq,rabbitMq或者rocketMq,这些都是比较传统的Java开发,而且使用起来非常简单,结构也不那么复杂。许多人正在编写未暴露于大量数据的业务代码。我曾经说过rocketMq的历史。它的前身是metaQ。 metaQ从哪里知道它不是老铁?事实上,它是基于卡夫卡。基本上,metaQ的第一个版本是super kafka。在2010年底kafka开源之后,Ali立即通过java来模仿一个名为metaQ的kafka版本。作者姓名killme2008目前正在蚂蚁黄金诉讼中。

(a)介绍卡夫卡

官方网站

历史

卡夫卡历史

在2010年底,开源之路github,初始版本为0.7.0。

2011年7月,由于其关注,它被纳入了apache孵化器项目。

2012年10月,kafka从apache孵化器项目毕业,成为apache的顶级项目。

2014年,jaykreps,nehanarkhede,junrao离开了LinkedIn并建立了汇合。从那以后,linkedin和汇合已经成为卡夫卡的核心支流组织,致力于推广卡夫卡。

最新版本:2.3.0

引言

Kafka是一个用Scala编写的高吞吐量分布式发布和订阅消息系统。 Scala也是jvm系统的一种语言。 Scala需要驻留在java中才能运行。

为了熟悉JMS(JavaMessageService)规范,消息系统不是一个新概念(例如,ActiveMQ是符合JMS的规范,RabbitMQ是符合AMQP的规范等)。

Kafka具有消息传递系统应具备的功能,但它确实具有独特的设计。通过这种方式,Kafka借鉴了JMS规范的思想,但并未完全遵循JMS规范。

基本术语

Kafka根据主题分类维护消息。这与JMS订户有所不同,JMS订户被理解为发送和接收消息的主键。

生产者:我们向Topic发布(发布)消息的过程称为生产者。消息的发件人。

消费者:我们订阅主题并处理主题中的消息的过程称为消费者。消费者的消费。

代理:Kafka在集群中运行,集群中的每个服务器都称为代理。 activeMQ有一个服务器,类似于kafka节点的服务器。如果您有多个代理,则可以组成一个kafka群集。

主题深刻理解

主题是类别的名称,所有消息都在主题下发送。对于每个主题,kafka群集维护一个分区(分区,可以解释为队列队列)日志文件,如下所示。

消息在每个分区中都有唯一的标识符。消费者总是不听头,并听取旧消息。

传统的消息中间件在消费后不会直接消费。事实上,卡夫卡消费的方式不同。卡夫卡有一个消费偏移抵消的概念。 Kafka从偏移量开始,然后进入队列尾部开始消费。如果上图中Partition0的偏移量为3,则将从3消耗掉。每次消耗偏移量时,它将为+1,它标识消费者在某个分区中消费的位置。下一次消费是根据偏移记录的位置继续消费,不再重复。

注意:偏移量与消费者相关,即消费者偏移量可能为5,B消费者偏移量为0.也就是说,分区是无状态的,并且他与消费者和生产者松散耦合。也就是说,生产者只能把它放在上面,让消费者保持偏移量,这样它就能更好地满足高并发性。

主题实际上是一个抽象的东西。实际上,对分区进行分区很有用。分区实际上是存储消息。分区可以理解为队列队列。分区中的消息不会始终存在。 Kafka有一个处理过期消息的时间设置。默认值为2天。到期时间根据自己的消费时间设定。合理的安排可以防止消息丢失,也可以提高kafka的性能。

(二)卡夫卡装置

安装前的环境准备

由于Kafka是使用Scala语言开发并在JVM上运行的,因此您需要在安装Kafka之前安装JDK。

Kafka依赖zookeeper,所以你需要先安装zookeeper

启动zookeeper

下载安装包

下载1.1.0发行版

修改主机文件

开始服务

创建主题

现在让我们创建一个名为“test”的主题。此主题只有一个分区(实际上您可以创建多个分区,您有多个分区),备份因子也设置为1.实际上,您不会这样做。备份,因为一个不是群集。您会发现主题是一个虚拟概念,但实际上创建了一个分区。

查看kafka中的现有主题

主题目录也已添加到zookeeper中。似乎卡夫卡和动物园管理员是不可分割的。

发送消息

Kafka附带了一个可以从本地文件中读取内容的生产者命令客户端,或者我们可以直接从命令行输入内容并将其作为消息发送到kafka集群。默认情况下,每一行都被视为单独的消息。首先,我们需要运行发布消息的脚本,然后在命令中输入要发送的消息内容

消费者新闻

对于消费者来说,kafka还带有一个命令行客户端,它将输出命令中的内容。如果通过不同的终端窗口运行上述命令,您将看到在生产者终端输入的内容,该内容很快将显示在消费者的终端窗口中。

当我们运行没有任何参数的命令时,将显示该命令的详细用法。

一个发送,一个接收。

PS:安装了Kafka,并介绍了kafka的基本原理。

原创文章,欢迎转载。转载请注明:转载自IT故事,谢谢!

原始链接地址:“互联网架构”kafka前世和安装与部署(116)

今天,我带你去旧铁到卡夫卡,卡夫卡集群建成了。我不知道有多少旧铁杆用过卡夫卡。实际使用的旧铁不应该太多。我相信大多数老铁都使用activeMq,rabbitMq或者rocketMq,这些都是比较传统的Java开发,而且使用起来非常简单,结构也不那么复杂。许多人正在编写未暴露于大量数据的业务代码。我曾经说过rocketMq的历史。它的前身是metaQ。 metaQ从哪里知道它不是老铁?事实上,它是基于卡夫卡。基本上,metaQ的第一个版本是super kafka。在2010年底kafka开源之后,Ali立即通过java来模仿一个名为metaQ的kafka版本。作者姓名killme2008目前正在蚂蚁黄金诉讼中。

(a)介绍卡夫卡

官方网站

历史

卡夫卡历史

在2010年底,开源之路github,初始版本为0.7.0。

2011年7月,由于其关注,它被纳入了apache孵化器项目。

2012年10月,kafka从apache孵化器项目毕业,成为apache的顶级项目。

2014年,jaykreps,nehanarkhede,junrao离开了LinkedIn并建立了汇合。从那以后,linkedin和汇合已经成为卡夫卡的核心支流组织,致力于推广卡夫卡。

最新版本:2.3.0

引言

Kafka是一个用Scala编写的高吞吐量分布式发布和订阅消息系统。 Scala也是jvm系统的一种语言。 Scala需要驻留在java中才能运行。

为了熟悉JMS(JavaMessageService)规范,消息系统不是一个新概念(例如,ActiveMQ是符合JMS的规范,RabbitMQ是符合AMQP的规范等)。

Kafka具有消息传递系统应具备的功能,但它确实具有独特的设计。通过这种方式,Kafka借鉴了JMS规范的思想,但并未完全遵循JMS规范。

基本术语

Kafka根据主题分类维护消息。这与JMS订户有所不同,JMS订户被理解为发送和接收消息的主键。

生产者:我们向Topic发布(发布)消息的过程称为生产者。消息的发件人。

消费者:我们订阅主题并处理主题中的消息的过程称为消费者。消费者的消费。

代理:Kafka在集群中运行,集群中的每个服务器都称为代理。 activeMQ有一个服务器,类似于kafka节点的服务器。如果您有多个代理,则可以组成一个kafka群集。

主题深刻理解

主题是类别的名称,所有消息都在主题下发送。对于每个主题,kafka群集维护一个分区(分区,可以解释为队列队列)日志文件,如下所示。

消息在每个分区中都有唯一的标识符。消费者总是不听头,并听取旧消息。

传统的消息中间件在消费后不会直接消费。事实上,卡夫卡消费的方式不同。卡夫卡有一个消费偏移抵消的概念。 Kafka从偏移量开始,然后进入队列尾部开始消费。如果上图中Partition0的偏移量为3,则将从3消耗掉。每次消耗偏移量时,它将为+1,它标识消费者在某个分区中消费的位置。下一次消费是根据偏移记录的位置继续消费,不再重复。

注意:偏移量与消费者相关,即消费者偏移量可能为5,B消费者偏移量为0.也就是说,分区是无状态的,并且他与消费者和生产者松散耦合。也就是说,生产者只能把它放在上面,让消费者保持偏移量,这样它就能更好地满足高并发性。

主题实际上是一个抽象的东西。实际上,对分区进行分区很有用。分区实际上是存储消息。分区可以理解为队列队列。分区中的消息不会始终存在。 Kafka有一个处理过期消息的时间设置。默认值为2天。到期时间根据自己的消费时间设定。合理的安排可以防止消息丢失,也可以提高kafka的性能。

(二)卡夫卡装置

安装前的环境准备

由于Kafka是使用Scala语言开发并在JVM上运行的,因此您需要在安装Kafka之前安装JDK。

Kafka依赖zookeeper,所以你需要先安装zookeeper

启动zookeeper

下载安装包

下载1.1.0发行版

修改主机文件

开始服务

创建主题

现在让我们创建一个名为“test”的主题。此主题只有一个分区(实际上您可以创建多个分区,您有多个分区),备份因子也设置为1.实际上,您不会这样做。备份,因为一个不是群集。您会发现主题是一个虚拟概念,但实际上创建了一个分区。

查看kafka中的现有主题

主题目录也已添加到zookeeper中。似乎卡夫卡和动物园管理员是不可分割的。

发送消息

Kafka附带了一个可以从本地文件中读取内容的生产者命令客户端,或者我们可以直接从命令行输入内容并将其作为消息发送到kafka集群。默认情况下,每一行都被视为单独的消息。首先,我们需要运行发布消息的脚本,然后在命令中输入要发送的消息内容

消费者新闻

对于消费者来说,kafka还带有一个命令行客户端,它将输出命令中的内容。如果通过不同的终端窗口运行上述命令,您将看到在生产者终端输入的内容,该内容很快将显示在消费者的终端窗口中。

当我们运行没有任何参数的命令时,将显示该命令的详细用法。

一个发送,一个接收。

PS:安装了Kafka,并介绍了kafka的基本原理。