Kafka

首页 标签 Kafka
# Kafka #
关注
8601内容
PostgreSQL "物联网"应用 - 1 实时流式数据处理案例(万亿每天)
物联网的特点是万物联网,会产生大量的数据。 例如 : 一盒药,从生产,到运输,到药店,到售卖。每流经一个节点,都会记录它的信息。 又如 : 健康手环,儿童防丢手表,一些动物迁徙研究的传感器(如中华鲟),水纹监测,电网监测,煤气管道监测,气象监测等等这些信息。 股价的实时预测。 车流实时
Kafka vs RocketMQ ——消息及时性对比
引言 在前几期的消息中间件对比中,我们为Kafka和RocketMQ设定了几个性能场景(单机系统可靠性、多Topic对性能稳定性的影响以及Topic数量对单机性能的影响),这些场景大都是以服务端的吞吐能力为对比焦点。这一期,我们将从客户端的角度出发,为大家带来Kafka和RocketMQ消息及时性
Flume+Kafka+Flink+Redis构建大数据实时处理系统:实时统计网站PV、UV展示
1.大数据处理的常用方法 大数据处理目前比较流行的是两种方法,一种是离线处理,一种是在线处理,基本处理架构如下: 在互联网应用中,不管是哪一种处理方式,其基本的数据来源都是日志数据,例如对于web应用来说,则可能是用户的访问日志、用户的点击日志等。
【云栖神侠传】洞悉分毫,决策千里!看阿里神侠的海量日志处理秘籍
简志,阿里云高级技术专家,专注分布式系统构建一整套数据采集、分析体系。在数据处理与日志分析领域有独到见解。兼做云栖大会Workshop出品人(面向架构师的动手实践活动)
为什么要用java重写logstash
? ? ? ? ?写之前,这里先打个广告,java 版本的logstash已经开源,git地址?https://github.com/dtstack。 ? ? ? ? ?现在ELK很流行,能快速搭建一套日志采集系统。其实自己一开始就不理解为什么后端日志采集这一层logstash 是用ruby来编写
日志收集之kafka篇
日志收集 ? ? 日志收集包括服务器日志收集和埋码日志收集两种。 ? ? 服务器日志主要是nginx、tomcat等产生的访问和业务日志。 ? ? 埋码收集主要是某些服务器无法收集,需要在前端进行收集的数据。 收集流程 ? ? 日志处理是指将消息队列用在日志处理中,比如Kafka的应用,解
Kafka vs RocketMQ——Topic数量对单机性能的影响
上一期我们对比了三类消息产品(Kafka、RabbitMQ、RocketMQ)单纯发送小消息的性能,受到了程序猿们的广泛关注,其中大家对这种单纯的发送场景感到并不过瘾,因为没有任何一个网站的业务只有发送消息。本期,我们就来模拟一个真实的场景: 消息的发送和订阅一定是共存的 要支持多..
如何正确使用 Flink Connector?
本文主要分享 Flink connector 相关内容,分为以下三个部分的内容:第一部分会首先介绍一下 Flink Connector 有哪些。第二部分会重点介绍在生产环境中经常使用的 kafka connector 的基本的原理以及使用方法。第三部分答疑,对社区反馈的问题进行答疑。
免费试用
http://www.vxiaotou.com