Série Apache Kafka – Flux Kafka pour le traitement des données
Découvrez la bibliothèque de traitement de données Kafka Streams, pour Apache Kafka. Rejoignez des centaines d’étudiants avertis pour découvrir l’une des bibliothèques de traitement de données les plus prometteuses sur Apache Kafka.
Kafka Streams est le moyen le plus simple d’écrire vos applications sur top of Kafka :
> Le moyen le plus simple de transformer vos données en utilisant le DSL de haut niveau
> Prise en charge de la sémantique Exactement Once prête à l’emploi !
> Déployez et faites évoluer votre application Kafka Streams sans cluster !
> Effectuez des agrégations, des jointures et toutes les opérations auxquelles vous pouvez penser en utilisant seulement quelques lignes de code !
> Construit sur Kafka, pour la tolérance aux pannes, l’évolutivité et la résilience
Cours pratique et basé sur la théorie
Remarque : Ce cours est basé sur Java 8 et comprendra un exemple en Scala. Kafka Streams est basé sur Java et ne convient donc à aucun autre langage de programmation.
Chaque section peut être soit théorique, soit pratique.
>  ;Grâce à la pratique, vous serez mis au défi d’écrire votre propre application Kafka Streams. Les solutions seront expliquées en détail et vous apprendrez quelques conseils sur la meilleure façon d’utiliser Kafka Streams.
> Grâce à la théorie, vous découvrirez toutes les API disponible, le fonctionnement interne de la bibliothèque, ainsi que des concepts passionnants tels que Exactly Once Semantics !
Ce cours est le premier et le seul cours Kafka Streams disponible sur le Web. Obtenez-le maintenant pour devenir un expert Kafka !
Plan de la section :
- Kafka Streams – Premier aperçu : Démarrons Kafka et exécutons votre première application Kafka Streams, WordCount
- Application Kafka de bout en bout Streams : Écrivez le code pour le WordCount, intégrez les dépendances, créez et empaquetez votre application et apprenez à la faire évoluer. Ceci est un exemple complet de bout en bout
- Opérations simples KStream et KTable : Découvrez toutes les opérations sans état disponibles pour l’API KStream et KTable
- Exercice de pratique – Couleur préférée : Pratiquez vos compétences nouvellement acquises en écrivant votre propre application Kafka Streams, Couleur préférée. Ce sera difficile ! Inclut une version Scala de l’exemple
- KStream et KTable Advanced Opérations : Découvrez toutes les opérations avec état disponibles pour les API KStream et KTable
- Exactly Once Semantics – Théorie : Découvrez ce qu’est EOS (Exactly Once Semantics), comment Kafka 0.11 l’active et comment les activer dans Kafka Streams
- Exactly Once – Exercice pratique – Bank Balance : Pratiquez vos connaissances nouvellement acquises en écrivant votre propre application Kafka Streams Exactly Once, pour calculer un solde bancaire courant pour vos clients
- Test de votre application Kafka Streams : Découvrez comment tester la topologie de WordCount Kafka Streams avec Kafka Streams v1.1.0
=================== =============
Ce cours comprend également :
- Accès à vie à tous Futures mises à jour
- Un i responsive nformateur dans la section Q&A
- Liens vers des articles intéressants et beaucoup de bons codes sur lesquels baser vos prochaines applications
- Certificat d’achèvement WeCours prêt à être téléchargé
C’est le cours qui pourrait améliorer votre carrière !
Apache Kafka est une compétence en forte demande et il n’y a pas assez de personnes pour remplir tous les postes ouverts. Vous pouvez augmenter vos revenus, assumer de nouveaux rôles et relever des défis amusants. Beaucoup de mes étudiants sont désormais les experts Kafka de leur entreprise ! Vous pouvez être le prochain !
J’espère vous voir à l’intérieur du cours !
=============== =========
Remarque : Vous recherchez des concepts Kafka plus avancés ? Il existe de nombreux volumes dans la série Apache Kafka :
- Apprendre Kafka pour les débutants v2 (idéal pour commencer)
- Kafka Connect Hands À propos de l’apprentissage
- Flux Kafka pour le traitement des données
- KSQL sur ksqlDB – Pratique !
- Configuration et configuration du cluster Kafka ; Administration
- Confluent Schema Registry & Proxy Kafka REST
- Sécurité Kafka (SSL SASL ACL)
- Surveillance et opérations Kafka
Kafka Streams - First Look
Learn what is Kafka Streams at a high level
Run through some pre-requisites for this course, understand who the target student is
Short bio of your instructor, Stephane Maarek!
Full end to end run of your first Kafka Streams application.
We will download Kafka, start our own cluster, and run producers, consumers, and our first Kafka Streams application
Short lecture comparing Kafka Streams to other streaming libraries
Code Download
End to End Kafka Streams Application - Word Count
Description of the Word Count Kafka Streams application
Learn the Kafka Streams Core Concepts, Topologies, Sink, Sources, Processors, Streams
Setup Java 8, Maven, IntelliJ IDEA Community Editions so we can get started coding our first Kafka Streams application
Setup a project starter so we can include the right kafka streams dependencies and get coding!
Write our first Kafka Streams code. We will setup the Kafka Streams properties
Learn about what is a Java 8 Lambda and how we will use them
Write our application topology using the newly acquired Java 8 Lambdas.
This is the first time we're dealing with the Kafka Streams API
Learning how to print the Kafka Streams topology
Add some code so that our Kafka Streams application shuts down gracefully when we stop it
Learn how to run our Kafka Streams application straight from IntelliJ
Learn how to run the IntelliJ debugger to do step through in our code
Learn about Kafka Streams internal topics (repartition and changelog topics)
Learn how to use Maven Assembly to package our Kafka Streams application as a fat jar
Learn how to scale a Kafka Streams application
Wrap up on all the awesome learning from this section
KStreams and KTables Simple Operations (Stateless)
Learn the objective of this section, learning the stateless operations in Kafka Streams
Learn about KStream and KTables
Learn what Stateless and Stateful mean
Learn about the Map and MapValues Kafka Streams Operation
Learn about the Filter and FilterNot Kafka Streams Operation
Learn about the FlatMap and FlatMapValues Kafka Streams Operation
Learn about the Branch Kafka Streams Operation
Learn about the SelectKey Kafka Streams Operation
Learn how to read a KStream or KTable from Kafka
Learn how to write your KStream or KTable back to Kafka
Learn what operations mark streams for re-partition
Learn the fundamentals behind Log Compaction. This is a refresher!
Learn what is the KStream and KTable Duality
Learn how to transform a KTable into a KStream in Kafka Streams
Learn how to transform a KStream into a KTable
Summary of all the learning on Stateless Operations
Practice Exercise - FavouriteColour
Learn about the practice Kafka Streams exercise, favourite colour!
Hints and guidance to conduct the programming of this Kafka Streams application by yourself
Java solution for the Kafka Streams application FavouriteColour
Running the Favourite Colour Kafka Streams application
Learn how to write the same application using Scala
KStreams and KTables Advanced Operations (Stateful)
Section objective on KStream and KTable stateful operations
Learn about the groupBy operation
Learn the count operation
Learn the aggregate operation
Learn the reduce operation
Learn the peek operation on KStream
Learn the Transform / Transform Values operation on KStream
Learn how Kafka Connect can help you write your transformed data into a sink store / external system
Summary diagram from the Confluent documentation for operations
Exactly Once Semantics - Theory
Learn what Exactly Once Semantics are
Learn how Kafka 0.11 solves the problem to have exactly once semantics
Understand the use cases of At Least Once vs Exactly Once
Learn how to easily achieve exactly once semantics in Kafka Streams!
Exactly Once Semantics - Practice Exercise - BankBalance
Description for the BankBalance practice Kafka Streams exercise
Guidance for you to write your Kafka Producer in order to produce random bank transactions
Solution for the Kafka Producer that generates JSON random bank transactions
Hints on how to write your Kafka Streams application
Solution to build the Bank Balance Kafka Streams application
Let's run the Bank Balance producer and Kafka Streams application!
Summary of our learnings to date
Joins - KStream to GlobalKTable example
Learn about Joins in Kafka Streams. Learn when it is or isn't possible to join data
Understand what is co-partition of data, join constraints, and how global KTables solve the problem
Learn about the different types of joins in Kafka Streams
Hands On Example to perform a join between a KStream and a KTable
Blog post from Confluent that explains joins semantics
Running the example with an interactive producer that has different cases
Testing your Kafka Streams Application
Next Steps
Congratulations! And what to study next
Special links to my other courses
