Running your first Kafka Streams Application: WordCount

Oke. Jadi, mari kita masuk ke inti bahasan. Kita akan menjalankan aplikasi Kafka Stream pertama kita. Jadi kami tidak akan mengkodekannya. Kita tidak akan menganalisis kode sekarang. Kami hanya akan melihat bagaimana menjalankannya, melihat apa yang dilakukannya. Pahami cara kerja aliran Kafka pada tingkat tinggi, hanya sebagai pengantar untuk memudahkan Anda masuk ke dalamnya. Jadi pertama-tama kita akan mengunduh binari Kafka karena kita akan menjalankan Kafka dengan cara yang berbeda sebelum menjalankan Kafka menggunakan Len Dupe. Dan dalam kursus ini saya ingin berbagi tentang Kafka menggunakan binari. Sangat penting bagi Anda untuk mengetahui cara kerja keduanya, mengetahui cara kerja yang mana yang Anda sukai, dan lain-lain. Sangat penting bagi Anda untuk memahami sepenuhnya cara kerja keduanya. Jadi kita akan memulai Zookeeper di Kafka menggunakan binari ini, dan itu akan sangat mudah. Kita kemudian akan membuat topik keluaran menggunakan perintah Kafka Topics yang sudah Anda ketahui. Kemudian kita akan mempublikasikan data ke topik input. Kami akan menjalankan penghitungan kata. Contoh Ini adalah aplikasi aliran Kafka yang disediakan dengan Kafka sebagai contoh dan jumlah kata melakukan apa yang dilakukannya, apa yang dikatakannya. Ini hanya menghitung kata-kata dalam kalimat. Jadi kita akan melihat contoh ini dan kemudian kita akan mengalirkan topik keluaran menggunakan produser konsol Kafka, konsumen. Jadi, ikhtisar lengkap dari semua yang telah Anda lihat kecuali kata dapat contohnya tentang meluncurkan Kafka menggunakan binari. Tapi ini akan sangat mudah, sangat praktis karena kursus ini akan sangat praktis dan Anda akan belajar sesuatu. Jadi, ayo kita mulai. Jika Anda membuka Google dan mengetik Apache Kafka dan mengambil tautan pertama, Anda akan diarahkan ke halaman Apache Kafka. Apa yang harus Anda lakukan di sini adalah melanjutkan dan mengunduh Apache Kafka menggunakan tombol kiri bawah. Setelah Anda bisa mengunduh, sangat penting bagi Anda untuk memilih versi 0.17.0.1 atau yang lebih tinggi. Jangan memilih 0 hingga 11 .0.0 karena jika tidak, bagian pertama dari tutorial ini tidak akan berfungsi di perkuliahan selanjutnya. Tidak masalah jika Anda memilih yang mana saja, tetapi untuk bagian kuliah ini, silakan unduh yang ini. Jadi, Anda teruskan saja dan Anda harus melakukannya. Unduhan biner dapat Anda lakukan. Scala 211. Scala 212. Tetapi halaman web merekomendasikan untuk menggunakannya ke 11. Jadi saya hanya akan mengklik tautan pertama. Apa yang akan kita lakukan di sini pada dasarnya adalah mengunduh binari Kafka. Ini adalah pendekatan yang berbeda dari apa yang telah kita lakukan di kursus lain, tetapi ada baiknya bagi Anda untuk memiliki gambaran umum tentang cara menggunakan Kafka menggunakan biner mentah secara langsung. Jadi ini dia. Kami berada di halaman ini karena Anda baru saja mengambil tautan pertama dan Anda harus mengambil tautan pertama juga. Dan apa yang akan dilakukannya adalah mengunduh Apache Kafka. Seperti yang Anda lihat, pengunduhan sudah dimulai di bagian kiri bawah. Ini adalah arsip terkompresi, jadi yang harus Anda lakukan hanyalah mendekompresnya menggunakan alat favorit Anda. Mungkin Anda winrar, mungkin beberapa garis umum, apa pun yang Anda sukai, ini cukup mudah. Jadi, setelah Kafka diunduh, Anda akan mengekstraknya dan Anda akan masuk ke sebuah direktori. Dan direktori tersebut akan berisi enam hal yang berbeda, dua file dan empat direktori. Jadi, kita memiliki pemberitahuan lisensi, bin config lib dan site docs bin pada dasarnya adalah tempat binari dan config adalah tempat konfigurasi. Libs adalah tempat dependensi jar dan di dalam docs hanyalah dokumentasi. Jadi apa yang akan kita lakukan sekarang adalah kita akan mengikuti kode yang dapat Anda unduh sebagai sumber daya kuliah ini dan kita akan mengikuti dan pada dasarnya kita akan meluncurkan aplikasi Kafka Stream pertama kita. Kita tidak akan membahas kodenya, tetapi kita akan melihat apa output dan hasil dari aplikasi streaming Kafka tersebut. Ngomong-ngomong, jika Anda adalah pengguna Windows, Anda bisa menggunakan intro kursus, file batch Windows dan mengikutinya. Perintahnya sangat, sangat, sangat mirip dan ada baiknya Anda menonton video ini, hanya untuk menerapkan perintah dalam file ini, bukan yang lain. Oke. Jadi pertama-tama, yang harus kita lakukan sebelum memulai Kafka adalah memulai Zookeeper. Jadi perintah untuk ini adalah zookeeper server start config zookeeper properties. Dan alasan kita melakukan bin slash zookeeper server start adalah karena di situlah skrip Zookeeper berada. Ada di dalam folder biner itu. Terakhir, konfigurasi yang kita minati untuk zookeeper adalah file ini di sini. Saya tidak akan menjelaskan secara detail, tetapi jika Anda tertarik untuk mempelajari tentang Zookeeper, Anda bisa melihat kursus pengaturan Kafka saya untuk memberi tahu Anda lebih banyak tentang Zookeeper. Bagaimanapun, defaultnya baik-baik saja untuk saat ini kita tekan enter dan seperti yang Anda lihat, kita mendapatkan beberapa output log di sini. Tetapi di bagian akhir kita melihat bahwa ada tulisan mengikat ke port 2181 dan Zookeeper diluncurkan. Itu bagus sekali. Setelah Zookeeper diluncurkan, hal berikutnya yang harus kita lakukan adalah memulai Kafka dengan mudah. Kami menggunakan server bin Kafka lain, perintah start dan kemudian kami bergabung dengan server di sana. Properti untuk Kafka dan ini adalah server atau properti dasar default. Jadi saya akan langsung menempelkannya dan Anda bisa melihat bahwa Kafka sudah dimulai. Ada beberapa log di Zookeeper juga, tetapi yang kami lihat adalah di bagian bawah, sebelah kanan, tertulis server Kafka dimulai dan versi Kafka nol di 11 nol satu. Sempurna. Pastikan bahwa angka tersebut adalah satu atau di atasnya, bukan 0 hingga 11.00. Oke. Jadi sekarang kami memiliki Kafka dan Penjaga Kebun Binatang yang telah dimulai. Saya hanya akan masuk ke cangkang yang lain. Jangan pernah menutupnya ke OC karena jika Anda menutup cangkangnya, maka Anda akan menghentikan Kafka atau penjaga kebun binatang Anda. Oke. Kami pasti ingin mereka berjalan sepanjang waktu, jadi kami tetap buka. Jadi, dalam dua shell berikutnya saya akan pergi dan menjalankan perintah saya yang lain. Hal pertama yang harus kita lakukan adalah membuat topik input untuk aplikasi stream kita. Itu cukup mudah. Saya hanya akan menyalin perintah dan menjelaskannya kepada Anda. Kita menggunakan perintah topik Kafka lagi. Ada di direktori sampah. Minus minus create seperti yang telah kita lihat sebelumnya di kelas pemula minus penjaga kebun binatang saya di localhost unit satu. Dan untuk semua orang akan berada di localhost 1.1. Vektor replikasi adalah satu, partisi adalah satu hanya untuk membuatnya sangat edukatif. Dan akhirnya topik ini diberi nama masukan plainteks aliran. Kita tekan enter dan kita akan disambut dengan jawaban bahwa topik telah dibuat. Kami akan melanjutkan dan juga membuat topik keluaran. Dan sangat penting dalam aplikasi aliran Kafka bahwa Anda harus membuat input dan topik output sebelumnya. Jika tidak, aplikasi tidak akan melakukan ini untuk Anda. Jadi sekarang yang dapat kita lakukan adalah memverifikasi bahwa topik tersebut memang dibuat. Jadi kami melakukan bin. Harus memilih sisi. Dan kemudian kami melakukan minus. Minus. Penjaga kebun binatang. Pembawa acara lokal. Dua satu itu satu daftar minus minus. Dan seperti yang kita lihat, dua topik yang sedang dibuat adalah topik yang telah kita buat sebelumnya. Sempurna. Sejauh ini, sejauh ini bagus. Sekarang yang kita lakukan adalah mempublikasikan data ke topik masukan. Untuk ini, saya akan mulai sebagai produsen konsol dan dibutuhkan kesepakatan daftar broker dan daftar broker. Pialang Anda akan berada di pos lokal 9092. Ngomong-ngomong, host lokal sama persis dengan 120 7001. Ini adalah hal yang persis sama dan akan sama untuk semua orang lagi. Terakhir, kami mempublikasikan ke topik tertentu dan topiknya adalah input plaintext yang mengalir. Ketika kita berada di sana, kita melihat ada tanda panah kecil yang berarti beberapa data siap untuk dimasukkan. Jadi, kita akan langsung saja memasukkan beberapa data. Jadi saya akan langsung saja memasukkan beberapa teks yang dialirkan Kafka kepada saya sebagai satu kalimat. Kafka mengalir, pemrosesan data pada kalimat kedua, dan kemudian Kafka mengalir tentu saja pada kalimat ketiga. Jadi, ayo kita lanjutkan. Aliran Kafka masuk, lalu pemrosesan data Kafka masuk dan kemudian aliran Kafka tentu saja masuk untuk keluar dari sini. Saya hanya akan melakukan kontrol C dan ini selesai. Sejauh ini bagus, bukan? Jadi apa yang sudah kita lihat adalah bahwa dalam teks tersebut karena kita akan melakukan penghitungan kata, kita memiliki Kafka yang muncul tiga kali, stream yang muncul sesuai waktu, Udemy satu kali, data satu kali, pemrosesan satu kali dan tentu saja satu kali. Jadi, kami berharap jumlah Kafka adalah tiga, jumlah stream adalah dua, dan seterusnya, dan jumlah Udemy, GB satu, dll. Mari kita verifikasi bahwa beberapa data memang menerbitkan topik tersebut. Jadi untuk ini kita memulai konsumen konsol, server bootstrap yang sama. Topiknya sama, tetapi kita menambahkan minus minus dari bendera awal untuk memberi tahu bahwa kita ingin mengambil semua data dalam topik tersebut, kita tekan enter dan seperti yang Anda lihat, data memang diambil. Jadi, itu berarti bahwa Kafka memang menyimpan data kami karena konsumen adalah proses yang berjalan lama, Anda harus menghentikannya dan menghentikannya. Anda melakukan kontrol, lihat di sana tertulis proseskan ketiga pesan tersebut. Jadi, itu luar biasa, bukan? Topik masukan kami memiliki datanya. Sekarang kita hanya perlu melanjutkan dan memprosesnya. Tetapi sebelum kita melakukannya, saya ingin memulai topik output pada konsumen. Jadi, izinkan saya menyalin perintah dan menjelaskannya kepada Anda. Saya akan menyalinnya di sisi kanan. Jadi perintah itu pada dasarnya memulai konsumen, tetapi sedikit lebih rumit daripada yang Anda miliki sebelumnya. Sebagai contoh, perintah tersebut menghubungkan ke server bootstrap di localhost di engine dan topiknya adalah streaming output jumlah kata, yang merupakan topik teratas yang kita rencanakan dari awal. Kita telah melihat ini sebelumnya, tetapi kemudian ada pemformat dan pemformat itu pada dasarnya akan melanjutkan dan memberi kita nilai dari kunci dan nilai dari nilai di konsol. Tidak perlu terlalu dikhawatirkan, tetapi ini penting, perbedaan itu, karena pada dasarnya kita akan melihat kunci dan nilai yang dicetak pada log, dan itulah yang kita inginkan. Jadi saya lanjutkan dan tekan enter dan konsumer konsol telah dimulai, tetapi jelas karena belum ada data yang dituliskan ke topik output, kita tidak melihat apa pun. Jadi sekarang momen ajaibnya adalah saat kita memulai aplikasi stream dan untuk ini kita memulai kelas run bin Kafka. Begitulah adanya. Dan kemudian kata hitung M.O., yaitu lanjutkan dan salin perintah itu. Dan saya ingin Anda memperhatikan apa yang akan terjadi di sebelah kanan ketika saya menekan enter. Ini dia. Jadi, seperti yang Anda lihat, aplikasi penghitung kata masih berjalan. Tetapi di sebelah kanan, ada banyak informasi yang dicetak. Jadi, itulah output dari aplikasi Kafka Stream kami. Jadi, mari kita lanjutkan dan lihat hasilnya. Hal pertama adalah Kafka satu. Kemudian kita memiliki aliran satu dan baru aliran yang lain. Mereka pada dasarnya sesuai dengan Kafka ini, aliran satu, Udemy satu. Jadi aplikasinya dan lihatlah satu kalimat ini. Lalu ada juga Kafka. Itu karena aplikasi streaming Kafka membaca Kafka, dan mereka sudah menemukan Kafka. Jadi dikatakan Kafka dua. Kemudian kita mendapatkan data yang satu dan pemrosesan yang satu. Akhirnya mendapatkan Kafka. Jadi tiga karena kami berada di posisi dua sebelum kami mendapatkan aliran, aliran tidak akan menjadi empat. Jadi kami memiliki dua sekarang. Dan tentu saja, ini adalah hitungan kata klasik, tetapi dengan cara streaming, yang berarti bahwa setiap komputasi didorong kembali ke Kafka, dan ini sangat keren. Jadi yang bisa saya lakukan sekarang adalah menghentikan aplikasi Kafka Stream dengan melakukan Control C dan menghentikan konsumen kontrol saya. Jadi ini dia. Kami baru saja membaca sembilan pesan di setiap pesan adalah pembaruan dalam perhitungan streaming untuk aplikasi Kafka Streams saya, yang sangat, sangat, sangat keren. Jadi untuk meringkas apa yang kami lakukan di sini, pada dasarnya kami membuat sebuah topik, topik input, membuat topik output. Kemudian kami menjalankan aplikasi streaming Kafka dan secara otomatis langsung membuat jumlah kata tersebut untuk kami secara streaming. Itu adalah waktu nyata. Itu luar biasa. Oke. Itu bukan sebuah kelompok. Jika itu adalah mode batch, itu hanya akan memberi kita Kafka tiga, tetapi tidak pernah Kafka dua atau Kafka satu. Dan itulah kekuatan Kafka. Aneh. Di sini Anda dapat melakukan streaming. Terakhir, saya ingin menarik perhatian Anda pada sesuatu. Jika Anda melakukan Perintah Topik Kafka lagi untuk mendapatkan daftar topik yang kita lihat sekarang ada lebih banyak topik. Jelas ada kekesalan konsumen karena kami memiliki konsumen, tetapi ada aliran jumlah kata, hitungan, perubahan, log, dan aliran jumlah kata, hitungan ulang. Dan Anda bertanya kepada saya, apa itu? Nah, ini adalah aliran internal Kafka. Topic dan Kafka stream akan terus berjalan dan membuatnya berdasarkan komputasi yang Anda lakukan, Anda tidak mengelolanya, tetapi pada dasarnya berisi banyak data bagus yang memungkinkan Kafka Stream melakukan keajaibannya. Oke, jadi kita akan memahami semuanya secara lebih detail daripada bagian X. Tetapi di sini saya benar-benar ingin memberi Anda sedikit gambaran tentang bagaimana cara kerja stream Kafka, bagaimana penggunaannya, dan apa yang dapat kita lakukan dengannya. Semoga Anda senang. Semoga Anda benar-benar menyukai contoh jumlah kata tersebut. Dan sampai jumpa lagi.