lawelawe

ʻO ka mīkini hoʻomaʻemaʻe ʻikepili Spark Streaming
(I) DStream a me RDD
E like me kā mākou ʻike, hoʻokumu ʻia ka helu Spark Streaming ma Spark Core, a ʻo ke kumu o Spark Core ʻo RDD, no laila pono e pili pū ʻo Spark Streaming me RDD.Eia nō naʻe, ʻaʻole ʻae ʻo Spark Streaming i nā mea hoʻohana e hoʻohana pololei i ka RDD, akā e unuhi i kahi hoʻonohonoho o nā manaʻo DStream, DStream a me RDD nā pilina pili, hiki iā ʻoe ke hoʻomaopopo iā ia e like me ke ʻano hoʻonaninani ma Java, ʻo ia hoʻi, ʻo DStream kahi hoʻonui o RDD, akā. ua like ka hana me RDD.
Loaʻa iā DStream a me RDD kekahi mau kūlana.
(1) loaʻa nā hana hoʻololi like, e like me ka palapala ʻāina, reduceByKey, a me nā mea ʻē aʻe, akā kekahi mau mea kūʻokoʻa, e like me Window, mapWithStated, etc.
(2) Loaʻa nā hana hana a pau, e like me foreachRDD, helu, etc.
Kūlike ke kumu hoʻolālā.
(B) Hoʻolauna o DStream ma Spark Streaming
Aia i DStream kekahi mau papa.
(1) Nā papa kumu ʻikepili, e like me InputDStream, kikoʻī e like me DirectKafkaInputStream, etc.
(2) Nā papa hoʻololi, maʻamau ʻo MappedDStream, ShuffledDStream
(3) nā papa hoʻopuka, e like me ForEachDStream
Mai luna aʻe, hana ʻia ka ʻikepili mai ka hoʻomaka (input) a i ka hopena (output) e ka ʻōnaehana DStream, ʻo ia hoʻi, ʻaʻole hiki i ka mea hoʻohana ke hoʻopuka pololei a hoʻoponopono i nā RDD, ʻo ia hoʻi, loaʻa i ka DStream ka manawa a me ke kuleana e lilo. kuleana no ke ola o nā RDD.
I nā huaʻōlelo ʻē aʻe, loaʻa iā Spark Streaming kahihoʻomaʻemaʻe ʻakomihana.
(iii) Ke kaʻina hana o ka hanauna RDD ma Spark Streaming
ʻO ke kahe o ke ola o nā RDD ma Spark Streaming he paʻakikī e like me kēia.
(1) Ma InputDStream, hoʻololi ʻia ka ʻikepili i loaʻa i RDD, e like me DirectKafkaInputStream, nāna e hoʻopuka iā KafkaRDD.
(2) a laila ma o MappedDStream a me nā hoʻololi ʻikepili ʻē aʻe, ua kapa pololei ʻia kēia manawa ʻo RDD e pili ana i ke ala palapala no ka hoʻololi ʻana.
(3) Ma ka hana papa hana, aia wale nō ke hōʻike ʻia ka RDD, hiki iā ʻoe ke ʻae i ka mea hoʻohana e hana i ka waiho ʻana, nā helu ʻē aʻe, a me nā hana ʻē aʻe.