Servei

Mecanisme de neteja de dades de Spark Streaming
(I) DStream i RDD
Com sabem, el càlcul de Spark Streaming es basa en Spark Core i el nucli de Spark Core és RDD, de manera que Spark Streaming també ha d'estar relacionat amb RDD.Tanmateix, Spark Streaming no permet als usuaris utilitzar RDD directament, però resumeix un conjunt de conceptes de DStream, DStream i RDD són relacions inclusives, podeu entendre-ho com el patró de decoració a Java, és a dir, DStream és una millora de RDD, però el comportament és similar al RDD.
DStream i RDD tenen diverses condicions.
(1) tenen accions de transformació similars, com ara map, reduceByKey, etc., però també algunes úniques, com Window, mapWithStated, etc.
(2) tots tenen accions d'acció, com ara foreachRDD, count, etc.
El model de programació és coherent.
(B) Introducció de DStream a Spark Streaming
DStream conté diverses classes.
(1) Classes de fonts de dades, com ara InputDStream, específiques com DirectKafkaInputStream, etc.
(2) Classes de conversió, normalment MappedDStream, ShuffledDStream
(3) classes de sortida, normalment com ForEachDStream
A partir de l'anterior, les dades des del principi (entrada) fins al final (sortida) les fa el sistema DStream, la qual cosa significa que l'usuari normalment no pot generar i manipular directament RDD, la qual cosa significa que el DStream té l'oportunitat i l'obligació de ser responsable del cicle de vida dels RDD.
En altres paraules, Spark Streaming té unneteja automàticafunció.
(iii) El procés de generació de RDD a Spark Streaming
El flux de vida dels RDD a Spark Streaming és aproximat de la següent manera.
(1) A InputDStream, les dades rebudes es transformen en RDD, com ara DirectKafkaInputStream, que genera KafkaRDD.
(2) després a través de MappedDStream i altres conversions de dades, aquesta vegada s'anomena directament RDD corresponent al mètode del mapa per a la conversió
(3) A l'operació de la classe de sortida, només quan el RDD està exposat, podeu deixar que l'usuari realitzi l'emmagatzematge corresponent, altres càlculs i altres operacions.