Trasforma una pagina storica Reddit in un lotto JSONL locale

Integra pagine JSON dell’archivio storico nel tuo ETL e scrivi i record in JSONL con il tuo codice. Nessun flusso live o cursore di ripresa.

Ottieni una chiave API

Esempio di richiesta

cURL

curl --fail-with-body -H "Authorization: Bearer YOUR_API_KEY" "https://api.redditdatastream.com/v1/posts?subreddit=apacheairflow&limit=3&page=3"

Recupera, conserva e trasforma in fasi distinte

Reddit Data Stream permette ai responsabili ETL di leggere un archivio storico indipendente di Reddit. Non è ufficiale né affiliato a Reddit e non fornisce dati in tempo reale. Ogni richiesta restituisce una risposta JSON limitata. Il nome non indica una connessione SSE o WebSocket, un flusso di modifiche o una consegna continua. Il tuo sistema di pianificazione decide quando chiamare l’API; il servizio non esegue le tue attività né ne conserva l’avanzamento.

Distingui la pagina ricevuta dal file costruito dall’applicazione. Conserva prima la risposta originale; poi il tuo codice può scrivere ciascun record di data come un oggetto JSON per riga in un file JSONL locale. Mantieni pagination e credits in un registro separato del lotto. Non è un’esportazione JSONL generata dal server né un connettore nativo per Airflow. Conversione e destinazione fanno parte della tua implementazione.

I record possono mancare, variare o non essere disponibili. Non sono garantiti copertura completa, conservazione permanente, schema fisso o risposte identiche. L’ordine interno _doc non è cronologico, di rilevanza o di punteggio. Salvare page=3 nel registro locale descrive il lavoro svolto, non una posizione stabile da cui riprendere l’archivio. Un nuovo tentativo remoto può trovare un’altra composizione di record anche usando gli stessi filtri.

Esamina la terza pagina dell’esempio apacheairflow

Usa GET https://api.redditdatastream.com/v1/posts?subreddit=apacheairflow&limit=3&page=3. posts limita la ricerca ai post, subreddit=apacheairflow sceglie la comunità, limit=3 richiede al massimo tre record e page=3 seleziona la terza pagina. Non è un riferimento temporale né un cursore. Invia X-API-Key: <chiave> oppure Authorization: Bearer <chiave> dal server; entrambi sono supportati. La chiave dell’archivio non deve finire nel JSONL o nei registri pubblici.

Estratto sintetico, soltanto dimostrativo: {"data":[],"pagination":{"page":3,"limit":3,"total":null,"relation":"unknown"},"credits":{"cost":1,"balance":99}}. Non deriva da una chiamata reale e il saldo è inventato. Una pagina vuota dopo la prima può avere un totale sconosciuto; non sostituirlo con zero. Il successo costa un credito anche senza produrre righe di dati. I record di apacheairflow possono mancare o non essere disponibili.

Valida lo stato HTTP e data prima di generare il file locale. Con data vuoto non inventare una riga: registra il successo vuoto nei metadati del lotto. Se la scrittura fallisce dopo il salvataggio della risposta, puoi ripetere la trasformazione locale senza un’altra query. Chiedere di nuovo la pagina all’archivio costa invece un ulteriore credito se il recupero riesce. Documentazione e guida distinguono gli stati della sorgente e della destinazione.

Accesso, crediti e pagamenti

La registrazione usa email e password di 12–72 byte UTF-8. La chiave viene mostrata una sola volta subito dopo la registrazione riuscita, prima di qualsiasi ricarica obbligatoria: conservala allora in modo sicuro. I possibili 100 crediti di prova dipendono dai controlli antiabuso a livello di rete. Account, chiave e saldo restano specifici del dominio. Il pannello nella pagina Ottieni una chiave API permette di accedere, consultare il saldo, creare fatture e rigenerare la chiave.

Ogni recupero protetto riuscito costa un credito, anche se vuoto. Un credito vale $0.001 e $1 corrisponde a 1000 crediti. La ricarica pagata minima è $50 per 50000 crediti; quelli acquistati non scadono e non richiedono abbonamenti. Le richieste non valide non comportano addebito e un errore del servizio a monte restituisce la prenotazione. Un’interruzione della ricezione può però seguire un successo già addebitato sul server: una ripetizione riuscita costa un altro credito.

Prima del trasferimento crea una fattura nel pannello autenticato. Sono supportati USDT su TRON come TRC20 e USDC su Ethereum Mainnet come ERC20. Usa destinatario e importo esatti della fattura corrente, quindi invia l’hash della transazione esistente per la verifica. L’accredito richiede un trasferimento reale, confermato e corrispondente; non è garantita una conferma immediata. Queste operazioni di account e pagamento sono separate dal percorso pubblico di stato.