Eine historische Reddit-Seite in einen lokalen JSONL-Stapel umwandeln

Binden Sie JSON-Seiten des historischen Archivs in Ihr ETL ein und schreiben Sie Datensätze mit eigenem Code als JSONL. Kein Live-Stream oder Fortsetzungscursor.

API-Schlüssel erhalten

Beispielanfrage

cURL

curl --fail-with-body -H "Authorization: Bearer YOUR_API_KEY" "https://api.redditdatastream.com/v1/posts?subreddit=apacheairflow&limit=3&page=3"

Abruf, Aufbewahrung und Umwandlung getrennt behandeln

Reddit Data Stream ermöglicht ETL-Verantwortlichen Lesezugriff auf ein unabhängiges historisches Reddit-Archiv. Der Dienst ist weder offiziell noch mit Reddit verbunden und liefert keine Live-Daten. Jede Anfrage gibt eine begrenzte JSON-Antwort zurück. Der Name bezeichnet weder SSE- oder WebSocket-Verbindungen noch einen Änderungsstrom oder laufende Zustellung. Ihre eigene Ablaufsteuerung legt die Abrufzeit fest; die API führt Ihre Aufgaben nicht aus und verwaltet ihren Fortschritt nicht.

Unterscheiden Sie die empfangene Seite von der durch Ihre Anwendung erzeugten Datei. Bewahren Sie zunächst die Originalantwort auf. Anschließend kann Ihr Code jeden Datensatz aus data als ein JSON-Objekt pro Zeile in eine lokale JSONL-Datei schreiben. Speichern Sie pagination und credits getrennt als Stapelmetadaten. Dies ist weder ein vom Server erzeugter JSONL-Export noch ein nativer Airflow-Connector. Umwandlung und Speicherziel gehören zu Ihrer Implementierung.

Datensätze können fehlen, variieren oder nicht verfügbar sein. Vollständige Abdeckung, dauerhafte Aufbewahrung, festes Schema und identische Antworten sind nicht garantiert. Die interne Reihenfolge _doc ist weder Chronologie noch Relevanz oder Punktestand. Ein lokal gespeichertes page=3 beschreibt bearbeitete Arbeit, keine stabile Position zur Fortsetzung des Archivabrufs. Ein neuer entfernter Versuch kann trotz gleicher Filter eine andere Zusammenstellung von Datensätzen antreffen. Das lokale Protokoll verändert diese Grenze nicht.

Die dritte Seite des apacheairflow-Beispiels prüfen

Verwenden Sie GET https://api.redditdatastream.com/v1/posts?subreddit=apacheairflow&limit=3&page=3. posts beschränkt auf Beiträge, subreddit=apacheairflow wählt die Community, limit=3 fordert höchstens drei Datensätze an und page=3 wählt die dritte Seite. Das ist weder Zeitmarke noch Cursor. Senden Sie X-API-Key: <Schlüssel> oder Authorization: Bearer <Schlüssel> vom Server; beide Formen werden unterstützt. Der Archivschlüssel gehört weder in die JSONL-Datei noch in öffentliche Protokolle.

Synthetischer Ausschnitt ausschließlich zur Veranschaulichung: {"data":[],"pagination":{"page":3,"limit":3,"total":null,"relation":"unknown"},"credits":{"cost":1,"balance":99}}. Er stammt nicht aus einem echten Aufruf; der Kontostand ist erfunden. Eine leere Seite nach der ersten kann eine unbekannte Gesamtzahl haben; ersetzen Sie diese nicht durch die Trefferzahl 0. Der Erfolg kostet auch ohne Datenzeilen einen Credit. apacheairflow-Datensätze können fehlen oder nicht verfügbar sein.

Prüfen Sie HTTP-Status und data, bevor Sie die lokale Datei erzeugen. Bei leerem data erfinden Sie keine Zeile, sondern protokollieren den leeren Erfolg in den Stapelmetadaten. Scheitert das Schreiben nach Speicherung der Antwort, können Sie diese lokale Umwandlung ohne neue Anfrage wiederholen. Ein erneuter erfolgreicher Seitenabruf wird dagegen neu berechnet. Dokumentation und Leitfaden unterscheiden die Zustände von Quelle und Ziel.

Zugang, Credits und Zahlungen

Ein Konto entsteht mit E-Mail-Adresse und einem Passwort von 12 bis 72 UTF-8-Bytes. Der Schlüssel wird unmittelbar nach erfolgreicher Registrierung einmal angezeigt, bereits vor einer bezahlten Aufladung. Sichern Sie ihn dann außerhalb öffentlich ausgelieferten Codes. Die möglichen 100 Test-Credits unterliegen einer netzwerkweiten Missbrauchskontrolle. Konten, Schlüssel und Guthaben bleiben dennoch domainspezifisch. Anmeldung, Guthaben, Rechnungen und Schlüsselerneuerung finden Sie im Kontobereich der Seite API-Schlüssel erhalten.

Ein erfolgreicher geschützter Abruf kostet einen Credit, auch mit leerer Ergebnisliste. Ein Credit entspricht $0.001; $1 ergibt 1000 Credits. Die kleinste bezahlte Aufladung beträgt $50 und ergibt 50000 Credits. Bezahlte Credits verfallen nicht; ein Abonnement ist nicht erforderlich. Ungültige Anfragen werden nicht belastet, bei einem Fehler des vorgeschalteten Suchdienstes wird die Reservierung erstattet. Ein verlorener Client-Empfang kann dennoch auf einen berechneten Servererfolg folgen; ein erfolgreicher Wiederholungsversuch kostet erneut.

Erstellen Sie vor einer Überweisung eine Rechnung im angemeldeten Kontobereich. Unterstützt werden USDT auf TRON als TRC20 und USDC auf Ethereum Mainnet als ERC20. Verwenden Sie Empfänger und genauen Betrag der aktuellen Rechnung und reichen Sie anschließend den vorhandenen Transaktionshash zur Prüfung ein. Nur eine tatsächlich bestätigte, passende Überweisung kann gutgeschrieben werden. Eine sofortige Bestätigung ist nicht zugesichert. Weder diese Prüfung noch der private Kontostand gehört zur öffentlichen Statusantwort.