Transformer une page historique Reddit en lot JSONL local

Intégrez des pages JSON des archives à votre ETL et écrivez les données en JSONL avec votre code. Sans flux en direct ni curseur de reprise.

Obtenir une clé API

Exemple de requête

cURL

curl --fail-with-body -H "Authorization: Bearer YOUR_API_KEY" "https://api.redditdatastream.com/v1/posts?subreddit=apacheairflow&limit=3&page=3"

Récupérer, conserver et transformer en étapes distinctes

Reddit Data Stream permet aux responsables ETL de lire des archives historiques indépendantes de Reddit. Le service n’est ni officiel ni affilié à Reddit et ne fournit pas de données en direct. Chaque appel renvoie une réponse JSON bornée. Le nom ne désigne ni connexion SSE ou WebSocket, ni flux de changements ou livraison continue. Votre ordonnanceur décide quand appeler l’API ; le service n’exécute pas vos tâches et ne suit pas leur progression.

Distinguez la page reçue du fichier construit par votre application. Conservez d’abord la réponse originale ; votre code peut ensuite écrire chaque enregistrement de data comme un objet JSON par ligne dans un fichier JSONL local. Gardez pagination et credits dans un journal distinct du lot. Il ne s’agit ni d’une exportation JSONL produite par le serveur ni d’un connecteur Airflow natif. La conversion et la destination relèvent de votre implémentation.

Des données peuvent manquer, varier ou être indisponibles. Ni couverture exhaustive, ni conservation permanente, ni schéma fixe ou réponses identiques ne sont garantis. L’ordre interne _doc ne correspond ni à la chronologie, ni à la pertinence ou au score. Conserver page=3 dans un journal local décrit le travail effectué, pas une position stable pour reprendre les archives. Une nouvelle tentative distante peut rencontrer d’autres enregistrements malgré les mêmes filtres.

Examiner la troisième page de l’exemple apacheairflow

Utilisez GET https://api.redditdatastream.com/v1/posts?subreddit=apacheairflow&limit=3&page=3. posts restreint la requête aux publications, subreddit=apacheairflow choisit la communauté, limit=3 demande au plus trois enregistrements et page=3 sélectionne la troisième page. Ce n’est ni un repère temporel ni un curseur. Envoyez X-API-Key: <clé> ou Authorization: Bearer <clé> côté serveur ; les deux formes sont acceptées. La clé ne doit figurer ni dans le JSONL ni dans des journaux publics.

Extrait synthétique, uniquement démonstratif : {"data":[],"pagination":{"page":3,"limit":3,"total":null,"relation":"unknown"},"credits":{"cost":1,"balance":99}}. Il ne provient pas d’un appel réel et le solde est fictif. Une page vide après la première peut avoir un total inconnu ; ne le remplacez pas par zéro. La réussite coûte un crédit même sans produire de lignes de données. Des enregistrements d’apacheairflow peuvent manquer ou être indisponibles.

Validez le statut HTTP et data avant de générer le fichier local. Si data est vide, n’inventez pas de ligne : consignez la réussite vide dans les métadonnées du lot. Si l’écriture échoue après sauvegarde de la réponse, vous pouvez relancer cette transformation locale sans nouvelle requête. Redemander la page aux archives coûte un nouveau crédit si la récupération réussit. La documentation et le guide distinguent les états de la source et de la destination.

Accès, crédits et paiement

L’inscription utilise un e-mail et un mot de passe de 12–72 octets UTF-8. La clé apparaît une fois immédiatement après l’inscription, avant paiement. Les 100 crédits d’essai dépendent des contrôles contre les abus communs au réseau. Compte, clé et solde appartiennent à redditdatastream.com. Le panneau de la page de la clé permet de consulter le solde, créer des factures et remplacer la clé après confirmation du mot de passe, invalidant immédiatement l’ancienne.

Chaque récupération réussie coûte un crédit, même vide ou répétée : $1 pour 1000 requêtes. Le rechargement minimal de $50 ajoute 50000 crédits achetés. Il n’y a pas d’abonnement et les crédits payés n’expirent pas. Une requête invalide ne débite pas le solde ; un échec du service source restitue la réservation. Une réponse perdue peut masquer une réussite facturée et un nouvel appel réussi coûte un autre crédit.

Pour acheter, connectez-vous et créez une facture avant le transfert. Utilisez son destinataire et son montant exacts en USDT sur TRON TRC20 ou USDC ERC20 sur Ethereum mainnet ; soumettez ensuite le hachage de transaction à vérification. Aucun délai d’inscription des crédits au solde n’est garanti. Consultez documentation, tarifs et guide pour concevoir vos propres contrôles, sans utiliser le statut public comme source d’informations du compte.