Convierte una página histórica de Reddit en un lote JSONL local

Integra páginas JSON del archivo histórico en tu ETL y escribe los registros en JSONL con tu código. Sin flujo en directo ni cursor de reanudación.

Obtener clave API

Ejemplo de solicitud

cURL

curl --fail-with-body -H "Authorization: Bearer YOUR_API_KEY" "https://api.redditdatastream.com/v1/posts?subreddit=apacheairflow&limit=3&page=3"

Recupera, conserva y transforma como etapas distintas

Reddit Data Stream permite a responsables de ETL leer un archivo histórico independiente de Reddit. No es oficial ni afiliado a Reddit y no proporciona datos en tiempo real. Cada solicitud devuelve una respuesta JSON acotada. El nombre no implica una conexión SSE o WebSocket, un flujo de cambios o entrega continua. Tu planificador decide cuándo realizar solicitudes; el servicio no ejecuta tus tareas ni mantiene el progreso de tu proceso.

Distingue la página recibida del archivo que construye tu aplicación. Primero conserva la respuesta original; después tu código puede escribir cada registro de data como un objeto JSON en una línea de un archivo JSONL local. Mantén pagination y credits en un registro separado de ese lote. No se trata de una exportación JSONL generada por el servidor ni de un conector nativo de Airflow.

Los registros pueden faltar, variar o no estar disponibles. No se garantiza cobertura completa, permanencia, esquema fijo o repetición idéntica. La entrega sigue el orden interno _doc, no cronología, relevancia o puntuación. Guardar page=3 en tu registro local describe el trabajo realizado, no una posición estable para retomar el archivo. Un nuevo intento remoto puede encontrar otra composición de registros.

Examina la tercera página del ejemplo apacheairflow

Utiliza GET https://api.redditdatastream.com/v1/posts?subreddit=apacheairflow&limit=3&page=3. posts restringe la consulta a publicaciones, subreddit=apacheairflow limita la comunidad, limit=3 pide hasta tres registros y page=3 selecciona la tercera página. No es un marcador temporal ni un cursor. Envía X-API-Key: <clave> o Authorization: Bearer <clave> desde tu servidor; ambas formas están admitidas. La clave del archivo no debe quedar en el JSONL ni en registros públicos.

Fragmento sintético solo demostrativo: {"data":[],"pagination":{"page":3,"limit":3,"total":null,"relation":"unknown"},"credits":{"cost":1,"balance":99}}. No procede de una llamada real y el saldo es ficticio. En una página vacía posterior a la primera, el total puede ser desconocido; no debe sustituirse por cero. El éxito cuesta un crédito aunque no produzca líneas de datos. Los registros de apacheairflow pueden faltar o no estar disponibles.

Valida el estado HTTP y data antes de generar el archivo local. Con data vacío no inventes una fila: registra el éxito vacío en los metadatos del lote. Si la escritura falla después de guardar la respuesta, puedes repetir esa transformación local sin otra consulta. Si vuelves a pedir la página al archivo y la recuperación tiene éxito, se cobra de nuevo. Consulta la documentación y la guía para separar estados del origen y del destino.

Acceso, créditos y pagos

El registro usa correo y contraseña de 12–72 bytes UTF-8. La clave aparece una vez inmediatamente al registrarte, antes del pago. Los 100 créditos de prueba dependen de los controles contra abusos de toda la red. Cuenta, clave y saldo pertenecen a redditdatastream.com. El panel de la página de la clave permite consultar saldo, crear facturas y regenerar la clave confirmando la contraseña; la anterior queda invalidada inmediatamente.

Cada recuperación exitosa cuesta un crédito, incluso vacía o repetida: $1 por 1000 solicitudes. La recarga mínima de $50 añade 50000 créditos comprados. No hay suscripciones y los créditos pagados no caducan. Las solicitudes inválidas no descuentan saldo; los fallos del origen devuelven la reserva. Perder la respuesta puede ocultar un éxito cobrado y otra recuperación exitosa cuesta otro crédito.

Para comprar inicia sesión y crea una factura antes de transferir. Usa su destinatario e importe exactos con USDT en TRON TRC20 o USDC ERC20 en Ethereum mainnet; después presenta el hash de la transacción para verificarla. No existe un tiempo de acreditación garantizado. Consulta documentación, precios y guía para diseñar los controles de tu propia aplicación, sin usar el estado público como fuente de información de cuenta.