Transforme uma página histórica do Reddit em um lote JSONL local

Integre páginas JSON do arquivo histórico ao seu ETL e grave registros em JSONL com seu código. Sem fluxo ao vivo ou cursor de retomada.

Obter chave API

Exemplo de requisição

cURL

curl --fail-with-body -H "Authorization: Bearer YOUR_API_KEY" "https://api.redditdatastream.com/v1/posts?subreddit=apacheairflow&limit=3&page=3"

Recupere, guarde e transforme em etapas distintas

A Reddit Data Stream permite que responsáveis por ETL leiam um arquivo histórico independente do Reddit. Não é oficial nem afiliada ao Reddit e não fornece dados em tempo real. Cada solicitação retorna uma resposta JSON limitada. O nome não indica conexão SSE ou WebSocket, fluxo de alterações ou entrega contínua. Seu agendador decide quando chamar a API; o serviço não executa suas tarefas nem mantém o progresso do seu processo.

Diferencie a página recebida do arquivo criado pelo aplicativo. Primeiro guarde a resposta original; depois seu código pode gravar cada registro de data como um objeto JSON em uma linha de um arquivo JSONL local. Mantenha pagination e credits em um registro separado desse lote. Não se trata de exportação JSONL gerada pelo servidor nem de um conector nativo do Airflow. A conversão e o destino pertencem à sua implementação.

Registros podem faltar, variar ou estar indisponíveis. Não há garantia de cobertura completa, permanência, esquema fixo ou respostas idênticas. A entrega usa a ordem interna _doc, não cronologia, relevância ou pontuação. Salvar page=3 no registro local descreve o trabalho realizado, não uma posição estável para retomar o arquivo. Uma nova tentativa remota pode encontrar outra composição de registros, mesmo com os mesmos filtros.

Examine a terceira página do exemplo apacheairflow

Use GET https://api.redditdatastream.com/v1/posts?subreddit=apacheairflow&limit=3&page=3. posts restringe a consulta a posts, subreddit=apacheairflow limita a comunidade, limit=3 pede até três registros e page=3 escolhe a terceira página. Não é marcador temporal nem cursor. Envie X-API-Key: <chave> ou Authorization: Bearer <chave> pelo servidor; ambos são aceitos. A chave do arquivo não deve entrar no JSONL nem em registros públicos.

Trecho sintético, apenas demonstrativo: {"data":[],"pagination":{"page":3,"limit":3,"total":null,"relation":"unknown"},"credits":{"cost":1,"balance":99}}. Não resulta de uma chamada real e o saldo é fictício. Em uma página vazia posterior à primeira, o total pode ser desconhecido; não o substitua por zero. O sucesso custa um crédito mesmo sem gerar linhas de dados. Registros de apacheairflow podem faltar ou estar indisponíveis.

Valide o status HTTP e data antes de gerar o arquivo local. Com data vazio, não invente uma linha: registre o sucesso vazio nos metadados do lote. Se a gravação falhar depois de guardar a resposta, você pode repetir essa transformação local sem nova consulta. Se pedir a página ao arquivo novamente e a recuperação tiver sucesso, haverá outra cobrança. A documentação e o guia separam estados da origem e do destino.

Acesso, créditos e pagamentos

O cadastro usa e-mail e senha de 12–72 bytes UTF-8. A chave aparece uma vez imediatamente após o cadastro, antes do pagamento. Os 100 créditos de teste dependem dos controles contra abusos de toda a rede. Conta, chave e saldo pertencem a redditdatastream.com. O painel da página da chave permite consultar saldo, criar faturas e regenerar a chave confirmando a senha; a anterior é invalidada imediatamente.

Cada recuperação bem-sucedida custa um crédito, mesmo vazia ou repetida: $1 por 1000 solicitações. A recarga mínima de $50 adiciona 50000 créditos comprados. Não há assinaturas e os créditos pagos não expiram. Pedidos inválidos não descontam saldo; falhas do serviço de origem devolvem a reserva. Perder a resposta pode ocultar um sucesso cobrado, e outra recuperação bem-sucedida custa outro crédito.

Para comprar, entre e crie uma fatura antes de transferir. Use seu destinatário e valor exatos com USDT em TRON TRC20 ou USDC ERC20 na rede principal Ethereum; depois apresente o hash da transação para verificação. Não existe prazo garantido de crédito. Consulte documentação, preços e guia para projetar os controles da sua própria aplicação, sem usar o status público como fonte de informações da conta.