SQLite pode ser usado para persistência de workflows? O poder do banco de dados embutido

"SQLite é o motor de banco de dados mais difundido do mundo"... Esta curiosidade pode ser difícil de acreditar à primeira vista.

Mas, na verdade, ele está silenciosamente, mas firmemente, rodando dentro dos seus smartphones, navegadores web e vários aplicativos.

Por causa da sua simplicidade, costuma-se pensar que ele não é adequado para processamento persistente como workflows de verdade, mas recentemente temos ouvido afirmações de que "SQLite é tudo o que você precisa para workflows persistentes".

Então, desta vez, gostaria de explorar um pouco como o SQLite alcança a persistência e por que ele consegue combinar leveza e robustez.

Fundamentos das transações que sustentam a persistência

O SQLite gerencia o banco de dados como um único arquivo.

Dentro desse arquivo, ele garante as propriedades básicas das transações conhecidas como ACID (Atomicidade, Consistência, Isolamento, Durabilidade).

Por exemplo, mesmo se a energia for cortada durante uma gravação, mecanismos como o rollback journal ou o WAL (Write-Ahead Log) permitem que os dados sejam recuperados mantendo a consistência.

É exatamente esse processamento de transações local que gera robustez sem a necessidade de comunicação de rede extra.

Comparado a bancos de dados baseados em servidor, a confiabilidade dentro de uma única máquina não deixa nada a desejar.

Facilidade de operação proporcionada pela leveza

O SQLite é uma biblioteca incorporada diretamente no aplicativo e não requer um processo de servidor separado.

Por isso, a configuração do sistema fica simplificada e a carga administrativa diminui drasticamente.

Quando se trata apenas de salvar o estado de um workflow, na maioria dos casos, colocar um arquivo SQLite no diretório de trabalho é suficiente, em vez de configurar um banco de dados pesado via rede.

Além disso, o uso de memória e a carga da CPU são baixos, sendo adequado para executar vários workflows independentemente em pequenos contêineres ou VMs.

A prática da persistência de workflows

Ao falar em "workflow persistente", tendemos a imaginar sistemas distribuídos de larga escala, mas a essência está em "armazenar com segurança o progresso do processamento e poder retomar a partir do ponto mesmo após falhas".

Com o SQLite, cada workflow pode registrar suas etapas e, ao fazer commit, o estado até aquele ponto é salvo com segurança.

Em caso de falha, após reiniciar, basta reabrir o arquivo do SQLite para retomar o trabalho interrompido.

Com isso, não é necessário preparar um caro servidor de gerenciamento de estado separado, permitindo construir sistemas ágeis.

Maior tranquilidade com backups

Para a preocupação "e se o arquivo for corrompido?", ferramentas como o Litestream oferecem uma resposta.

O Litestream transmite de forma assíncrona o WAL do SQLite para um armazenamento compatível com S3, realizando backups quase em tempo real.

Não é uma replicação síncrona completa, mas para muitos workflows experimentais ou tentativa e erro de agentes de IA, oferece confiabilidade suficiente.

A recuperação também é muito simples, exigindo apenas obter o arquivo de banco de dados do armazenamento de objetos.

Reconhecer a ferramenta certa para cada situação

Naturalmente, o SQLite não é uma solução universal.

Em cenários que exigem alta disponibilidade e escalabilidade compartilhada em larga escala, bancos de dados em rede como o PostgreSQL são mais adequados.

No entanto, com a mentalidade de começar pequeno e expandir conforme necessário, o SQLite é uma escolha extremamente válida.

Em particular, ele funciona muito bem com casos de uso como workflows gerados por IA, onde há muita tentativa e erro e onde cada tenant possui um estado independente.

Bem, desta vez, compartilhei como a leveza e robustez do SQLite se mostram atraentes também do ponto de vista de workflows persistentes.

Não há uma "resposta certa" na escolha de um banco de dados; o equilíbrio com o tamanho e a natureza do projeto é sempre importante.

Mas se a descoberta de que "mesmo sendo tão pequeno, ele pode fazer muito" acrescentar mais uma opção ao seu leque de soluções de design, ficarei feliz.

Então, é isso por hoje.