AnythingLLM é uma ferramenta de código aberto que transforma qualquer modelo de linguagem grande (LLM) localmente hospedado em um assistente de IA completo, capaz de conversar com seus documentos. Diferente de interfaces básicas, o AnythingLLM oferece suporte nativo a RAG (Retrieval-Augmented Generation), permitindo que você faça upload de PDFs, textos e planilhas para que a IA responda com base no seu conhecimento privado. Neste tutorial, vamos configurar o AnythingLLM em uma VPS Linux, integrando-o ao Ollama para inferência de modelos e ao Qdrant como vetor database para armazenar os embeddings.
1. Pré-requisitos e Arquitetura do Sistema
Antes de iniciar a instalação, é fundamental entender os componentes que compõem o ecossistema AnythingLLM. A plataforma funciona como uma camada de orquestração que conecta seu modelo LLM ao banco de dados vetorial e à interface web.
- Ollama: Responsável por carregar e rodar os modelos LLM (como Llama 3, Mistral ou Gemma). Ele gerencia a inferência e pode utilizar GPU (CUDA) ou apenas CPU.
- Qdrant: Um banco de dados vetorial escrito em Rust. Ele armazena os embeddings (representações numéricas dos textos) gerados pelos seus documentos, permitindo busca semântica rápida.
- AnythingLLM: A interface principal que orquestra tudo, lidando com o processamento de documentos, geração de embeddings e roteamento de prompts para o Ollama.
Recomenda-se uma VPS com pelo menos 4GB de RAM se você planeja usar modelos pequenos (7B parâmetros) sem GPU. Se quiser utilizar aceleração por GPU (NVIDIA), certifique-se de que os drivers e o nvidia-container-toolkit estejam instalados no host.
2. Instalando as Dependências do Sistema
O AnythingLLM recomenda fortemente o uso de Docker para facilitar a gestão dos containers (API, Worker e Interface). Vamos começar atualizando o sistema e instalando as ferramentas necessárias.
# Atualize os pacotes do sistema
sudo apt update && sudo apt upgrade -y
# Instale Docker, Docker Compose e utilitários básicos
sudo apt install -y docker.io docker-compose-v2 git curl jq unzipApós a instalação, inicie o serviço do Docker e garanta que ele suba automaticamente com o sistema:
sudo systemctl enable --now docker
sudo usermod -aG docker $USERDica de Segurança: Para evitar ter que usar sudo a cada comando do Docker, faça logout e login novamente ou execute newgrp docker.
3. Configurando o Ollama na VPS
O AnythingLLM precisa se comunicar com o Ollama. A maneira mais robusta de fazer isso é instalar o Ollama como um serviço Docker separado, permitindo que ele tenha recursos dedicados e isolamento.
Crie um diretório para sua configuração do Ollama:
mkdir -p ~/ollama-docker && cd ~/ollama-dockerCrie um arquivo docker-compose.yml com o seguinte conteúdo. Este configuração expõe a API do Ollama na porta 11434, que é o padrão utilizado pelo AnythingLLM.
version: '3.6'
services:
ollama:
image: ollama/ollama
container_name: ollama
ports:
- "11434:11434"
volumes:
- ollama-data:/root/.ollama
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]
restart: always
volumes:
ollama-data:Nota sobre GPU vs CPU: Se sua VPS não possui GPU NVIDIA, remova a seção deploy inteira. O Ollama funcionará perfeitamente em CPU, embora a geração de texto seja mais lenta. Para modelos maiores, a CPU pode ser um gargalo significativo.
Inicie o serviço do Ollama:
docker compose up -dVerifique se o container está rodando corretamente:
docker ps | grep ollama4. Instalando e Configurando o AnythingLLM
Agora que o Ollama está online, vamos provisionar o AnythingLLM. A equipe do AnythingLLM oferece um script de instalação automatizado que configura o Qdrant, o banco de dados SQLite para metadados e a aplicação web.
cd ~
mkdir anything-llm && cd anything-llmBaixe o script de configuração oficial:
curl -fsSL https://raw.githubusercontent.com/Mintplex-Labs/anything-llm/master/scripts/setup.sh -o setup.sh
chmod +x setup.shExecute o script. Ele fará perguntas interativas. Para este tutorial, usaremos as configurações padrão, mas preste atenção às portas.
./setup.shO script configurará os seguintes serviços:
- Qdrant Vector DB: Armazenamento vetorial na porta 6333.
- AnythingLLM API & Worker: Backend da aplicação na porta 3001.
- AnythingLLM UI: Interface web exposta na porta 3000 (ou outra de sua escolha).
Ao final do script, ele fornecerá um token de administração inicial. Copie esse token imediatamente, pois ele será necessário para o login na primeira vez.
5. Acessando a Interface Web e Configuração Inicial
Abra seu navegador e acesse o endereço IP da sua VPS seguido da porta configurada (geralmente http://SEU_IP:3000). Você verá a tela de login do AnythingLLM.
- Clique em "Admin Login".
- Insira o token gerado pelo script de instalação.
- Você será redirecionado para uma tela de configuração inicial onde deve definir um novo nome de usuário e senha fortes.
Após criar suas credenciais, você entrará no painel principal (Dashboard). A primeira tarefa crítica é conectar o AnythingLLM ao seu Ollama.
6. Conectando o Modelo LLM
No menu lateral esquerdo, clique em Settings (Configurações) e depois na aba Instance.
Role até a seção "LLM Provider". Você verá opções para diferentes provedores. Selecione Ollama.
- URL: Deixe como
http://localhost:11434(se estiver tudo no mesmo container) ouhttp://SEU_IP_VPS:11434se o Ollama estiver em um container separado na mesma rede Docker. Como instalamos ambos via compose separados, use o IP da VPS. - Model Name: Clique no botão "Fetch Models". O sistema buscará automaticamente os modelos que você já baixou no Ollama. Se a lista estiver vazia, clique em "Download New Model" e escolha um modelo leve para teste, como
mistraloullama3:8b-instruct-q4_K_M.
Importante: Para que o AnythingLLM consiga baixar modelos novos via interface, você precisa garantir que a variável de ambiente OLLAMA_HOST esteja configurada corretamente no container do Ollama para aceitar conexões externas. Adicione -e "OLLAMA_HOST=0.0.0.0" ao seu compose do Ollama se necessário.
7. Criando sua Primeira Workspace (Espaço de Trabalho)
O conceito central do AnythingLLM é a Workspace. Cada workspace representa um projeto ou conjunto de documentos específico com seu próprio modelo e configurações de RAG.
- No menu lateral, clique em Workspaces.
- Clique no botão + New Workspace.
- Dê um nome ao workspace (ex: "Manuais Técnicos" ou "Meus Documentos").
- Escolha o modelo LLM que você configurou anteriormente.
- Defina a temperatura (geralmente 0.2 para factualidade, 0.7 para criatividade).
- Clique em Create Workspace.
Você será direcionado para dentro da nova workspace. Aqui, o fluxo de trabalho se divide em duas partes: Chat e Document Management.
8. Configurando o RAG com Upload de Documentos
O poder do AnythingLLM brilha quando você adiciona documentos. Vamos testar o pipeline de ingestão.
- Navegue até a aba Document Management dentro da sua workspace.
- Clique em Add Document.
- Faça upload de um arquivo PDF, TXT ou Markdown.
Ao fazer o upload, o AnythingLLM realizará os seguintes passos automaticamente:
- Chunking: O documento é dividido em pedaços menores (chunks).
- Embedding: Um modelo de embedding (como
nomic-embed-text) converte cada chunk em um vetor numérico. - Storage: Os vetores são salvos no Qdrant.
Após o processo de ingestão terminar (pode levar alguns minutos dependendo do tamanho do arquivo), vá para a aba Chat. Tente fazer uma pergunta específica baseada no conteúdo do documento que você acabou de subir. Se o RAG estiver configurado corretamente, a IA responderá citando fontes do seu documento.
9. Otimização e Boas Práticas para Produção
Para manter o AnythingLLM estável e performático em produção, considere as seguintes práticas:
Gerenciamento de Recursos
O processo de geração de embeddings pode ser pesado em CPU. Se seu servidor estiver lento, considere rodar o Embedding Provider em um serviço separado ou usar modelos de embedding mais leves (quantizados). No AnythingLLM, você pode trocar o modelo de embedding nas configurações da workspace.
Backup de Dados
O AnythingLLM armazena metadados e configurações em um banco SQLite local. É crucial fazer backups regulares do diretório data criado pelo script de instalação. O Qdrant também deve ser monitorado, embora ele seja bastante eficiente em uso de disco.
# Exemplo de backup simples
tar -czvf anythingllm-backup-$(date +%F).tar.gz ~/anything-llm/dataSegurança e Firewall
Nunca exponha a porta do Qdrant (6333) ou do Ollama (11434) diretamente à internet sem autenticação. Use um Reverse Proxy como Nginx ou Caddy na frente do AnythingLLM (porta 3000). Configure HTTPS com Let's Encrypt para criptografar as comunicações entre o navegador e sua VPS.
Exemplo de configuração básica de Nginx:
server {
listen 80;
server_name llm.seudominio.com;
location / {
proxy_pass http://localhost:3000;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
}
}10. Conclusão e Próximos Passos
Você agora possui uma instância funcional de AnythingLLM rodando em sua infraestrutura, integrada ao Ollama e Qdrant. Esta arquitetura permite que você mantenha seus dados sensíveis localmente, sem enviar informações para a nuvem de grandes provedores de IA.
Para evoluir seu setup, considere explorar o recurso de Fine-tuning (se disponível na versão Pro ou via scripts avançados) ou integrar múltiplos modelos LLM para diferentes tipos de tarefas dentro da mesma workspace. A capacidade de fazer upload de bases de conhecimento complexas transforma qualquer LLM local em um assistente empresarial robusto.
Lembre-se de monitorar o uso de memória RAM e GPU, ajustando os limites de containers no Docker se necessário. Com a configuração correta, o AnythingLLM é uma das soluções mais completas para IA privada e self-hosted disponíveis atualmente.