Ingestão e Pré-processamento dos Dados Financeiros |
Feature 1.1: Obtenção de dados financeiros do IPEA |
Como desenvolvedor, quero importar arquivos através da API, para poder alimentar o pipeline com dados financeiros do IPEA. |
Permite que o pipeline seja alimentado com dados financeiros em tempo real através da API. |
Como analista, quero que os dados sejam obtidos automaticamente (de fontes como API ou scraping), para garantir atualizações frequentes. |
Automatiza a coleta de dados financeiros, garantindo que a base de dados esteja sempre atualizada. |
Feature 1.2: Limpeza e preparação dos dados |
Como cientista de dados, quero normalizar datas, moedas e categorias, para garantir consistência na análise. |
Normaliza dados para garantir a consistência nas análises financeiras. |
Como desenvolvedor, quero aplicar um pipeline de pré-processamento textual, para alimentar os modelos de LLM com dados limpos. |
Aplique pré-processamento nos dados textuais para alimentar o modelo de LLM com dados limpos e de qualidade. |
Análise Semântica e Geração de Insights com LLM |
Feature 2.1: Extração de tópicos relevantes |
Como cientista de dados, quero aplicar o LLM Mistral-7B nos textos financeiros, para identificar automaticamente os principais tópicos abordados. |
Aplica técnicas de LLM para identificar automaticamente os tópicos relevantes nos dados financeiros. |
Como analista público, quero visualizar os tópicos e exemplos de textos relacionados, para entender melhor as áreas críticas. |
Fornece uma visualização dos tópicos financeiros, facilitando a análise de áreas críticas. |
Feature 2.2: Geração de resumos automatizados |
Como desenvolvedor, quero utilizar modelos generativos open-source, para gerar resumos a partir dos dados analisados. |
Usa modelos de LLM avançados para criar resumos de fácil compreensão a partir dos dados financeiros. |
Feature 2.3: Emissão de alertas com base em anomalias |
Como gestor, quero receber um alerta automático quando houver aumento anormal em um gasto específico, para tomar decisões corretivas. |
Notifica os gestores sobre variações significativas em gastos, ajudando na tomada de decisões corretivas. |
Como desenvolvedor, quero configurar regras e condições para geração de alertas, para evitar falsos positivos. |
Permite a personalização das regras de alerta, evitando notificações desnecessárias. |
Visualização dos Dados e Relatórios |
Feature 3.1: Painel interativo com dados e textos |
Como gestor público, quero visualizar os dados e relatórios em uma interface clara, para facilitar a análise e tomada de decisão. |
Proporciona uma interface clara e intuitiva para a visualização de dados financeiros. |
Como usuário, quero interagir com filtros e gráficos no dashboard, para explorar diferentes períodos e categorias. |
Permite a interação com gráficos e filtros para uma análise detalhada dos dados financeiros. |
Feature 3.2: Exportação e compartilhamento dos relatórios |
Como analista, quero exportar os relatórios gerados em formato PDF ou CSV, para enviar por e-mail ou arquivar. |
Facilita a exportação dos relatórios para formatos populares, permitindo fácil compartilhamento e arquivamento. |
Backend e Integração de Componentes |
Feature 4.1: Servir dados via API |
Como desenvolvedor, quero criar endpoints, para que a interface Streamlit acesse os dados e textos gerados dinamicamente. |
Cria endpoints dinâmicos para que o Streamlit acesse dados financeiros em tempo real. |
Como analista, quero poder enviar novos arquivos via API, para manter a base sempre atualizada. |
Permite o envio contínuo de dados via API, mantendo o sistema atualizado com novos arquivos financeiros. |
Feature 4.2: Orquestração de pipelines |
Como administrador do sistema, quero agendar a execução diária do pipeline, para garantir que os dados e relatórios estejam sempre atualizados. |
Agendamentos diários para garantir que o pipeline esteja sempre executando e os relatórios atualizados. |
Como analista, quero ser notificado em caso de erro no processamento, para poder corrigir rapidamente. |
Envia notificações para analistas em caso de falhas no processamento, permitindo correções rápidas. |
Qualidade, Validação e Documentação |
Feature 5.1: Testes e validação dos modelos e sistema |
Como desenvolvedor, quero escrever testes unitários e de integração, para garantir que o sistema funcione corretamente. |
Garantir que o sistema funcione corretamente através de testes automatizados. |
Como cientista de dados, quero validar a veracidade e qualidade dos relatórios gerados. |
Valida a precisão e qualidade dos relatórios financeiros gerados pelo sistema. |
Feature 5.2: Documentação e código aberto |
Como colaborador, quero ter uma documentação clara do pipeline e de como rodar o sistema, para facilitar o onboarding. |
Cria uma documentação detalhada para novos colaboradores e facilita o onboarding. |
Como gestor, quero disponibilizar o projeto como código aberto com licença livre, para que outras instituições públicas possam replicá-lo. |
Permite que o código seja disponibilizado como open-source, facilitando a replicação por outras instituições. |