💻 Visão Geral

O LicitAl é um projeto da disciplina de Métodos de Desenvolvimento de Software, que visa automatizar a coleta de informações de licitações de todos os municípios de Alagoas a partir dos Diários Oficiais, além de disponibilizar as informações de forma facilitada para qualquer cidadão. Esse projeto é inspirado no projeto Exoonero, porém com foco em valores gastos com licitações.

💡 Ideia e Incentivo

O LicitAl é uma ferramenta essencial para quem estuda, trabalha ou está envolvido com a Universidade de Brasília. Com informações atualizadas e confiáveis sobre dados públicos e facilita o acesso a importantes informações.

🚀 Como executar o projeto

🛠 Tecnologias e Pré-Requisitos

✔️ Instalando e executando

Coletando e extraindo conjuntos de diários

O docker precisa estar corretamente configurado e o daemon em execução (necessário para rodar o apache tika).

O primeiro passo consistem em:

Coletar os diários da AMA usando o querido diário
Extrair o texto dos diários usando apache tika
Segmentar o diário da AMA() em diversos diários municipais usando o script extrair_diarios.py.

Por exemplo, para coletar e processar os diários entre 01/06/2022 e 31/12/2022, basta executar o seguinte comando.

EM LINUX ou MAC

START_DATE=2022-01-06 END_DATE=2022-12-31 ./coletador.sh

EM WINDOWS

START_DATE=2022-01-06 END_DATE=2022-12-31 ./coletador_windows.sh

Vale notar que um mesmo dia pode ter mais de um diário, pois existem edições extras. Isso é tratado com a adição de um número depois da data

Essa execução irá gerar um conjunto de arquivos no diretório /data/diarios. Listamos 2 tipos de arquivos:

-extraido.txt: versão texto do diário da AMA;
-resumo-extracao.json: resultado da segmentação do diário da AMA em diferentes diários municipais.

Após a coleta, transformação em texto e segmentação do diário em diários, o próximo passo é dividir cada diário municipal em atos (ou ações executivas). Além disso, o script também processa o texto dos atos, por exemplo, realizando a identificação de valores gastos com licitações.

O script extrair_atos.sh processa todos os arquivos -resumo-extracao.json. Ele extrairá os atos de todos os diários municipais segmentados.

./extrair_atos.sh

A execução desse script gerará um arquivo -atos.json para cada resumo de extração.

Gerando base de dados para análise

Após realizar a extração dos atos dos diários municipais, basta executar:

python3 criar_dataset_atos.py

Esse script irá processar todos os arquivos api.json e gerar os arquivos nome-da-cidade.json e um geral.jsoncontendo um resumo de todos os dados necessários para análise.

Os arquivos de análise podem ser encontrados no diretório /site.