Filtrar dados grandes

Um arquivo com dezenas de milhares de linhas não se lê no olho. A resposta sai de três operações, quase sempre nesta ordem:

1. Tirar repetidos. Sistemas reais gravam a mesma coisa duas vezes. Se cada registro tem um identificador (id), conte cada um uma vez só.
2. Filtrar. Fique só com as linhas que a pergunta pede: um período, um tipo, uma situação.
3. Agrupar e somar. Some (ou conte) por categoria e ordene do maior para o menor.

As mesmas três operações em ferramentas diferentes:

Ferramenta	Repetidos	Filtro	Soma por grupo
Planilha	Remover duplicatas	Filtro automático	Tabela dinâmica
Terminal	sort -u	awk '$7=="aceito"'	awk '{s[$4]+=$6}'
Python	um set dos ids vistos	um if	um dict ou Counter

Em Python, com o módulo csv:

import csv, collections
vistos, total = set(), collections.Counter()
for linha in csv.DictReader(open("dados.csv")):
    if linha["id"] in vistos or linha["situacao"] != "aceito":
        continue
    vistos.add(linha["id"])
    total[linha["nome"]] += int(linha["valor"])
print(total.most_common(3))

O cuidado mais importante: quando o primeiro e o segundo colocados estão perto, cada regra esquecida pode mudar o vencedor. Teste ligando e desligando cada filtro e veja se o resultado muda; se muda, aquela regra é decisiva e precisa estar certa.

Isso importa porque é o dia a dia de quem analisa logs, vazamentos e planilhas de incidentes: dados reais vêm sujos, e a conclusão só vale depois da limpeza.