Crawler documenti siti dei comuni

Sarebbe utile allestire un crawler da far girare periodicamente (una volta all'anno / ogni sei mesi) per ripassare i siti web dei comuni italiani e raccogliere statistiche sul numero di documenti PDF, DOC, XLS, ODT pubblicati da ciascun comune. Serve come metrica globale per monitorare nel tempo l'adozione delle Linee Guida sui documenti informatici di AgID.

Probabilmente si può usare qualcosa tipo questo.