Amped Blog. The forensic image processing blog.

Migliorare con FIVE i filmati provenienti da un server di videosorveglianza Milestone

mar 21, 2012

Amped FIVE è il software più avanzato per il miglioramento di filmati di videosorveglianza e Milestone è il leader a livello mondiale del software per gestione del video su IP. FIVE è completamente integrato con Milestone XProtect server; con FIVE puoi elaborare in tempo reale un flusso live proveniente da un server XProtect server oppure applicare un qualsiasi filtro di miglioramento ad uno specifico spezzone archiviato. L’integrazione con Milestone è inclusa sia in Amped FIVE Express che Amped FIVE Professional.

Come funziona l’integrazione?

FIVE può essere connesso direttamente ad un server XProtect, in parallelo allo Smart Client di Milestone. Per leggere le immagini live o da archivio all’interno di FIVE devi seguire il procedimento seguente:

Inizia un nuovo progetto
Aggiungi un filtro da Carica File / Client Milestone
Inserisci le stesse impostazioni che daresti allo Smart Client (Server, Porta, Nome Utente, Password, Autenticazione)
Clicca Connetti
Una volta connesso puoi scegliere la Telecamera da visualizzare dal menu a tendina
Clicca Applica (freccetta in alto a destra) per visualizzare il filmato
Se la casella Video in Diretta è attiva, vedrai lo stream in tempo reale dalla telecamera
Se la casella Video in Diretta è deselezionata, devi inserire l’intervallo di tempo che vuoi visualizzare e quindi cliccare Applica per visualizzare la sequenza impostata

Quali sono i vantaggi dell’integrazione con Milestone?

Importare ed esportare sono sempre fasi dell’analisi che portano via tempo. La conversione di formati proprietari può condurre ad errori che possono invalidare un caso o addirittura non essere consentite da alcuni software di videosorveglianza. Alcuni player proprietari convertono il formato o effettuano operazioni di post processing sui fotogrammi che possono ridurne la qualità causando la perdita di preziose informazioni o introducendo nuovi problemi.

Milestone e Amped hanno stretto una partnership per risolvere questi problemi ed offrire agli utenti di XProtect una soluzione affidabile ed elegante. Con l’integrazione di FIVE inMilestone puoi risparmiare del tempo e gestire al meglio il flusso di lavoro senza perdite di qualità o di informazioni. Grazie a questa panrtnership Milestone è l’unico software di video management su IP che offre funzionalità avanzate di miglioramento e FIVE è l’unico software per l’analisi forense di filmati che si integra con un server di videosorvaglianza.

Anche la velocità di lavoro è un vantaggio notevole. L’innovazione di Amped FIVE è che ogni strumento e impostazione è un filtro. Sia che tu stia caricando un file, selezionando un fotogramma o modificando il contrasto, in FIVE stai solamente applicando un filtro e non risalvando un’immagine o ricodificando un filmato. Con questo sistema, puoi combinare un numero illimitato di filtri per ottenere rapidamente la miglior soluzione ed il risultato più efficace. Aggiungere, cancellare or riconfigurare un filtro viene fatto senza modificare il file originale. In questa maniera è molto semplice testare diverse combinazioni o modificare le impostazioni di un filtro su uno stream live al seguito di cambiamento di situazioni ambientali o su una nuova area di interesse.

Cosa posso fare?

In pratica puoi applicare i filtri di Amped FIVE su uno stream live o un filmato archiviato su server Milestone. Per gli stream live, l’elaborazione dei filtri viene applicata in tempo reale. Non è necessaria alcuna conversione, la qualità e l’integrità dei dati viene mantenuta.

Guarda alcuni esempi.

Miglioramento della videosorveglianza urbana

feb 18, 2012

Molto spesso i sistemi di videosorveglianza di comuni o infrastrutture critiche non garantiscono la qualità che ci si era aspettati in fase di progettazione.
I problemi più comuni sono dovuti a:

eccessiva compressione del filmato per trasmissione o memorizzazione
condizioni meteo o di luminosità avverse
velocità e posizione dei soggetti ripresi, rispetto alla telecamera

Negli ultimi anni abbiamo visto un miglioramento nella qualità complessiva dei filmati, ma al tempo stesso la necessità di avere sempre maggiori informazioni sulla scena del crimine. Anche telecamere Megapixel o HD possono non essere sufficienti, ad esempio se la scena è molto buia o il soggetto ripreso è lontano.

La buona notizia è che FIVE, il nostro software per il miglioramento di filmati a scopo investigativo, funziona tanto meglio quanto maggiore è la qualità del dato originale.

Grazie a questa necessità di ottenere sempre maggiori informazioni dalla videosorveglianza (e alla spinta della nostra partnership con Milestone) FIVE ha cominciato ad avere una certa diffusione presso i comuni, sia nei piccoli che in quelli più grandi. In questa maniera è possibile utilizzare le telecamere e i filmati già esistenti per ottenere maggiori informazioni.

Polizia Locale, Polizia di Stato e Comandi dei Carabinieri possono così usufruire di uno strumento aggiuntivo che può dare maggior utilità alle telecamere di sorveglianza urbana già in uso.

Di sotto puoi vedere un esempio applicativo del miglioramento di un filmato acquisito in condizioni di scarsa luminosità: nel filmato originale (sopra) non si vede nulla, mentre in quello elaborato (sotto) la targa è perfettamente leggibile.

: Immagine originale scura

: Immagine elaborata con FIVE

Analisi Forense di Immagini e Filmati: un lavoro complesso

nov 9, 2011

Amped è un azienda piuttosto giovane, ma fino ad ora abbiamo avuto l’opportunità di lavorare su quasi 400 casi. Il nostro lavoro è focalizzato principalmente sullo sviluppo di FIVE, ma occasionalmente abbiamo operato come periti o consulenti di parte su alcuni casi piuttosto noti. Altre volte i nostri clienti ci chiedono aiuto nel valutare (più o meno informalmente) il loro materiale, in maniera tale da fornire qualche consiglio sulle migliori tecniche di elaborazione. Lavorare su questi casi ci ha permesso di notare che vi sono diversi passi che vengono raramente considerati nei casi pratici di analisi forense di immagini e filmati.

Proprio oggi, parlando con un partner riguardo ad un potenziale progetto, ho realizzato quanto complesso sia il flusso di lavoro completo che deve essere affrontato nel nostro lavoro.

Se pensiamo a tutti i singoli passi collegati ad un’analisi accurata, la quantità di lavoro può essere sorprendente. Al fine di non tralasciare nessuna possibilità, generalmente faccio una lista di tutti i passaggi precisi da affrontare. Se c’è bisogno di presentare il lavoro durante un processo, questa lista dovrebbe essere la base di qualsiasi analisi.
Dobbiamo sempre ricordare che il nostro lavoro non è limitato alla visualizzazione e al miglioramento di un file multimediale. Dobbiamo identificare i dati, decodificarli opportunamente, documentare i procedimenti, confrontarli con altro materiale, ed eventualmente presentare i risultati in aula.
Visto che i dati digitali non sono altro che una sequenza di bit, dobbiamo delineare un processo ben preciso secondo cui lavorare con questi bit e renderli utili allo svolgersi di attività investigative e nell’ambito di un procedimento giudiziario.

Passo 1: recuperare i dati: prendi i bit!

Questo passaggio è il più importante e può essere molto complesso e critico per l’integrità della prova. Sfortunatamente, questa fase spesso non è affrontata da noi e non viene documentata adeguatamente. Spesso l’estrazione avviene semplicemente esportando dal sistema di sorveglianza su una penna USB, lasciando l’originale sul server, che verrà probabilmente sovrascritto dalle nuove riprese entro un paio di giorni.

Un’altra tipica situazione è quella in cui i dati vengono recuperati dai nostri colleghi specializzati in digital forensics. Se il recupero dei dati è stato meticoloso e i passaggi sono stati documentati opportunamente, siamo già a buon punto.

Sebbene molto spesso riceviamo semplicemente dei filmati masterizzati su DVD oppure delle immagini via email, dobbiamo conoscere e pretendere la documentazione relativa ai passaggi precedenti, che possono essere, ad esempio:

analizzare l’immagine di un disco per recuperare sia i file presenti sul file system che quelli cancellati
esportare un filmato da DVR
copiare un file da un hard disk
acquisire un filmato analogico (ad esempio da videocassetta)

Anche una semplice operazione come la copia dovrebbe essere compiuta in maniera scientificamente valida, ad esempio verificando l’hash code dei file.

Non sempre abbiamo il controllo su questi passaggi, ma cercare di informare chi se ne occupa potrebbe senza dubbio migliorare la situazione.

Passo 2: decodificare i dati: cosa sono questi bit?

Ora che abbiamo i bit, dobbiamo ottenere da loro qualcosa da analizzare. Se abbiamo semplicemente alcuni file video in formato standard, non è un grosso problema, ammesso che abbiamo i codec opportuni. Purtroppo però vi sono centinaia di diversi formati proprietari che non possono essere aperti con software standard, e che vanno a complicare anche questa parte del nostro lavoro. Per determinare che approccio adottare, dobbiamo definire bene in che situazione siamo. Alcune casi comuni sono i seguenti:

abbiamo l’immagine di un disco da cui necessitiamo di recuperare immagini e filmati, e che eventualmente possono anche essere stati cancellati (questo è molto comune nei casi di pedopornografia)
abbiamo la copia fisica della memoria di un DVR ma non sappiamo come sono codificati i dati (videosorveglianza)
abbiamo l’esportazione di un filmato di video sorveglianza, ma il filmato è in formato proprietario (situazione molto comune). Troppo spesso il player fornito dal produttore è pieno di bug, scomodo da utilizzare o incompatibile con versioni moderne di Windows: non è quindi possibile esportare correttamente i filmati.

In questa fase, dobbiamo capire di cosa abbiamo bisogno per completare il lavoro. Dobbiamo concentrarci prima sul recupero dati? Abbiamo bisogno di trovare il codec corretto? Abbiamo la possibilità di esportare correttamente il filmato?

Qualche volta questo passo è molto semplice (ad esempio se dobbiamo analizzare immagini o filmati fatti con una macchina fotografica digitale standard), altre volte è molto complesso e richiede parecchio tempo e la conoscenza delle giuste tecnologie.

Passo 3. Trovare i dati utili: dove sono i bit giusti?

A questo punto siamo capaci di visualizzare le immagini o i filmati, ma abbiamo bisogno di trovare quelli che ci interessano. Due esempi di quello che dobbiamo affrontare in questa fase sono:

trovare delle immagini in un database di migliaia di fotografie
identificare un evento di interesse in ore e ore di filmato

Essenziale in questa fase è la comunicazione con la squadra che si occupa del caso. Troppo spesso non ci viene detto chiaramente cosa stiamo cercando e in che orario. Per alcune situazioni anche la tecnologia può semplificare il lavoro, ad esempio con l’analisi automatica del filmato o con algoritmi di riconoscimento facciale.

Passo 4. Trovare la sorgente dei dati: da dove arrivano questi bit?

A seconda del caso su cui stiamo lavorando potremmo aver bisogno di capire come sono stati generati i file.
Questa parte viene generalmente chiamata image ballistics. Comprendere il tipo di file e il dispositivo con cui è stato creato può farci capire molti dettagli in un caso. Alcuni tipi di analisi possibili sono:

identificare il tipo di dispositivo che ha generato l’immagine (macchina fotografica digitale, scanner, renderizzata al computer…)
identificare il modello di macchina fotografica utilizzata
identificare lo specifico esemplare utilizzato

Passo 5. Verificare l’integrità dei dati: qualcuno ha manipolato i bit?

A questo punto potremmo essere interessati a capire se possiamo davvero fidarci dei dati che abbiamo trovato. C’è qualche possibilità che qualcuno li abbia alterati o manomessi? Questo può essere fatto a vari livelli:

verificare che il file stesso non sia stato manipolato, ad esempio alterando i metadata
verificare che l’immagine non sia stata manipolata, ad esempio convertendo il formato, ridimensionandola o ritagliandola
verificare che il contenuto non sia stato alterato, ad esempio rimuovendo o aggiungendo un soggetto

La manipolazione di immagini è molto frequente. Essa può essere fatta inavvertitamente (ad esempio ruotando un’immagine in Windows) o consapevolmente, modificando il contenuto dell’immagine con Photoshop o software analoghi. Nell’era del digitale questo è un problema che va affrontato: quando dobbiamo effettuare un’analisi richiediamo sempre il dato nella sua versione più originale possibile.

Passo 6. Valutare la qualità dei dati: abbiamo abbastanza bit?

A questo punto vediamo qualcosa nell’immagine, ma dobbiamo capire se la qualità è sufficiente per i nostri fini. Ad esempio, se vediamo un’automobile, riusciamo a leggerne la targa? Se abbiamo una faccia, abbiamo abbastanza pixel per un riconoscimento affidabile?
Gli aspetti da affrontare sono i seguenti:

verificare che l’immagine possiede effettivamente le informazioni di cui abbiamo bisogno (ad esempio se la targa ha un numero di pixel sufficienti)
valutare i difetti specifici dell’immagine
verificare se l’informazione può essere recuperata o migliorata con tecniche di image processing

Una buona competenza tecnica, ma soprattutto l’esperienza, è molto importante per valutare rapidamente se abbiamo o meno una qualità sufficiente. Non sempre è facile stimare la qualità minima per ottenere risultati utili. Una tecnica molto semplice per valutare la fattibilità sulle targhe è zoomare e contare i pixel. Se il numero di pixel non è sufficiente a disegnare una lettera, come possiamo aspettarci di recuperarla? Ad esempio, se la mia targa è alta 3 pixel, pensiamo a disegnare una qualsiasi lettera o numero con soli 3 punti… non è possibile distinguere un carattere dall’altro.

Passo 7. Migliorare i dati: tiriamo fuori i bit buoni!

Una volta identificati i problemi che affliggono l’immagine o il filmato, con i giusti strumenti (ovviamente Amped FIVE) possiamo migliorare e recuperare i dati. Questo passo in realtà è piuttosto lungo e comprende tipicamente la maggior parte del lavoro che andiamo a fare. Esso è diviso tipicamente in due categorie:

tecniche di image enhancement: amplificare o diminuire alcune caratteristiche di interesse nell’immagine (miglioramento del contrasto, equalizzazione dell’istogramma, sharpening …)
tecniche di image restoration: comprendere il modello matematico di un tipo di disturbo noto e tentare di invertire il modello per recuperare l’immagine senza questo disturbo (correzione della sfocatura, filtraggio nel dominio della frequenze, frame integration …)

Per noi specialisti dell’elaborazione video questa è la parte più nota ed entusiasmante. Essa implica un procedere per tentativi, coniugato alla conoscenza del background scientifico dei disturbi e delle varie tecniche di elaborazione. Non possiamo garantire i risultati che si vedono nei film o nelle varie serie tipo CSI, ma possiamo ottenere spesso risultati strabilianti.

Un aspetto fondamentale di questa fase è la documentazione del processo di elaborazione. Amped FIVE Professional e Amped FIVE On Demand generano automaticamente un report di elaborazione molto dettagliato, in maniera tale che la documentazione da portare in aula sia sempre pronta. I software ad utilizzo generico non forniscono di solito garanzie sufficienti per questo aspetto.

Passo 8. Analizzare e confrontare i dati: cosa rappresentano i bit?

Qui dobbiamo toccare con mano i risultati. Il passo precedente sarebbe inutile se non ci fosse alcun miglioramento al contenuto dell’immagine in maniera tale da comprenderlo e classificarlo. Tipiche azioni di questa fase sono:

confrontare una faccia in due diverse immagini
confrontare una faccia con un soggetto noto
leggere la targa di un veicolo
identificare il luogo dove è stata scattata una fotografia
misurare l’altezza di un soggetto
identificare un’impronta digitale in un database

Se non riusciamo a recuperare i risultati di cui abbiamo bisogno bisogno, reiteriamo il procedimento di analisi e miglioramento finché non otteniamo qualcosa. L’alternativa è rendersi conto che i dati forniti non sono sufficienti a rivelare alcun dettaglio. Purtroppo in questo campo molto spesso non è possibile fare nulla, nemmeno con i migliori strumenti. Se l’informazione c’è siamo in grado di recuperarla con metodi scientifici. Se l’informazione non è presente non è possibile (e non bisogna!) ricrearla.

Passo 9. Validazione: i miei bit sono corretti?

La validazione non è focalizzata solamente sulla qualità del risultato, ma ancor più sulla qualità del procedimento utilizzato per ottenere il risultato. Dobbiamo sempre essere sicuri che le tecniche utilizzate siano valide dal punto di vista scientifico e seguire un procedimento accettato in ambito giudiziario. Mentre in altri paesi tali linee guida e normative sono messe per iscritto e definite da appositi gruppi di lavoro, purtroppo la situazione in Italia non è chiaramente definita, per cui il massimo che si può fare è seguire i criteri scientifici di ripetibilità della prova.

Questo aspetto è particolarmente importante per quanto riguarda la verifica dell’integrità dell’immagine e la documentazione del processo di miglioramento.

Alcune considerazioni importanti sono:

le tecniche utilizzate devono essere per quanto possibile validate dalla comunità scientifica con peer review
i risultati devono avere valore scientifico, oggettivo e ripetibile
bisogna documentare esaustivamente ogni passo dell’elaborazione e analisi, descrivendo accuratamente tutti i passaggi per ottenere il risultato finale a partire dai file di partenza

Un’elaborazione può essere vista come l’alterazione di una prova, e lo è a tutti gli effetti, quindi dobbiamo essere capaci di motivarla opportunamente dal punto di vista scientifico. La chiave è un’opportuna documentazione.

Passo 10. Presentare: ti mostro i bit giusti!

Ottenere dei risultati non è sufficiente. Bisogna essere in grado di illustrarli chiaramente alla Corte e alle parti: è necessario far comprendere a tutti e fare accettare le tecniche impiegate. Scienziati, ingegneri, avvocati e gente comune parlano diverse lingue. E’ importante prepararsi a spiegare in maniera chiara e trasparente qualsiasi aspetto del proprio lavoro.

Un bravo avvocato o PM cercherà sempre di metterci nel sacco con domande relative alla possibilità, probabilità, sicurezza di un’alterazione nel processo. Questo è il loro lavoro, cercare di rivoltare la nostra analisi per tirare fuori qualsiasi inesattezza, incoerenza o omissione.
La soluzione è evitare questo tipo di attacchi documentando esaustivamente il lavoro svolto e facendo affidamento all’aspetto scientifico del nostro lavoro. Una lista minimale delle cose da presentare e descrivere è:

gli originali
da dove vengono
come li abbiamo avuti
i passi seguiti per ottenere il risultato
come i risultati si pongono rispetto al quesito
come sono stati validati i procedimenti

Non è un compito semplice, molto spesso tematiche molto complesse finiscono con l’essere semplificate eccessivamente, non facendo percepire la quantità di lavoro svolto per giungere a delle semplici conclusioni.

Conclusioni

Non ci occuperemo di tutte queste fasi in ogni caso. Spesso, lavorando assieme ad altri ci occupiamo personalmente solo di una parte di esse. A volte alcune di queste fasi sono date per assunte e vengono affrontate implicitamente. Analizzando un filmato di sorveglianza prelevato sul posto, normalmente non vi sarà bisogno di verificare la fonte del filmato. Nel momento in cui vi fosse qualche ragionevole dubbio per farlo, anche questo passo andrebbe affrontato. Tuttavia è importante rendersi conto che il lavoro completo, affrontato da noi o da altri, definendo esplicitamente o seguendo una scaletta mentale, comprende tutti queste dieci fasi.
Un pensiero critico e sistematico è alla base di tutto ciò che facciamo.