Casa in affitto: Situazione complicata

Buonasera,
Ho preso una casa in affitto tramite un agenzia immobiliare, conosco il proprietario e sapevo che aveva avuto problemi con gli inquilini precedenti.
Questa famiglia era morosa, non pagava l’affitto e le bollette, alla fine ha abbandonato la dimora senza bisogno dello sfratto.
Convinta che fosse tutto in regola, ho firmato le carte del contratto, rassicurata sia dal proprietario che dall’agenzia.
Non ho occupato immediatamente la casa perché c’erano dei lavori, voluti dal proprietario stesso, da portare avanti.
Sono in seguito venuta a sapere dai Carabinieri, venuti a bussare alla mia porta alla ricerca di una di queste persone che dovrebbe essere arrestata, che i vecchi inquilini, tra cui ci sono due bambini, continuano ad avere la residenza in quella che dovrà essere la mia futura casa.
Il proprietario mi ha rassicurato affermando che questo non è possibile, ma informandomi ho scoperto che purtroppo è vero.
Se non ci sono documenti che attestano la fine del vecchio contratto e se queste persone non dovessero avere un’altra residenza a quali problemi potrei andare incontro?
Come posso tutelarmi dato che alcuni dei lavori li ho pagati anticipatamente io?