När Anna är liten insjuknar hennes far i schizofreni, och några år senare döms han till tvångsvård efter att ha begått ett allvarligt våldsbrott. Han försvinner ur hennes vardag, men Anna bär hela tiden på rädslan för att han ska söka upp henne, att han ska bli farlig. Hon lever också med oron för att själv bli sjuk.
På fyrtio år har Anna och hennes far ingen kontakt, men så kommer ett brev som river upp allt. I brevet nämner han Annas tioåriga dotter. Han borde inte veta att hon finns. Brevet gör Anna skräckslagen för att han ska utsätta hennes dotter för sådant han utsatte henne själv för när hon var liten. Anna blir tvungen att bryta omgivningens tystnad om uppväxten och göra upp med sina minnen, för att ta reda på vem hennes far verkligen är och vad han har gjort.
Allt jag vet om min far är en självbiografisk roman om att växa upp med en psykiskt sjuk far. Det är en berättelse om arv, klass och hur man vet om man kan lita på sina minnen.