Οι γυναίκες ήταν η αδυναμία του και εκείνος φρόντιζε να μην τις εκθέτει. Ωστόσο, υπήρξε μια γυναίκα, με την οποία ήταν πολύ ερωτευμένος, αλλά δεν υπήρξε ποτέ ζευγάρι.

Ο λόγος για την Άννα Καλουτά, η οποία ήταν σε σχέση με τον Λάμπρο Κωνσταντάρα και όταν απέρριψε τον Διονύση Παπαγιαννόπουλο, εκείνος κλείστηκε στον εαυτό του.

Όταν τον ρωτούσαν γιατί δεν παντρεύτηκε ποτέ του, ενώ είχε πολλές σχέσεις, εκείνος απαντούσε με το γνωστό του χιούμορ: «Εγώ ροχαλίζω πολύ, ποια γυναίκα να με ανεχτεί;».

Ο «γυναικοτακτητής» Διονύσης Παπαγιαννόπουλος όμως μετά από κάποια ηλικία είχε αδυναμία στις αρκετά μικρότερες γυναίκες και μάλιστα όταν έβγαινε έξω μαζί τους πήγαινε σε μέρη που δεν ήταν πολυσύχναστα. Μάλιστα, αν τύχαινε να δει κάποιον γνωστό τις σύστηνε ως «ανιψιές» του. Ωστόσο, αν κάποια από αυτές ήταν ηθοποιός, φρόντιζε να ζητάει από τον στενό του συνεργάτη και φίλο Γιάννη Δαλιανίδη να τους δώσει έναν μικρό ρόλο.