Σύμφωνα με τον Τάκη Νατσούλη, η φράση αυτή χρονολογείται από το 1826. Ο Ιμπραήμ ήθελε να κατακτήσει την απόρθητη Μάνη. Έτσι, χώρισε τον στρατό του και τράβηξε τους Μανιάτες προς τον Αλμυρό, ενώ το υπόλοιπο στράτευμα ανέβηκε στα έρημα χωριά. Όμως οι ντόπιοι που είχαν παραμείνει κατάφεραν να απωθήσουν τους Τούρκους στρατιώτες.

Στη συνέχεια, ο Ιμπραήμ έστειλε κατασκόπους ντυμένους καστανάδες, οι οποίοι όμως άρχισαν να χαρίζουν τα κάστανά τους αντί να τα πουλάνε και να ρωτάνε τα γυναικόπαιδα για το πού είναι κρυμμένοι οι άνδρες, με αποτέλεσμα να προκαλέσουν υποψίες. Οι ντόπιοι τους αιχμαλώτισαν και τους υποχρέωσαν να αποκαλύψουν την ταυτότητά τους. Όταν οι Τούρκοι κατάσκοποι ρώτησαν για την τύχη τους, πήραν την απάντηση: “εμείς δεν χαρίζουμε κάστανα”, δηλαδή ότι σκοπεύουν να τους τιμωρήσουν.

Η φράση αποδίδεται και στη συνήθεια των καστανάδων να προσφέρουν ένα δύο κάστανα στους πελάτες για να τα δοκιμάσουν προτού αγοράσουν, συνήθεια που δείχνει πιο μαλακό άνθρωπο.