De drie aapjes van "horen, zien en zwijgen" zijn een algemeen gekend begrip. Dat zijn oorsprong vind in de gedragscode van de filosoof Confusius. "Kijk niet naar wat in strijd is met fatsoen, luister niet naar wat in strijd is met fatsoen, spreek niet wat in strijd is met fatsoen, maken geen beweging die in strijd is met fatsoen." Waarbij hij aapjes gebruikte om de levenscyclus van de mens uit te beelden.
Die in de achtste eeuw worden deze van China naar Japan overgebracht door Tendai Boeddhisten. Die de spreuk wellicht, over de eeuwen heen, verkort en vereenvoudigd hebben. Tot de weergave die je op de 17e eeuwse Nikkō Tōshō-gū schrijn kan terugvinden.

Het concept zelf zou afkomstig kunnen zijn van een woordspeling. Waarbij "mizaru, kikazaru, iwazaru"  of "niet zien, niet horen, niet spreken" ook met andere tekens geschreven kon worden. Zoals "shizaru" dat voor "niet doen" staat, maar waarbij "zaru" of "saru" ook aap kan betekenen.

Maar eveneens te maken zou kunnen hebben met de rol die de aap in de Shinto religie, waar het Tendai Boedhisme mee verwant is, krijgt toebedeeld. Het dier zou namelijk de boodschapper van zulke schrijnen zijn en wordt elke 12 jaar, in het jaar van de aap, gevierd.