帽子族視帽如命，無論在任何場合，他們從不把帽子摘下。當然，也不能說得過於絕對，因為，帽子族人總得因應不同的場合而換上不同的帽子，例如去游泳時換上泳帽，洗澡時換上浴帽，睡覺時則換上睡帽。只是，他們是絕不會讓人看見他們揭掉帽子換上另一頂的那個時刻。
因為從沒有人看見過帽子族人不戴帽子時的樣子，所以總引起各種猜想。有的以為，帽子族人其實都是脫髮者，他們是為了害怕別人看見他們光禿禿的頭頂而長年戴著帽子。但帽子族中不乏年輕人，而且男女人數相若，脫髮之說似不可信。也有人以為，他們是一種宗教性的精神同盟，以戴帽子來貫徹一種修行，也資教友們互相辨認。更有人認為，對帽子族來說，帽子已經成為了他們身體的一部分，即類似於頭蓋骨，所以可能帽子族是天生沒有頭蓋骨的人，如果摘下他們的帽子，可能會看到他們粉紅色的腦袋呢！
由此推論，帽子族最脆弱的時刻是他們替換帽子的一瞬。為了捕捉這個時刻，有人花了很大的精力，甚至不惜去追求一個帽子族的女孩，但求在親密的間隙裡一睹除掉帽子的景觀。據說那個情況是這樣的，男子來到帽子族女孩的家中，大家情不自禁地親熱著，滾到床上，並且把衣服一件一件的脫掉，直至只剩下帽子族女孩頭上的一頂白色闊沿遮陽帽。男子就用溫柔的語聲說：這個，恐怕會妨礙你躺下來吧。帽子族女孩也含情脈脈地點點頭，伸手扯去遮陽帽，往床下拋出去。帽子裡面，是一頂桃紅色的針織睡帽。女孩把睡帽往下拉了一下，蓋住了兩邊的耳朵。