오래전 무들 마을에는 하루라도 떨어지면 애가 탈 정도로 금실이 좋은 부부가 살았다고 한다.
어느 날 남편이 갑작스럽게 일어난 사건 때문에 급히 바다로 나가게 되었는데, 부인은 그날 이후로 매일 이 바위에 올라 남편의 무사 기원을 기도했다고 한다.
하지만 시간이 흘러도 남편의 소식은 들려오지 않았고, 몇 년 동안이나 간절하게 기도하며 남편을 기다리던 부인은 안타깝게도 바위 위에서 생을 마감했다.
그 이후 부인이 매일 올랐던 바위는 간절하게 기도하는 부인의 형상으로 변하였고, 이 바위를 본 마을 사람들은 이 바위에 할미 바위라는 이름을 붙여줬다고 한다.