Castle Rock, das sich in der maritimen Zone außerhalb der Port Phillip Heads befindet, liegt in etwa 18 Metern Wassertiefe. Es sitzt auf einem sandigen Boden und erhebt sich bis auf etwa 12 Meter. Der Felsen, mit einem Umfang von etwa 200 Metern, weist zahlreiche Überhänge, Wände und Durchgänge auf, die es ermöglichen, ihn während eines Tauchgangs mehrmals zu umrunden.