이 섬은 일부의 화강암을 제외하고는 대부분이 신라통의 지질로 구성되어 있다.

최고봉은 섬의 남단에 가라산(加羅山, 580m)·천장산(天長山, 276m), 동쪽에는 옥녀봉(玉女峰, 555m), 북쪽에는 대봉산(大峰山, 258m)·대금산(大錦山, 438m) 등이 있다. 해안선은 굴곡이 심하여 지세포·장승포·옥포·율포·죽림포 등의 수많은 작은 만과 양지암각·수제봉·색암말 등의 돌출부가 많다. 북쪽과 동쪽 해안은 대체로 험준한 해식애로 되어 있고, 남쪽과 서쪽 해안은 비교적 낮은 저지를 이룬다.