군의 북동쪽에는 태백산맥이 남북으로, 남동쪽에는 소백산맥이 분기하여 동서로, 북서쪽에는 차령산맥이 남서 방향으로 각각 뻗어 있어 그 산맥의 여파가 군내 각지에 미쳐 산악이 중첩한 산간 지역을 이룬다.