경희대학교 음대 작곡과를 졸업하였으며 예그린악단 합창단원 및 쟈니브라더스라는 보컬팀의 멤버로 활동하였다. 당시 쟈니브라더스 명의로 발표한 곡 '빨간마후라' 로 상당한 인기를 얻었으나 이후에는 정통 재즈 공연을 위주로 활동한다. 이후 80년대부터는 주로 작곡가로 활동하였으며 패티 김, 장미화 등의 곡을 써주기도 하였다.
70세를 넘긴 나이에도 지속적으로 재즈 공연을 이어가고 있으며 김준 재즈 클럽을 운영하면서 동시에 강사로도 활동하며 재즈 보컬과 작곡가들을 가르치고 있다. 일명 재즈 전도사로 불리며 스타 재즈가수인 웅산과도 친한 사이로서 서로의 공연에 게스트로 자주 서곤 한다.
성우더빙도 참여했는데, 그중 대표작은 인어공주의 세바스찬과 미녀와 야수의 루미에. 직업이 직업인만큼 노래 실력도 뛰어나 Under the Sea(저 바다 밑)과 Be Our Guest(손님이 되어주세요) 같은 유명곡의 한국어 더빙도 직접 불렀다. 가수 출신이지만 더빙연기도 수준급이라 은근히 성우 김준과 헷갈려하는 이들도 적지 않았다.