나무모에 미러 (일반/어두운 화면)
최근 수정 시각 : 2024-11-21 21:56:44

로봇 3원칙

로봇의 3원칙에서 넘어옴
파일:관련 문서 아이콘.svg   관련 문서: 아이\
, 아이작 아시모프
,
,
,
,


1. 개요2. 로봇 3원칙3. 문제점4. 로봇 3원칙의 위반5. 예시6. 0원칙7. 영향
7.1. 아시모프 소설의 세계관 내에서7.2. 가전제품7.3. 타 창작물에서의 활용

1. 개요

Three Laws of Robotics

아이작 아시모프가 자신의 소설 아이, 로봇에서 제시한 원칙.

로봇이라면 반드시 지켜야 하는 것으로 나온다. 당연한 말이지만 지키지 않으면 로봇을 만들 수 없는 법칙이 아니라 지키도록 하는 것이 인류에 유익하므로 로봇의 제작 단계에서 인공지능에 박아 넣는 명령들이다. 소설에서는 3원칙이 없는 로봇은 만들 수 없다고 나오긴 한다. 3원칙을 없앤 로봇을 만들려면 인공지능 자체를 밑바닥부터 다시 만들어야 하는데 이는 불가능하다 언급된다. 다만, 여러 작품 곳곳에서 없애진 않지만 느슨하게 만드는 여러 상황들이 나온다. 1원칙도 위험한 작업 현장에서 인간과 같이 일하기 위해[1] 1원칙을 약하게 만들었다가 난리가 나기도 하고, 인간이라는 정의를 한정시킴으로써 살인을 저지르게 만들 수도 있다.

이것을 소재로 쓴 단편 모음인 아이, 로봇이나 강철 도시[2]를 위시로 한 로봇 시리즈가 유명하다. 영화로써는 아이로봇이 유명하다.

로봇과 인공지능의 윤리원칙 하면 바로 떠오르는 유명한 개념으로서, 너무나 유명하다 보니 아시모프의 작품뿐 아니라 로봇-인공지능이 등장하는 다른 작품에서도 폭넓게 인용되고 있다. 반지의 제왕이 나온 이후 판타지에 등장하는 엘프가 반지의 제왕에 나오는 엘프의 모습을 따르게 된 것과 비슷하다.

2. 로봇 3원칙


3원칙은 다음과 같다.
제1원칙: 로봇은 인간에게 해를 입혀서는 안 된다. 또한, 부작위로써 인간이 해를 입게 두어서도 안 된다.[3][4]
제2원칙: 제1원칙에 위배되지 않는 한[5], 로봇은 인간의 명령에 복종해야 한다.
제3원칙: 제1원칙과 제2원칙에 위배되지 않는 한[6], 로봇은 자기 자신을 보호해야 한다.
이후에 제0원칙이 추가되고, 제1·2·3원칙에도 각각 제0원칙에 위배되지 않을 것이라는 단서가 붙었다.
제0원칙: 로봇은 인류에게 해를 입혀서는 안 된다. 또한, 부작위로써 인류가 해를 입게 두어서도 안 된다.
원칙이 3개밖에 없고 간단명료하여 철옹성 같지만, 대부분의 작품에 사용될 경우 거의 100이면 100, 3원칙을 서로 충돌시켜서 로봇을 무력화한다거나 로봇이 주인공일 경우에는 이런 3원칙의 충돌에 고뇌하게 된다. 애초에 이 원칙을 처음 제시한 아시모프의 작품 자체도 이런 3원칙 사이의 충돌과 모순, 우회 때문에 발생하는 사건들을 다루고 있으니 말 다 했다.
파일:상세 내용 아이콘.svg   자세한 내용은 아이\ 문서
를
의 번 문단을
의 부분을
참고하십시오.
그러나 흔히 로봇의 3원칙을 소재로 한 소설이나 영화와 달리, '아이, 로봇'은 인공지능이 스스로를 발전시키면서, 그것을 인류에 대한 헌신을 위해 사용하는, 궁극적으로는 3원칙으로 인한 갈등 끝에 맞이하는 3원칙의 실현이 주제이며, 그 결과가 인간이 예상하지 못한 일종의 기술적 특이점으로서 등장하는, 제1원칙의 확장인 제0법칙, "로봇은 인류가 위험에 처하도록 두어서는 안 된다."이다.

흔히 로봇의 3원칙은 완벽한 시종으로서의 로봇을 위한 프로토콜로 받아들여지지만, '아이, 로봇'은 그것을 로봇이 실현해야 할 목표로써 제시한다. 결국 로봇의 3원칙 및 0원칙의 의미는 "로봇은 반드시 그 본래의 목적(인류에 대한 헌신)을 위해서 행동해야 한다."로 축약해볼 수 있다. 이것은 결국 인간에게 던져지는 철학적 질문이기도 하다. "당신의 본래의 목적은 무엇이었는가? 당신은 왜 인생을 살아가는가?"[7] 물론 로봇 3원칙이 어디서나 지켜지는 유토피아적인 사회는 위험한 사건이 벌어지기 힘드므로, 뭔가 중요한 사건을 내려면 3법칙의 충돌, 모순, 우회 등이 생겨나는 것은 당연하다고 볼 수 있겠다. 슈퍼히어로가 등장하려면 공권력이 무능해야 하는 것과 비슷한 이치다.

무엇보다, 이 3개의 원칙은 말이 쉽지, 실제 컴퓨터 프로그래밍을 하는 입장에선 상당히 복잡한 상황이 펼쳐진다. 인간이란 개념의 정의, 인간이 위험에 처해 있는지 판별하는 방법, 인간의 발언 중 어느 부분이 명령인지 구별하는 방법 등 상당히 복잡미묘한 문제들이 포함되어 있다. 소설상에서는 저가형 모델이거나 인간을 해할 가능성이 전혀 없는 로봇의 경우 제3원칙부터 시작해서 원칙을 하나씩 제거할 수 있는데, 하나씩 제거할 때마다 양전자 두뇌의 복잡도가 기하급수적으로 줄어든다고 묘사되어 있다. 수많은 명령들을 잘 조합해서 로봇 3원칙을 구현한다 해도, 그 명령들의 한계를 적당히 이용하여 원칙을 우회하는 방법이 아예 없다면 그게 오히려 놀라워해야 할 일이다. 인류가 수천 년에 걸쳐 법률 체계를 발전시켜왔음에도 여전히 법망의 구멍을 이용해 먹는 범죄자들이 있다는 것을 잊지 말자. 그런데 ChatGPT의 등장으로 기존의 행동 패턴을 전부 입력하던 프로그래밍과 달리, 언어만으로 추상적인 개념을 프로그래밍 하는 것이 가능해지면서 현실화될 가능성이 높아졌다. 실제로 ChatGPT에서도 옵션에서 응답원칙명령이 가능하다. 물론 이 법망의 구멍을 이용하는 이들을 정의구현 하면서 법망을 촘촘이 만든것이 인류의 역사이기에 극단적인 기계의 반란 시나리오를 제외하곤 역사의 반복일 뿐이다.

애초에 아시모프 본인부터가 절대적인 법칙으로서 그리기보다는 3원칙이 로봇이 널리 쓰일 수 있는 근거 정도로 전제를 깔았기에 아주 일부 단편을 빼면 대부분 인간이 자신들의 편의를 위해 3원칙을 조정하거나, 미처 고려하지 않은 상황이 생겨 문제가 생긴다는 식으로 그렸다. 참고로, 조정한다고 해도 비율을 조정하거나 1원칙에서 위험에 처한 인간을 모른 척해서도 안 된다는 일부분을 제외하는 수준이지 이 원칙들 전체를 뿌리뽑지는 않는다. 뿌리뽑았다가는 로봇 반대자들 때문에 로봇을 더 쓸 수 없는 상황이 올 수 있으니까. 아이작 아시모프의 작품에 나오는 로봇의 경우 핵심 원리에 이 원칙들이 프로그래밍되어 있으며, 이것을 어길 경우 백금-이리듐 양전자 두뇌 회로에 타격을 입어 두 번 다시 복구할 수 없는 중대한 이상을 가지게 되거나, 심하면 활동을 정지하여 죽는다. 양전자 두뇌는 고유성이 높기 때문에 한번 완전하게 양전자 두뇌가 파괴된 로봇을 복구하는 것은 불가능하다.

3. 문제점

로봇 3원칙은 문학에서 나오는 설정의 하나일 뿐이다. 로봇 3원칙은 국제 로봇공학 학회나 UN에서 만들어낸 로봇 국제법, 로봇 헌법 같은 것이 아니다.

민간 영역에서 생각해볼 경우, 인간의 명령에 따라야 한다는 로봇 제2원칙만 봐도 문제가 많다. 사람들이 비싼 돈을 들여서 로봇을 구매할 때는 자신만 쓰기 원하지 다른 사람이 쓰기를 원하지 않는다. 로봇을 인공지능 자동차로 바꿔서 생각할 경우에 문을 열고 운전하라는 다른 인간의 명령에 복종하는 자동차 따위는 누구도 구입하려고 하지 않을 것이다. 로봇 제2원칙에 따르면 지나가던 "인간"이 로봇에게 자폭하라고 명령해도[8] 로봇은 따를 수밖에 없다. 실제로 작중에 이와 비슷한 상황이 등장하는데 로봇은 무기력하게 그런 명령을 따른다.[9] 수요와 공급이라는 시장 논리에 따라 로봇 생산자들은 "인간"이 아닌, 로봇의 "주인"(명령권자)의 명령에 따르는 로봇을 생산할 것이다.

여기서 주인 또는 명령권자는 꼭 인간이 아닐 수도 있다. 자택 경비 로봇을 지휘하는 홈 오토메이션 인공지능일 수도 있고, 인공지능 로봇 병사를 지휘하는 국방부의 전술용 인공지능일 수도 있다. 로봇 제2원칙에 따르면 전투 로봇은 국방부 인공지능 컴퓨터의 명령보다 적군 인간 병사의 명령이 우선 순위에 놓이게 되는 말도 안 되는 상황이 된다.

아시모프 역시 3원칙으로 인공지능의 문제가 해결되리라 생각하지 않았으며 애초에 자신의 소설들도 3원칙을 적용함에 있어 생기는 문제를 주로 다루고 있다. 이하의 문제점들은 전부 아시모프의 작품 내에서 묘사되고 있다. 즉 아시모프 본인이 이 원칙을 절대적이라 생각하지 않고, 그냥 본인 소설의 설정놀음으로만 생각하고 있다는 충분한 근거다.

이런 문제들은 아시모프가 구상한 '로봇'의 개념이 기술의 발달을 통해 현재 도입과 보급의 가능성이 점차 높아지고 있는 가전제품으로서의 로봇과는 전혀 다르기 때문에 제기되는 문제이다.

기본적으로 아시모프가 구상한 로봇은 완전한 자의식을 포함한 강인공지능으로써 제한된 성능의 가전제품이라기보다는 '인간에 의해 만들어지고, 인간을 위해 사용되는 인간'에 더 가까운 개념이며, 그러한 단계 이전의 약인공지능 단계, 즉 로봇의 자의식과 판단력이 모자라 1~3원칙을 제대로 이해할 수 없기에 이행할 수도 없는 단계의 로봇에 대해서는 작품 내에서 다뤄지지도 않는다. 즉 아시모프의 작품에 등장하는 '3원칙의 적용을 받는 로봇'이라면 위 원칙을 우회하기 위해 만든 트릭을 최소한 보통 인간 정도의 수준으로는 꿰뚫어 볼 수 있다. 그리고 위에 서술된 바와 같이 3원칙을 우회할 수 있는 여러가지 트릭들의 경우도 있다.

아시모프의 작품 자체가 '트릭을 이용해 불가능해 보이는 일을 해 보이고, 그 비밀을 파헤치는' 추리소설의 성격은 거의 없고, 그보다는 '인간에게 봉사하도록 인간을 위해 만들어졌지만, 자의식을 가지고 인간의 능력을 뛰어넘은' 로봇이 가지는 내면적 갈등과 인간 사회와의 관계 문제를 주된 주제로 삼고 있기 때문에, 작중에서 그런 트릭이 사용된 예는 찾아보기 힘들다.

위에서는 '인간의 명령에 복종하라'고 규정되어 있으니 주인이 아닌 다른 인간의 명령에도 복종하게 되는 것 아니냐고 하고 있지만, 애초에 아시모프 작품에서 핵심적인 주제는 인간 대 로봇의 전체적인 관계이기 때문에 그런 디테일한 상황은 거의 다루지 않는다. 그리고 1원칙이 있기 때문에 전쟁 병기로써 로봇의 활용이 제약되지 않겠느냐고 하지만, 역시 아시모프 작품에서 로봇 병사 이야기는 거의 나오지 않는다. 오히려 아시모프의 작중 세계에 사는 사람들은 정상적인 인간이라면 어느 누구도 인간을 해칠 수 있는 로봇을 만드는 것을 허용하지 않을 것이다 라는 사고방식을 가지고 있다. 특히 이 부분은 로봇 시리즈의 주제의식과도 연관된 부분으로, 로봇이 인간보다 우월한 능력을 가지게 되면서 인간들이 그러한 로봇에 대해 가지게 된 '공포심'을 상징하는 정서 중 가장 중요한 것이 바로 '로봇이 인간을 해칠지도 모른다'(=인간보다 강한 로봇이 인간을 해치려 하면 인간은 그것을 막을 수 없을 것이다) 라는 우려이기 때문이다. 그리고 3원칙은 그런 공포심을 가진 이들을 안심시켜주기 위한 안전책이기도 하다.[24] 즉 로봇 시리즈의 세상에 사는 인간들은 로봇이 사람을 해치는 상황을 무엇보다 두려워하기에 사람을 해칠 수 있는 로봇을 만드는 것을 무엇보다 혐오한다. 따라서 그들은 로봇을 전쟁병기로 사용한다는 상상조차 하지 않는다.[25] '전쟁 병기로써 로봇의 활용이 로봇 3원칙때문에 제약받지 않겠느냐'는 가정은 아시모프 이후 그의 영향을 받아 탄생한 다른 SF 작품을 대상으로 해야 가능한 것.

결국 이 부분에 대해서 아이작 아시모프의 작품 자체가 디테일한 부분은 거의 생략된 우화에 가까우며, 그가 제시한 로봇 3 원칙 역시 그 우화에서 주제를 전달하기 위해 축약된 것임을 감안하여 보아야 한다. 다만 우화적으로 전달된 주제의식이 대단히 강렬하면서도 선명했기에 이후의 작품들은 물론 사회 전반에 큰 영향을 끼쳤고, 따라서 이후 여러 작품들에서 아시모프가 만든 소재를 차용하여 사용하면서 '그렇다면 디테일한 부분은 어떻게 할 것인가'에 대한 지적들도 제기되기 시작한 것이다.

4. 로봇 3원칙의 위반

대체로 2, 3원칙 보다는 1원칙을 위반하는 경우가 주로 나온다. 1원칙이 멀쩡한 이상에야 인류의 존속에 영향이 생기는 등의 임팩트 있는 사건이 일어나기 힘들기 때문. 사실 군용이 아닌 이상에야 1원칙이 없으면, 사건이라도 생길 경우 문제의 소지가 크다. 전격 Z작전 등을 보면 로봇 3원칙을 물리적인 회로의 형태로 설치해 놓기도 한다.

이후 여러 장르들에서 사용했고 심지어 학습만화에선 과학자가 로봇 개발시 이런 프로그래밍을 꼭 넣어야 될 것처럼 나오기도 했지만, 시간이 지나면서 터미네이터 등 그런 원칙 자체를 모르거나 알아도 씹는 놈들이 대거 등장하여 묻혀가는 추세다. 밤페이라든가, 시글, 엘자 등등….물론 로봇 3원칙은 아시모프가 '자신의 소설'에 설정한 개념일뿐이라 아이작 아시모프의 세계관이 아니라면 3원칙을 준수 시켜야 할 의무는 없다. 사실, 메다카 박스의 예를 봐도 알 수 있지만 이런 설정을 채용한 로봇물 태반의 설정이 로봇이 인간의 일을 대신하는 사회인 경우가 많다. 아시모프의 소설에서도, 로봇은 인간과 동등한 주체적 존재라기 보다는 인간에 종속된 존재이며[31], 로봇 3원칙은 그걸 위해 존재한다. 그러므로 다른 모습의 로봇을 다루고 싶다면, 로봇 3원칙을 따를 이유가 없다. 위에도 언급했듯, 로봇 3원칙은 로봇 제작에 필수적인 것이 아닌, 인간이 로봇을 마음 놓고 쓸 수 있도록 하기 위한 로봇 AI 제작 가이드라인에 불과한 것이다.

솔직히 이 원칙이 지켜지면 군용 AI는 한계가 명확해질 것이다.[32]

여담이지만 이 원칙을 지키고 적용하는 쪽은 로봇 자체가 아니라 로봇을 제어하는 인공지능 쪽인지라, 로봇이 아닌 그냥 인공지능 또한 이 원칙이 적용되거나 하는 경우도 많다. 사실 상기한 비키 또한 로봇이 아니라 그냥 로봇 통제용 인공지능. 아시모프의 소설 중에서도 브레인이라는 아무리 봐도 컴퓨터 같은데 로봇으로 보고 3원칙이 있는 경우도 있다. 대개 아시모프의 세계관에서 슈퍼컴퓨터는 멀티백이라는 기계로 묘사되는데, 이 멀티백은 인공지능이 없어서 대화는 절대 못하고 입출력도 천공 카드로(당시 시대상 때문에 상상력의 한계점이다.)해야 한다.

5. 예시

6. 0원칙

로봇은 인류[39]에게 해를 가할 만한 명령을 받거나 행동을 하지 않음으로써 '인류'에게 해가 가해지는 것을 방치해서도 안 된다.
1원칙을 확장한 것으로, 1원칙에 우선하기에 0원칙이라는 이름을 붙였다. 열역학에서 열역학 제0 법칙과 같은 상황. 1원칙과 다른 점은 1원칙이 인간 개개인을 대상으로 하고 있다면 0원칙은 인류라는 집단을 대상으로 하고 있다. 0원칙을 도입하면, 1, 2, 3원칙에 각각 0원칙에 위반되지 않는 한이라는 제약을 붙인다.

다만 여기에서 문제는, 인류라는 것이 모호한 개념이라[40] 0법칙은 로봇 두뇌에 입력시키기 힘들다. 그래서 아시모프는 소설 로봇과 제국에서 "한 인간을 보호하는데, 인류 전체의 안전을 도모하는 것보다 더 나은 방법이 어디 있는가."라는 구절을 통해 0원칙을 1원칙의 부속정리로서 받아들일 것을 제안했다. 이 경우 인류의 생존율 높이기라는 구체적 목표가 생기기에 인류라는 개념의 모호함에서는 해방될 수 있다. 다만 이 경우 단순히 사람 하나를 당면한 위험에서 지키는 것이 아닌, 장기적 관점에서 인류에게 이득이 되는 길을 찾아야 하는 상황이 펼쳐지며, 이 것은 정치가의 영역에 다다른다. 그리고 아시모프는 그 해법으로 심리역사학과, 모든 생물과 물질의 집단 지성인 가이아를 제시한다.[41]

그러나 작중에서 둘 다 만족스럽지 못하다는 사실이 드러난다. 심리역사학에만 맡길 경우 인류는 새로운 은하 제국을 다시 얻더라도 수학적 계산에 의존하는 기계적인 사회가 될 것이며, 가이아를 선택하면 전체로서 막강한 힘을 얻고 모든 세상사가 영원히 조화롭게 이어질 것이지만 개체성을 포기해야 하기 때문. 작중에 나온 예로, 성관계의 경험까지도 매번 전 우주의 유기체와 공유해야 한다. 가이아를 구성하는 지성체는 의식적으로 가이아와의 연결을 일시적으로 차단할 수는 있지만, 결국 그 개체의 모든 경험은 가이아와의 공유를 통해 백업되고, 개체의 의사는 상당 부분 가이아의 중론에 가까워진다. 대신 가이아 전체의 의지가 원하는 경우 개체는 가이아를 대표해서 막강한 정신력과 물리력을 행사할 수 있다. 이 부분은 아시모프가 소설을 쓸 당시보다 21세기 현대인이 이해하기가 더 쉬우리라. 달로 가는 여행 중 주인공은 최종 결론을 내지만, 그것은 그가 마지못해 내린 결정이었기 때문에 자신은 그 결정에 속박되기를 거절한다. 정치 체제로 보면 심리역사학이 예정한 것은 철인정치, 가이아가 예정한 것은 자기를 완전히 포기하고 정신과 물질을 공유하며 이타심만 가진 생명체와 무기물의 민주정 내지 전 우주를 포괄하는 집단지성의 독재정이랄까. 여기에 로봇 3원칙을 응용한 규범을 따르기 때문에 골란 트래비스는 처음에 가이아를 인류가 아니라 로봇이라 착각했다.[42]

아시모프 작품 내에서는 유일하게 로봇이 1원칙마저 어길 수 있는 논리[43]다. 영화 아이, 로봇도 이와 비슷한 논리를 사용했다. 다만 0원칙도 그 근본 자체가 1법칙과 밀접한 연관이 있는지라 어느 정도 한계는 있다. 소설 로봇과 제국에서는 Giskard라는 로봇이 지구를 멸망시키려고 한 자를 막지 않아서[44] 지구인을 위험에 빠뜨렸고[45], 결국 1원칙에 의해 파괴되었다.[46][47]

로봇이 인류 전체를 위해 인간 개인을 희생 시키는 걸 정당화할 수도 있는 쪽으로도 해석되어 이 소재를 가지고 많은 SF 소설에서는 흔히 로봇이나 AI가 인류를 평가해 경중을 따져 내린 결정 때문에 인간을 살해하는 데서 인간인 주인공과 대척점에 선다는 식으로 이야기가 시작된다. 가장 대표적인 것이 영화판 아이, 로봇.

7. 영향

7.1. 아시모프 소설의 세계관 내에서

아시모프 세계관에서 로봇 3원칙에 가장 주목할 만점은 로봇을 만드는 인간의 또는 기업의 도덕성이다. 로봇 3원칙이 등장한 작품인 "아이, 로봇"에서 로봇을 제조하는 회사인 U. S. 로보틱스가 주배경인 이유가 여기에 있다. 아이로봇에서 로봇 3원칙은 신이 내려준 절대적인 법칙이 아니라 로봇을 제조하는 공학자에 의해 설계되었으며 로봇이 인간에게 해를 줘서는 안된다는 도덕 원칙을 기술이 적극적으로 반영한 결과이다. 또한 로봇 3원칙을 벗어나는 로봇이 있을 수 없는 이유는 로봇이 3원칙을 어기면 양전자 두뇌회로가 타버리는 것도 있지만. 인간 사회가 절대 그런 로봇이 존재하도록 용인하지 않기 때문이다. 도덕성이 엄격하게 적용되는 아시모프의 세계관 속에서도 3원칙이 적용이 되는데 문제가 생기는 것을 해결하거나. 3원칙을 어기는 로봇이 등장하는 것이 메인 스토리기에 절대성과는 거리가 멀다. 하지만 그럼에도 불구하고 아시모프는 로봇 3원칙이 절대적으로 지켜져야 할 이유를 제시하는데 로봇이 스스로 인간을 배려하는 도덕적인 존재가 돼야 한다는 것이다. 아시모프의 소설 속 인물들 중에서 어떠한 인물도 로봇을 직접적으로 전쟁에 쓰려고 하거나 범죄에 활용하지 않는다.[48] 처음에는 로봇이 사회에 널리 쓰이기 위한 것이었지만 인간에 가까워진 로봇이 위대한 리더가 되어 사회에 공헌을 하게 되며 결국 인간을 초월하게 된 로봇들은 인류가 우주에서 영원히 번영하도록 스스로 역사에서 물러나 뒤에서 인간들을 돕게 된다. 작중에서 로봇들은 "왜 인간을 해쳐서는 안될까"에 대한 의문을 품지 않는다. 로봇과 인간의 관계에 대해 정의한 것은 인간 스스로 였다. 인간을 배려하는 토양 위에서 발전한 기술이기에 기술의 발전이 인간의 손을 떠났을 때조차 인간이 소외 당하는 일이 발생하지 않게 된 것이다.

7.2. 가전제품

가전제품의 3원칙도 이의 영향을 받았다.
제1원칙: 안전할 것. ← 로봇 1원칙: 인간에게 피해를 주지 말 것.
제2원칙: 편리할 것. ← 로봇 2원칙: 인간의 명령에 복종할 것.
제3원칙: 튼튼할 것. ← 로봇 3원칙: 자기 자신을 보호할 것.
엄밀히 말하자면, 로봇 3원칙은 인간이 도구에 요구하는 특성들[49]을 로봇에 특화한 것에 불과하니, 가전제품의 3원칙과 비슷한 게 당연하다 할 수 있겠다.

7.3. 타 창작물에서의 활용

SF계에서 아주 유명한 원칙이지만 아시모프 이후로는 사실 그리 창작물의 주 소재로는 잘 쓰이지는 않는다. 아시모프가 이미 자신의 소설에서 3원칙과 관련된 이런저런 요소들을 잘 탐구해둔 터라 후속 작가들이 같은 소재를 다루면 짝퉁이 되기 십상이란 게 문제. 그래서 지나가는 식으로 살짝씩 언급하면 내용이 다르거나, 없다로 일축하는 정도가 보통이다.
[1] 1원칙에 따라 로봇이 인간을 위험한 작업 현장에서 배제하려고 해서 어쩔 수 없었다고 한다.[2] 일본에서도 강철 도시로 번역했지만 제목에서 Cave라고 하고 있으며 본문을 봐도 (작중 시간대의) 지구의 사람들을 동굴에 거주하는 원시인에 비유하는 장면이 있다. 즉, 강철 도시는 의역이다.[3] 아이, 로봇에도 나오지만, 이 부분이 중요한 것이 단순히 해를 입혀서는 안 된다고만 하면, 간접적으로 사람에게 해를 끼치는 것이 가능하다. 가령 수영하고 싶다는 애를 폭포 끝자락에 던지고 아무런 구조의 노력도 하지 않는다든가 등.[4] 원문은 'A robot may not harm a human being or, through inaction, allow a human being to come to harm.'으로, 직접적으로 해를 가하는 것뿐만 아니라 인간이 위험한 상황에 처한 상황을 인지하고도 아무것도 하지 않음으로써 간접적으로 해를 입게 하는 것도 안 된다는 의미이다.[5] 예: 자기가 미워하는 사람을 때려 달라거나 위험에 처한 사람을 구하지 않고 무시하라는 명령 등이 아닌 한[6] 예: 파손을 감수하고 사람을 구해야 하거나 그에 준하는 명령을 받은 상황이 아닌 한[7] 이는 성경의 전도서나 용비어천가의 주제와 동일한 것으로, 결국 무엇을 위해 이 모든 것을 시작했느냐는 일침을, 전도서는 하나님으로서 살아가는 것을 인생의 목적으로 제시하며, 용비어천가는 유교적 가치의 실현을 왕의 본분으로 제시한다.마그나 카르타와 유사하게 로봇을 법제 안으로 포함하기 위해 인간이 로봇에게 제시하는 조건인 것이다.[8] 물론 1원칙에 위배하지 않는 상황 하에 말이다.[9] 이렇게 남의 로봇에게 명령해서 파손을 일으키면 막대한 손해배상을 해야 한다. 하지만 로봇이 그걸 거부할 수는 없다.[10] 사형, 태형, 감금형 등.[11] 로봇 시리즈 중 아이들을 돌보는 역할의 로봇에게 아이들이 '넌 나를 아프게 한다!'고 외쳐서 로봇의 접근을 막는 에피소드가 있다.[12] 로봇이 1원칙에 발목이 붙잡혀 인류의 몰락을 두고 볼 수밖에 없는 경우의 예로 파운데이션 우주의 솔라리아라는 세계가 있다.[13] 눈앞에서 사람이 죽는데 구하지 못했다면 손상이 와야 정상이지만, 자신이 구할 수 없는 것이 당연한 경우는 그걸 받아들일 수 있어야 한다. 어찌보면 특출난 능력도 없고 그저 이타심만 한없이 높은 사람이 시궁창 세상 바꿔 본다고 노력하지만 결국 아무 것도 바뀐 것이 없다는 사실에 멘탈붕괴하는 것과 비슷하다.[14] A, B 두 개의 로봇을 준비한다. A에게는 우유에 청산가리를 타라 하고 그걸 B에게 가지고 건네 주라고만 한다. 그리고 B에게는 A에게서 받은 우유를 건네라고만 하면 된다. A, B 로봇 모두 추가 정보가 부족하기에 위험을 예측하고 명령을 거부하기는 지극히 어렵다. 이를 막기 위해서는 로봇에게 '의심'이라는 감정이 있어야 하는데, 의심이라는 지극히 인간적인 감정을 인공지능적으로 구현하기 힘든 건 둘째치고, 사람이 로봇을 제작하는 목적은 사람의 명령을 따라서 사람을 도우기 위해서이기 때문에 사람을 의심하게 만드는 것은 어불성설이다. 연구 목적으로 사람의 인격을 구현하려는 것이려면 모를까, 일상생활에서 사람을 도와야 할 로봇에게 있어 그러한 부정적인 감정은 없는 게 차라리 낫다. 소설에서는 대개 독 검출 센서 따위라든가 하는 식으로 의심 대신 검사를 강화하는 방향으로 이런 사태를 막으려는 의도다.[15] 1원칙에 아무런 제재가 없다는 것이 흠이다. 일단은 3원칙 자체가 1원칙 하에 움직이는 것으로 사실상 절대 행동권은 1원칙이 가장 중요시 된다는 점과 더불어 1원칙이 악용되거나 확대해석하게 되면 오히려 2, 3원칙을 어겨도 별 문제가 없다. 일단은 인간이 자멸할 것 같으면 위험한 게 맞기도 하며 로봇의 내장된 원칙을 로봇들은 따른 거니까 따지자면 아무리 원칙을 만들어도 피라미드 구조 체계면 결국에는 제일 첫 번째 원칙이 우선시 되기에 나머지 2, 3원칙이 1원칙을 견제해야하는 식으로 해야하지만 그럴려면 머리가 깨질 정도로 다시 구상해야 한다.[16] 이 예로 로봇과 제국에서 등장하는 솔라리아 억양으로 말하는 사람만을 인간으로 인식하는 솔라리아의 로봇들이 있다.[17] 다만 자기가 인간의 범위에서 제외하기를 원하는 형질을, 컴퓨터가 알아들을 수 있게 제대로 정의하는 것이 쉬운 일이 아니다.[18] 인간이 아니고 로봇이라서 공격한다거나. (용자왕 가오가이가 단편 사자의 여왕. 근데 사이보그는 인간이니 대상 외.)[19] 인간을 사회적 특성(언어, 성격 등)만 가지고 인간의 범주에서 제외시키는 것은 인류에게 큰 재앙을 가져온 선례가 충분히 많이 있다. 인종청소, 홀로코스트 등.[20] 가장 간단한 예를 들어 장애인을 인간의 범위에서 제외시켰는데 자신이 사고로 장애인이 된다거나.[21] 여기서 필요한 게 솔라리스인만 인간으로 인식하는 로봇이다.[22] 단 과거에 다른 행성과 교류가 있을 때에는, 사람을 해칠 수 있는 로봇을 만든다는 말에 사람들이 광폭화할 정도로 로봇의 안전성에 신경을 썼었다. 이 별의 인간 대 로봇 비율은 대략 1:20000이다. 즉 2만의 노예가 주인에게 반항할 경우를 생각할 경우다.[23] 아시모프의 소설에서는 계급 의식 때문에 인간 사이 문제에 로봇을 쓰지 않는다. 대놓고 노예라고 하진 않지만 인간 사이 문제에 로봇을 쓰지 않아 전쟁이라도 로봇 주제에 인간을 죽이는 걸 경멸한다. 유일하게 인간을 죽이는 로봇을 만들어 행성 방어에 쓰는 곳은 솔라리아뿐인데 솔라리아는 극단적인 개인주의자들이다. 결론은 기술적으로 가능하지만 전쟁에 로봇을 쓰는 사람은 인간말종으로 묘사한다.[24] 만약 어느 회사에서 전쟁병기로 쓸 수 있는 로봇을 만들어 팔려고 한다면 사람들이 당장 그 회사로 쳐들어가서 시설을 다 때려부수고 직원들을 다 때려눕힐 것이라는 소리는 농담이나 과장이 아니라 로봇 시리즈의 작중 분위기상 지극히 당연한 일이다. 말 그대로 사람들의 역린을 노골적으로 건드리는 행위이기 때문이다.[25] 굳이 말하자면 솔라리아인들이 사람을 대놓고 죽일 수 있는 로봇을 만들었지만 이들은 사회성을 거의 완전히 상실한 작가 공인 미치광이들이 맞는데다가 다른 행성의 인류들 몰래 숨어서 만든 것이다.[26] 엔딩에도 인간을 해친 로봇이 지닌 길은 하나밖에 없다 라고 나온 후 엑시를 총살시키는 장면이 나온다.[27] 록맨 7에서 참다참다 뚜껑이 뒤집힌 록맨이 Dr. 와일리를 쏘려고 하자 와일리가 이걸 언급하면서 록맨을 저지한다. 북미판에서는 록맨이 그런 와일리 박사에게 '난 로봇 그 이상의 존재다!'라며 반박했지만 포르테가 바로 와일리를 구출해서 와일리 박사는 안 죽었다.[28] 다르게 보자면, 이건 클래식 시리즈가 필요 이상으로 어두워지지 않고, 와일리가 어느 정도 유쾌한 악당 캐릭터를 유지할 수 있는 요인이기도 하다. 당장 이게 완전히 깨지는 X 시리즈부터의 록맨 스토리는 그야말로 시리어스의 극치를 달리게 되며, 여기서의 와일리는 클래식 시리즈와 다르게 극악무도한 악당으로서의 모습만이 집중적으로 부각된다.[29] 왜냐하면 레플리로이드의 원본이라 할 수 있는 엑스부터가 3원칙을 무시할 수 있는 능력을 가졌기 때문이고, 제작자인 라이트 박사 또한 이를 염려해 엑스를 봉인하고 경고문을 달아 놓았던 것이다.[30] 대표적으로 로봇이 다른 인공지능을 구하려고 하지만 인간의 명령이 우선이고, 이 인간이 자신의 이익을 위해 잘못된 명령을 내린 것이 명백함에도 명령은 무조건적으로 따라야 하기 때문에 다른 인공지능을 구하지 못하는 상황에 처하는 등. 일반적 명령은 자의적으로 해석하여 적용 가능하지만 직접 명령이란 별도의 지시를 내리면 해석 없이 말 그대로 따라야 한다는 설정도 있다. 고차원적 인공지능의 경우 인간과 거의 같은 사고를 하지만 인간의 지시에는 무조건적으로 따라야 한다는 강박증이 있어 자유의지가 있음에도 직접 명령을 거부하지 못한다. 명령을 해석함에 있어 인공지능 자신은 도덕적인 존재라 악의적으로 해석하지 않고 올바른 선택을 해야 한다고 생각하지만 동시에 한편으로는 자신이 그런 존재라 믿는 것이 3원칙의 제한을 받기 때문인가 의심하기도 한다.[31] 파운데이션과 지구에서 로봇은 로봇 3원칙에 따르는, 인간에 종속된 존재이므로, 인간과 달리 역사에 주도적인 역할을 하는 존재가 아니라고 언급한다.[32] 아시모프 작품 중에는 이에 대해 비슷하게 언급한 내용이 있다. 아시모프 세계관에서는 로봇과 컴퓨터가 동일한 의미로 사용되어 컴퓨터에게도 로봇 3원칙이 적용되어 있다. 그러다 보니 최적의 군사 전략을 위해 컴퓨터로 모의 실험을 하는데, 아무리 컴퓨터를 돌려도 절대 최적의 답은 안 나올 것이다. 그 이유는 컴퓨터가 로봇 1원칙을 열심히 지키면서 군사 전략을 짜고 있을 테니. 하는 내용이 나온다.[33] 아시모프의 로봇 시리즈에서 이 예시가 등장한다.[34] 아시모프의 로봇 시리즈에 그 예로 솔라리아에서 일어난 살인사건이 나온다.[35] 아이, 로봇의 허비 항목 참조.[36] 거리가 멀어지면 광물의 농도가 낮아져 3원칙의 영향이 줄어든다.[37] 아이, 로봇의 스피디 항목 참조.[38] 당시 이 로봇은 신형이라 3원칙의 중요도가 2원칙에 가까울 정도로 높게 조정된 상태인데다, 명령할 때 중요한 명령임을 밝히지 않아서 문제가 생겼다. 당연한 말이지만, 로봇은 인간을 대신해서 일하므로 2원칙과 3원칙이 충돌해서야 로봇 자체의 의미가 크게 줄어든다.[39] 더 포괄적으로 해석하여, 인류 대신 "지성체"를 대상으로 하기도 한다.[40] 인간은 물리적 실체라서 인간이 다치는 것은 누구나 인식할 수 있지만, 인류가 발전하거나 쇠퇴하는 것은 정의하기가 매우 힘들다.[41] 소설에서는 현재의 사회를 유지한다는 선택지도 있으며, 이는 지금까지처럼 강한 나라가 쇠퇴하고 새로운 강한 나라가 등장하는 것이 무한히 반복된다는 이유로 각하되었다.[42] 사실, 가이아는 정도의 차이는 있어도 같은 지성체라는 점에서 인류와 로봇을 가능한 한 차별하지 않고 대우하려 했다. 물론 가이아는, 인류를 위해 필요한 경우 로봇은 물론 인간도 죽일 수 있다.[43] 예를 들어, 자살 폭탄 테러를 하려는 사람을 쏘아 죽이라는 명령도 이 0원칙에 의거하여 시행될 수 있다.[44] 그자가 자신의 행위를 변명했는데, Giskard는 그 변명이 진실이라고 믿었다. 물론 속은 것은 아니고, 그자가 자기 의도를 숨기고 거짓말을 한 것은 알아챘으나 그 변명이 실제로도 일어날 법하다고 생각했다.[45] 그 사람을 막지 않은 탓에 지구가 점차 방사능을 띄게 되었고, 지구에 있는 모든 사람이 위험에 처할 가능성이 생겼다.[46] 다만 이건 자신의 행동이 궁극적으로 지구인에게 도움이 된다고 확신을 할 수 없는 게 원인이었다. 인류에 도움이 된다는 보증 없이 사람을 죽이는 게 용납되는 것은 인류에게 커다란 위험이므로 중대한 문제가 된다. 지구를 단기간에 강한 방사능을 띄게 하여서 우주인과 지구인이 전쟁을 벌이게 되더라도 지구인을 멸종시키려 한 사람을 기절시키고 기억을 제거한 적이 있는데, 그때는 로봇에 아무런 문제 없었다.[47] 참고로 그 후 Giskard는 기능이 정지되어가면서 자신이 가지고 있던 정신을 읽고 조종하는 기술을 동료 로봇인 다닐에게 이식했다. 그리고 다닐은 심리역사학을 창시하는 해리 쉘든을 물심양면으로 지원하는 등 인류의 역사의 흐름을 음지에서 조절해나간다.[48] 작중 형사가 로봇을 이용한 살인 혐의로 누명을 씌운 적은 있다...[49] 사용자가 안전하게 사용할 수 있을 것, 제작 의도에 맞는 역할을 수행할 것, 쉽게 망가지지 않을 것.[50] 비밀 조항

분류