설계, 교육을 넘어 전술 훈련까지… 확대되는 군사분야 가상현실과 증강현실

설계, 교육을 넘어 전술 훈련까지… 확대되는 군사분야 가상현실과 증강현실

최근 인공지능과 가상현실이 IT분야에서 부각되고 있다. 구글Google의 ‘알파고AlphaGo’로 대표되는 인공지능은 아직 직접적인 체감은 어렵지만, 가상현실은 오래전부터 3D 게임 등을 통해 일상에서 활용되고 있다.

가상현실은 이미 시뮬레이션 사격장, 각종 시뮬레이터를 통해 군에서 많이 사용되고 있지만, 점차 사용 범위가 넓어지고 있다. 가상현실은 최근에는 현실 세계와 가상 세계가 결합한 증강현실로까지 발전했다. 뛰어난 컴퓨터 처리능력, 그래픽 성능, 그리고 하드웨어가 필요한 가상현실이 훈련 등의 군사 분야에서도 다양하게 활용되기 시작했다. 최근 도입이 늘고 있는 군사 분야 가상현실과 증강현실에 대해서 알아보았다.

[사진 1] DSTS 몰입형 훈련장비로 훈련받고 있는 미 육군 병사

가상현실의 종류-VR과 AR

  ‘가상현실(Virtual Reality, 假想現實, 이하 VR)’이란 컴퓨터 등을 사용하여 인공적으로 만들어 낸 실제와 유사하지만, 실제가 아닌 특정 환경이나 상황 또는 기술 그 자체를 의미한다. VR에서 사용자는 3인칭 시점이 아닌 1인칭 시점으로 참여하게 된다.

[사진 2] 평면형 가상현실을 사용한 F-35용 시뮬레이터

  현재 사용되는 VR이라는 용어는 1989년 미국의 ‘재론 래니어Jaron Lanie)’가 처음 제안했다. VR에 대한 연구는 오래전부터 시도되었는데, 1940년대 에드윈 링크Edwin Link 연구팀이 개발한 항공기용 시뮬레이터를 시초로 보고 있다. 당시 개발된 시뮬레이터는 비행기 조종 실수를 줄이기 위해 개발되었다. 1950년대에는 할리우드에서 3차원 이미지를 구현한 영화가 개발되면서 오락거리로 인기를 끌었다. 

  현재 VR 장비로 인기를 끌고 있는 ‘헬멧장착 디스플레이HMDHead-Mounted Display’는 1968년 유타 대학의 ‘이반 서덜랜드Ivan Sutherland’가 제안한 것이다. 당시 제안된 HMD는 이용자의 눈앞에 두 개의 작은 CRTcathode-ray tube를 사용하여 입체적인 영상을 제공하는 것이었다. 이런 구조는 CRT 대신 LCD를 사용하는 현재의 HMD와 크게 다르지 않다. 하지만, 초기에 개발된 HMD는 머리에 쓰기에는 너무 무겁고, 낮은 해상도와 좁은 시야각 그리고 느린 반응 속도로 원하는 효과를 거두기는 힘들었다.

  최근에는 VR에 사용되는 입출력 장치와 소프트웨어 엔진이 발전하였고, 컴퓨터, 디스플레이, 모션 트래킹과 같은 기술들이 발달하면서 저렴한 가격에 VR을 구현할 수 있는 기반이 마련되고 있다. VR은 사용자 눈에 보이는 전체 또는 일부를 만들어 내야 하므로 빠른 컴퓨터와 대용량 저장공간이 필요하다. 현재 사용되는 VR은 크게 평면 스크린과 HMD의 두 가지 형태로 나뉜다.

  ‘증강현실(Augmented Reality, 增强現實, 이하 AR)’은 VR에서 발전한 기술이다. AR은 사용자가 눈으로 보는 현실 세계에 가상 물체나 정보를 겹쳐 보여 주는 기술이다. 현실 세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여 주기 때문에 ‘혼합현실MRMixed Reality’이라고도 한다. VR이 현실과 단절된 가상세계만을 보여 주지만, AR은 현실과 유기적으로 상호작용을 한다는 점에서 차이가 있다.

[사진 3] 증강현실이 구현된 항공기용 HUD. 사진은 C-130J의 HUD

  AR은 하이브리드Hybrid형 VR로 1990년대 후반부터 미국과 일본을 중심으로 연구 및 개발되고 있었다. AR이라는 용어는 1992년 보잉Boing의 토마스 P 카우델Thomas P. Caudell이 처음 사용했다. 1997년에는 로널드 아주마Ronald Azuma 박사가 ?가상과 현실의 융합combines the real and the virtual ?실시간 상호작용interactive in real-time ?3차원 결합register in 3D이라는 증강현실 필수 요소를 정의하였다.

  최초의 증강현실 기술은 군사 목적으로 개발되었다. 전투기 조종석 앞에 장착되는 HUDHead-Up Display와 공격헬기 조종사 헬멧에 소형 투명 디스플레이가 장착되는 형태로 구현되었다. 조종사는 시야를 그대로 유지하면서 투명한 디스플레이를 통해 방향, 속도, 고도 등의 정보들을 확인할 수 있게 되었다. 이 외에도 헬멧에 장착된 카메라로 촬영한 화면을 HMD에 투영하는 방식도 사용되고 있다.

  AR의 군사적 활용을 위해서는 정보를 실시간으로 제공하기 위해 높은 컴퓨터 성능과 빠른 통신 속도가 필요하다. 기기 운용에 관련된 정보 외에도, 사용자의 시선과 이동 속도 등 모든 움직임을 파악해야 한다. VR을 구현하기 위해서는 GPS, 중력 센서, 상세한 지도가 들어 있는 위치정보시스템, 정보를 융합하여 표시할 AR 소프트웨어, 그리고 디스플레이가 필요하다.

  그 동안 AR은 실제 시야에서 평면적인 가상정보만을 제공했지만, 최근 마이크로소프트Microsoft사의 홀로렌즈HoloLens와 같은 3차원 홀로그램Hologram으로 정보를 표현하는 장비도 개발되고 있다. 마이크로소프트는 미군에게 전장에서 병사 추적, 항공기 수리 등 다양한 분야에서 홀로렌즈 사용을 제안했다고 알려졌다.

VR 응용

  VR은 3D 기술을 바탕으로 제작된 ‘1인칭 슈팅FPSFirst-person shooter’ 게임을 통해 많이 익숙해져 있다. 게임을 통해 군의 각종 장비나 훈련을 미리 겪어 본 젊은 병사들은 최근 많이 도입되고 있는 VR을 이용한 훈련에도 잘 적응하고 있다. 미 육군은 2002년 모병 홍보를 위해 실제 군사 작전과 유사한 경험을 할 수 있도록 ‘아메리카 아미America’s Army’라는 컴퓨터 게임을 발표했다. 모병 홍보를 위해 개발된 이 게임은 이후 미 육군 교육을 위한 시뮬레이션 교육 장비로 활용되기 시작했다. 아메리카 아미는 이후 계속 버전업을 하면서 현재도 서비스되고 있다. 

  3D 기술을 바탕으로 제작된 게임은 VR 훈련 분야에서 매우 중요한 역할을 담당하고 있다. 현재 사용되는 3D 엔진은 대부분이 상용 게임에 사용되는 것들이다. 미 육군은 가상 훈련환경 제작을 위한 게임 스튜디오도 만들면서 적극적으로 나서고 있다. 미 육군은 최근 입대하는 젊은이들은 VR에 대한 거부감이 적기 때문에 신병 교육을 위해서 VR을 적극적으로 활용할 계획이다.

  VR은 3차원 엔진을 이용하여 개발되지만, 평면 스크린, 돔형 스크린, 그리고 HMD 등 다양한 형태로 구현된다. 평면 스크린은 비교적 구현이 쉽고, 가격이 저렴하여 사격 시뮬레이터 등에 많이 사용되고 있다. 항공기, 장갑차량 교육을 위해 사용되는 ‘시뮬레이터Simulator’에도 평면 스크린이 많이 사용되고 있다. 실물과 똑같은 조종석을 갖추고 있는 항공기와 전차 시뮬레이터에서 운용자의 시야는 창문이나 잠망경 또는 헤치hatch 바깥 정도로 시야가 제한된다. 평면스크린은 실탄 사격장을 대체하는 시뮬레이션 사격장에도 활용되고 있다. 돔형 스크린은 평면 스크린을 확대한 형태다.

[사진 4] 실제 사격장을 대체하고 있는 시뮬레이션 사격장비

  최근 사용이 늘기 시작한 HMD는 ‘몰입Immersive형’ 장비로 불린다. HMD는 평면형 스크린보다 훈련 효율이 높다. 미 육군은 2014년 센트럴 플로리다 대학과 함께 UH-60 헬기 승무원들에 대한 HMD와 평면 스크린을 사용한 훈련을 비교했다. 측정에는 얼마나 다른 장소나 환경에 실제로 있다고 느끼는가를 평가하기 위해 1998년에 고안된 설문지가 사용되었다. 이 점수가 높을수록 가상훈련의 효과도 높았다. 사용된 시뮬레이터는 레이도스Leidos사의 NCM3였는데, 결과는 일반 LCD 화면을 볼 때보다 HMD를 착용했을 때 더 높은 훈련 효과를 보였다는 연구결과가 나왔다.

  HMD를 사용한 몰입형 교육은 시뮬레이터 탑승 전 훈련, 낙하산 훈련, 대형 함정 친숙화 교육, 보병 전술훈련 등 다양한 분야에서 활용되고 있다. 많은 IT 관련 방산업체들이 몰입형 VR 훈련 시스템을 개발하고 있다.

[사진 5] 낙하훈련용 시뮬레이터 파라심

  2016년 5월 17일에서 19일까지 영국 런던에서 열린 ITEC 2016 전시회에는 많은 몰입형 VR 훈련 시스템들이 선보였다.

  가장 먼저 시작한 곳은 미 국방부로 2000년대 초반부터 병사 훈련, 장비 교육 등을 위해 도입하고 있다. 전투나 장비 훈련 외에도 환자 치료 등의 훈련을 위한 VR 훈련 시스템도 영국 등에서 도입되고 있다. 우리 해병대도 2011년 4월부터 국내에서 개발된 공수 강하 훈련용 몰입형 시뮬레이터를 도입하여 운용하고 있다.

  최근에는 여러 명의 참가자들이 상호작용을 벌이는 전술훈련용 몰입형 훈련 시스템이 개발되고 있다. HMD를 이용한 보병용 몰입형 훈련 시스템은 2004년 프로토타입이 미 육군에서 평가받은 ‘첨단 분산형 그래픽 생성기 및 내장형 리허설 시스템DAGGERSDistributed Advanced Graphics Generator and Embedded Rehearsal System’이 시초다.

  2000년대 후반부터는 ‘보병 훈련 시스템DSTSDismo unted Soldier Training System’이라는 분대급 보병 훈련 시스템을 개발, 2012년 1월부터 미 육군에 배치되기 시작했다. DSTS는 현실적인 그래픽과 사실적인 물리 효과와 병사들 사이의 상호작용을 구현했다. DSTS는 하나의 시스템으로 도심지, 정글 등 다양한 환경을 구현할 수 있다.

[사진 6] HMD, 백팩형 컴퓨터, 모션감지장비 등으로 구성된 DSTS 훈련장비

  DSTS는 최대 9명까지 참여할 수 있으며, 1인당 할당된 공간은 가로세로 각 10피트(3m)다. 정해진 공간에서만 머물 수 있기 때문에 각 참가자의 가상 공간에서의 이동은 총에 장착된 아바타 이동용 버튼을 사용한다. 병사용 시뮬레이션 훈련공간, 훈련 통제 워크스테이션, 가상 병사용 다기능 워크스테이션 등으로 상당히 많은 요소가 필요하다. DSTS를 구성하는 장비는 트럭에 탑재되어 야외에서도 훈련이 가능하다.

[사진 7] 미 육군 DSTS 훈련 시스템 구성도

  DSTS가 분대 전술훈련에서 많은 도움을 주고 있지만, 병사 개개인이 지정된 공간에 머물면서 개개인의 분신만 움직이는 방식으로 훈련 효과에 한계를 보였다. 이런 한계는 영화 ‘아바타Avatar’에 3D 기술을 제공한 ‘모션 리얼리티Motion Reality’사가 ‘VIRTSIM’ 시스템을 개발하면서 어느 정도 해결되었다. VIRTSIM의 전체 구성요소는 DSTS와 유사하며, 분대 단위 교육을 큰 건물 안 전체에서 실시할 수 있다.

  모션 리얼리티사는 2010년 3월, 레이티온Raytheon과 가상현실 기술 응용을 위한 협력에 합의하면서 군에 대한 본격적인 마케팅에 나섰다. VIRTSIM은 2010년 미국에서 평가를 시작했고, 2012년에는 FBI 아카데미에서 채용되었다. 2012년 10월에는 조지아주 포트 베닝Fort Bening에서 열린 미 육군의 ‘볼드 퀘스트Bold Quest’ 가상현실 시험에서 최고 평가를 받았다.

  2015년에는 VIRTSIM을 발전시켜 5,000 제곱 피트(465 제곱 미터) 공간에서 12명 이상이 동시에 훈련할 수 있는 ‘돈틀리스Dauntless’ 시스템을 개발했다. 2016년 4월 영국 런던에서 열린 ITEC 2016 전시회에 출품되어 여러 유럽 국가들이 관심을 보였다. 몰입형 훈련 시스템은 분대 단위 전술훈련에 높은 효과를 보이면서 나토NATO 회원국을 중심으로 도입이 늘고 있다.

AR 응용

  AR은 전투기의 HUD 등을 통해 오래전부터 군사적으로 활용되어 왔다. 전투기에서 좌표, 고도, 속도 등의 정보를 알려 주기 위해 사용되는 HUD는 수송기, 헬기 등으로 사용 대상이 확대되었고, 최근에는 민간에서 자동차 운행에도 사용되고 있다. 전투기에 사용된 AR은 헬멧에 정보를 투영하는 HMD로 발전했고, F-35에 이르러서는 360도 전 방향 상황인식 능력  까지 보유하게 되었다.

  F-35 전투기는 APG-81 AESA 레이더와 AN/AAQ-37 전자광학 분산개구시스템EO-DASelectro-optical distributed aperture system으로 뛰어난 상황인식 능력을 제공한다. 특히, 기체 여섯 곳에 설치된 EO-DAS에서 수집된 적외선 영상 정보는 조종사용 HMD로 전달되어 각종 위협정보를 시각적으로 전달한다. F-35 조종사는 4세대 전투기 조종사들이 야간 비행에 사용하는 야시장비 없이도 EO-DAS의 도움으로 야간 작전이 가능하다.

  AR에 대한 민간에서의 관심은 2013년 구글Google이 안경 형태의 장비인 구글 글래스Google Glass를 선보이면서 촉발되었다. 하지만, 미국 등에서는 2000년대 초반부터 AR의 군사적 응용 확대에 대해서 연구해왔다. 처음 활용이 모색된 분야는 장비 교육이다. 미국은 2009년 ISMARInternational Symposium on Mixed and Augmented Reality에서 AR을 응용한 장비 교육 시스템을 소개했다.

  응용범위를 넓히기 시작한 AR은 VR과 마찬가지로 전술훈련용으로 발전하기 시작했다. AR의 전술훈련 사용에 적극적으로 나선 곳은 미 국방부다. 미 해군은 해병대 시가전 훈련을 위해 2000년부터 ‘전장 증강현실 시스템BARSBattlefield Augmented Reality System’에 대한 연구를 해 왔다.

[사진 8] ISMAR 2009에서 소개된 미국의 AR이용 정비훈련 장면

  미 해군에서 AR 연구를 이끈 곳은 미 해군 연구소ONROffice of Naval Research로 해병대 훈련을 위해 ‘증강 몰입 팀 훈련장비AITTAugmented Immersive Team Trainer’를 개발했다. 미 해병대는 2011 회계연도부터 AITT를 사용한 보병훈련을 시연했고, 2015 회계연도에 마지막 시연을 마치고 실제 도입에 들어갔다.

[사진 9] 미 해병대의 AITT 시스템 구성

  AITT는 훈련장에 전차, 헬기 등을 동원하지 않더라도 유사한 효과를 내는 것을 목표로 하고 있다. 구성 장비로는 헬멧에 장착되는 추적 시스템, HMD, 베스트Vest에 통합된 컴퓨터, 휴대용 레이저 표적지시기 등이 있다. 미 해병대가 채용한 소총, 유탄발사기 등의 무기도 훈련용 장비가 개발되었다.

  해외 방산업체들도 AR을 이용한 훈련 시스템 개발에 나서고 있다. 미국의 ‘큐빅Cubic Global Defense’사는 2014년 가상적인 전장효과를 제공하는 증강현실 안경 관측 시스템ARGONAugmented Reality Glasses Observa tion Network을 선보였다. 큐빅의 ARGON의 정보 시연기는 구글글래스와 같은 안경 형태로 HMD보다 훨씬 가볍다.

  2014년 영국 BAE 시스템즈Systems는 훈련이 아닌 실전에서 증강현실을 사용할 수 있는 ‘Q-워리어Warrior’ 시스템을 선보였다. 지휘소로 모인 각종 정보가 Q-워리어 시스템으로 전달되어 헬멧에 장착된 투명 디스플레이를 통해 AR의 형태로 제공되어 높은 상황인식 능력을 부여한다.

[사진 10] BAE 시스템즈의 Q-워리어

  미국의 고등방위연구기구DARPADefense Advanced Research Projects Agency도 전장에서 AR을 활용하기 위한 연구를 진행하고 있다. 2015년 9월 프로토타입 실증시험을 마친 ‘지속 근접지상지원PCASPersistent Close Air Support’ 프로그램에서 폭격유도를 수행할 ‘합동최종공격통제관JTACJoint Terminal Attack Controller’은 홀로그램 고글을 통해 각종 정보를 보게 된다.

[사진 11] DARPA의 PCAS 프로그램에 적용될 홀로그램 렌즈

  미 육군도 2013년부터 전장에서 부상당한 병사를 돌볼 의무병을 위한 ‘전장 의무용 상황인식 고글Battlefield Medical Situational Awareness Goggles’ 개발에 나서는 등 AR 분야는 활용분야가 넓어질 것으로 보인다. 현재 고글 형태로 개발된 디스플레이는 콘택트렌즈의 형태로 발전할 전망이다.

  2011년부터 예산 통제에 들어간 미 국방부는 탄약, 연료 등 막대한 비용이 드는 실제 훈련 대신에 각종 시뮬레이터 등을 사용한 가상훈련에 더 많은 돈을 투자할 것으로 보인다. 그 동안은 VR 기술에 기반한 조종용 시뮬레이터에 집중되었지만, VR과 AR 기술이 발전하면서 전술훈련에 사용되는 일이 점차 늘어날 것으로 보인다.

  이상으로 국방 분야에서의 VR와 AR의 사용에 대해서 알아보았다. 이들 가상현실의 사용은 시스템 개발과 도입비는 많이 들지만, 장기적으로 실제 훈련과 비교하여 저렴한 비용과 높은 훈련 효율을 보이고 있다. 시뮬레이터에서 시작하여 보병 전술훈련까지 응용 범위를 넓혀가고 있는 가상현실 분야는 뛰어난 3D 게임 제작능력과 IT 기반 기술을 지닌 우리나라도 충분히 경쟁력을 갖출 수 있기에 군과 기업들의 많은 노력과 좋은 결과를 기대한다.

[유용원의군사세계] 2017.03.09