솔직히 GPT-5보다 구글 Genie3가 훨씬 혁신인 것 같은데요

https://youtu.be/X2qjbsiXATI

​

구글의 지니(Genie) 3는 어떤 기술인가요?

구글의 지니 3는 물리 법칙과 공간적 일관성을 갖춘 가상 세계를 실시간으로 창조할 수 있는 AI 모델인 '월드 모델' 입니다.

​

지니 3의 주요 특징은 무엇인가요?

• 사용자의 시선에 맞춰 실시간으로 공간을 생성하고 그려냅니다.
• 생성된 공간 내에서 문을 열거나 스킬을 추가하는 등 상호작용이 가능합니다.
• AI가 생성한 공간의 과거 정보를 기억하여 일관성을 유지합니다.

​

구글의 Genie3 기술이 단순한 AI를 넘어 '월드 모델'로서 어떻게 혁신적인 변화를 가져올지 심층적으로 분석합니다. 이 콘텐츠는 AI가 실시간으로 물리 법칙과 공간적 일관성을 갖춘 가상 세계를 창조하고 기억하는 능력이 게임 산업을 넘어 영상 제작, 나아가 XR(확장 현실) 분야에 어떤 대격변을 일으킬지 구체적인 전문가 인터뷰를 통해 보여줍니다. 특히, 현재 영상 제작 현장에서 생성형 AI가 프리 프로덕션 단계에서 시간을 획기적으로 단축시키는 반면, 최종 결과물에 적용되기 어려운 현실적인 한계와 그 돌파구를 제시하며, 미래에는 AI가 구축한 가상 촬영장에서 단 한 명의 감독이 모든 연출을 지휘하는 시대가 올 수 있음을 설득력 있게 예측합니다. 이 기술이 가져올 미래 콘텐츠 제작 환경의 변화와 그 속에서 우리의 역할에 대한 깊은 통찰을 얻고 싶다면 반드시 시청해야 할 영상입니다.

​

1. 구글 Genie3: 단순 AI를 넘어선 '월드 모델'의 등장

 

Genie3 기술의 핵심: 구글의 Genie3는 단순한 AI가 아니라, 사용자의 시선에 맞춰 실시간으로 가상 세계를 생성하는 '월드 모델'이다.

1. 실시간 공간 생성: 사용자가 방향키와 마우스를 이용해 시선을 돌리면, AI가 그 시선에 맞춰 실시간으로 공간을 그려내 보여준다.
2. 상호작용 가능: 생성된 공간 내에서 문을 열거나 스킬을 사용하는 등 상호작용이 가능하다.
3. 이벤트 추가: 프롬프트 선택을 통해 AI가 생성한 새로운 이벤트를 공간에 추가할 수 있다.
4. 메모리 기능: AI가 실시간으로 공간을 생성하면서 동시에 과거에 자신이 만든 공간의 정보를 정확히 기억한다.
5. 이전 모델들은 기억 지속 시간이 초 단위에 불과했지만, Genie3는 수분까지 메모리 능력이 향상되었다.

​

월드 모델의 의미: 월드 모델은 단순한 이미지나 영상 한 컷을 만드는 것을 넘어, 파도가 부서지는 방식이나 도로 지면 위에 물이 퍼져나가는 방식 등 세계가 작동하는 근본적인 원리를 이해하고 있는 모델이다.

​

2. Genie3가 가져올 산업별 대격변: 게임 및 영상 업계 중심

 

게임 산업의 흥분: Genie3 기술의 등장으로 가장 흥분하고 있는 산업 분야는 게임 쪽이다.

​

영상 업계의 대격변: 게임 산업만큼이나 대격변이 예상되지만 사람들이 잘 모르는 영상 업계에 대한 이야기가 이어진다.

​

3. 영상 제작 현장의 생성형 AI 활용 현황 및 한계

​

3.1. VFX 전문가 김륜 씨 인터뷰를 통한 현장 분석

1. 인터뷰 준비 과정: 필자는 구글의 Bard 3와 관련하여 HBO 드라마 '라스트 오브 어스' 타이틀로 에미상을 수상하고 CJ 인트로를 제작한 VFX 전문가 김륜 씨와의 인터뷰를 준비했다.
2. 김륜 씨는 할리우드와 국내 영화판의 굵직한 대규모 프로젝트를 진행한 경험이 많아, Bard 3와 같은 영상 생성 AI가 상업 영화나 드라마에 어떻게 적용될 수 있는지에 대한 답변을 기대했다.

​

예상과 다른 답변: 실제 인터뷰 답변은 필자의 의도나 생각과 많이 달랐다.

1. 필자는 AI가 최종 아웃풋에 직접 활용된 사례를 기대했지만, 실제로는 극히 드물다고 한다.
2. 프리 프로덕션 단계에서의 활용: 생성형 AI는 본 제작에 들어가기 전 아이디어 스케치나 프로토타입을 만들어 소통하기 위한 수단으로 주로 사용된다.
3. 스토리보드 및 프리비즈 제작: 프로젝트 협업을 위해 스토리보드를 만들거나, 이를 연결하여 편집된 영상인 프리비즈(Pre-visualization)를 만들어 최종 영상의 분위기를 미리 보여준다.
4. 스타일 프레임 공유: 각 부분의 대표적인 이미지를 렌더링하거나 스틸 이미지 한 장으로 공유하기도 한다.
5. 활용 목적: 투자자나 클라이언트에게 영화의 대략적인 분위기를 보여주거나, 본 촬영 전에 배우, 감독, 스태프가 신의 구도나 연출을 논의하는 데 활용된다.
6. 현재 생성형 AI는 이러한 프리 프로덕션 단계에서 활용되고 있다.

​

3.2. 프리 프로덕션 단계에서의 AI 활용 효과

1. 시간 단축: 작품을 주고받는 과정에서 발생하던 시간 소요(1주~1개월)가 생성형 AI를 활용하면 실시간 프롬프트로 빠르게 소통하며 단축된다.
2. 제작 시간 확보 및 퀄리티 향상: 한 달 정도 소요되던 프리 프로덕션이 AI와 혼합 사용 시 일주일에서 며칠 만에 끝나면서, 그만큼 제작할 수 있는 시간이 길어져 퀄리티를 높일 수 있다.

​

3.3. 영상 생성 AI가 본 촬영에 적용되지 못하는 이유

 

퀄리티 부족 아님: 결과물의 퀄리티가 부족해서 본 촬영에 쓰지 못하는 것은 아니다.

1. 전문가보다 뛰어난 결과물: AI가 전문가보다 더 잘 만들 때도 많다.
2. 물 시뮬레이션은 CG에서 가장 어려운 난이도 중 하나인데, AI로 원하는 연출을 했을 때 물 시뮬레이션이 매우 자연스럽게 구현되었다.
3. CG와 AI를 함께 활용하는 호환점이 생기는 것에 대한 기대가 크다.
4. 실제 실험 사례: 가수 박혜원 씨의 뮤직비디오 제작 시 일부 장면을 구형 영상 생성 AI로 만들었음에도 결과물 자체는 만족스러웠다.
5. 예를 들어, 사슴이 고개를 돌리고 떠나는 장면은 촬영으로도 힘들고, CG로는 수천만 원 이상의 비용과 자연스러운 움직임에 대한 리스크가 있었다.
6. AI를 통해 영화의 톤과 가장 어울리는 베스트 샷들을 저렴하게(수백 배에서 수천 배 저렴) 선택하여 만들 수 있었다.
7. 심지어 뮤직비디오의 모든 AI 샷을 단 하루 만에 만들 수 있었다.
8. 뮤직비디오는 호흡이 빠르고 마감이 짧아 퀄리티를 올리기 어려운데, AI 활용으로 시간을 벌어 업그레이드 과정을 거칠 수 있었던 것이 중요했다.

​

진짜 이유: 수정의 어려움: 현재 영상 생성 AI가 최종 결과물에 적용되지 못하는 진짜 이유는 AI로 생성한 영상 결과물을 이후에 수정하는 것이 거의 불가능하기 때문이다.

1. CG의 유연성: CG에서는 수정 사항에 대한 유연성이 매우 중요하다.
2. 물 시뮬레이션의 경우, 바다와 연못의 물 형태나 물 깊이에 따른 느낌이 다르므로 의도한 대로 정확하게 연출되어야 한다.
3. AI가 생성한 결과물은 부자연스러운 경우가 많고, 원하는 수정이 어렵다.
4. 기술적 한계: 수백 명의 CG 전문가들이 솔루션을 파헤칠 수는 있지만, 현재 AI로서는 확실한 한계점이 있어 다음 개발을 기다려야 하는 상황이다.
5. 작업 효율성 저하: 클라이언트가 AI로 만든 결과물을 마음에 들어 하더라도, 실제 원하는 대로 수정하려면 처음부터 다시 만들어야 하므로 일이 두 배가 된다.

​

4. 미래 콘텐츠 제작 환경의 변화: 3D 모델 AI와 가상 촬영장

3D 모델 AI 연구: 김륜 씨는 현재 영상 생성 AI 모델보다는 이미지-3D 모델(3D 모델에 AI 기술 적용)에 관심을 가지고, 촬영장을 처음부터 끝까지 3D 상에 구현하는 연구를 진행하고 있다.

1. 텍스트-투-3D 및 이미지-투-3D: 텍스트나 이미지를 3D 모델로 변환하는 기술에 주목하고 있다.
2. 3D 제작 과정 단축: 3D 모델링이나 리깅(Rigging)과 같은 과정의 시간을 엄청나게 단축할 수 있다.
3. 실제 테스트 사례: 텍스트-투-3D로 좀비 캐릭터를 만들고, 이를 3D 소프트웨어로 옮겨 건물, 차 등을 배치하여 프리비즈를 만들었다.
4. 원하는 카메라, 속도, 연출, 레이아웃을 3D에서 완벽하게 구현한 후, 해당 프리비즈 영상을 비디오-투-비디오로 새로운 느낌으로 바꿀 수 있다.

​

Genie3 등장 후 재평가된 김륜 씨의 아이디어: 필자는 인터뷰 당시 김륜 씨의 아이디어가 기술적으로 더 많은 발전이 필요하다고 생각했지만, Genie3가 나온 후 다시 보니 매우 설득력 있는 방식임을 깨달았다.

​

Genie3와 가상 촬영장의 시너지:

1. 물리 법칙 및 공간 일관성: Genie3는 물리 법칙과 공간적 일관성을 갖춘 세계를 실시간으로 창조할 수 있다.
2. 카메라 움직임: 방향키 움직임이 곧바로 카메라의 움직임이 된다.
3. 소품, 배경, 엑스트라 추가: 사용자가 프롬프트로 이벤트를 추가할 수 있듯이, 소품, 배경, 심지어 엑스트라 한 명까지 AI가 만든 촬영장에 그대로 추가할 수 있다.
4. 미래의 감독 역할: 단 한 명의 인간 감독이 AI가 구축한 거대한 가상 촬영장 안에서 카메라, 조명, 액션 등을 지시하면, AI 에이전트들이 알아서 움직이며 조명을 비추고, 오디오를 따고, 소품을 만들어주는 시대가 올 수 있다.
5. 감독이 라이팅을 조절하고 앵글을 바꾸며 자신의 연출과 느낌을 넣었을 때, 매우 유니크하고 매력적인 영상 결과물이 나올 것이라고 김륜 씨는 예측했다.
6. 이 발언은 Genie3에 대한 직접적인 언급은 아니었지만, 3D AI 기술을 도입해 촬영장을 3D로 구현했을 때의 장점을 언급한 것으로, Genie3의 등장으로 이 예측이 더욱 설득력을 얻게 되었다.

​

XR(확장 현실)과의 연계: 이러한 기술 발전은 애플 비전 프로나 프로젝트 무한과 같은 XR 기기의 대중화를 이끌 수 있다.

1. 킬러 콘텐츠 탄생: 현재 XR 대중화에 가장 부족한 것이 다양한 콘텐츠인데, AI가 무한히 공간을 만들어내고 이를 눈앞에서 생생한 경험으로 제공할 수 있다면 그 자체로 XR 장비를 위한 킬러 콘텐츠가 될 것이다.
2. 완전 몰입 가상 환경: 이 기술이 한두 단계 더 발전하면 흔히 말하는 완전 몰입 가상 환경이 도래하는 순간이 올 수도 있다.
3. 김륜 씨 또한 비전 프로와 같은 XR 장비에 대한 관심을 숨기지 않았으며, 전문가들이 비슷한 미래를 바라보고 있음을 시사한다.

​

5. Genie3의 혁신적 의미와 미래 전망

1. 미래 청사진의 현실화: Genie3는 김륜 씨를 비롯한 선구적인 크리에이터들이 막연하게 그려왔던 미래의 청사진이 이제 현실에 도착했음을 알리는 신호탄이다.
2. 산업 전반의 영향: Genie3는 게임 산업뿐만 아니라 영상 업계를 포함한 거의 모든 업계에 엄청난 영향을 미칠 대사건으로 평가된다.
3. 기술적 특이점: Genie3를 통해 AI와 특이점을 여실히 느끼는 사람들이 많으며, 이는 올해 본 기술 중 가장 신기한 기술로 여겨진다.