텍스트로 동영상을 만드는 Text-to-video AI

 모바일 사진·영상 편집기의 강자 픽스아트가 새로운 방식의 비디오 생성 인공지능(AI) 모델을 선보였다. 페타픽셀은 27일(현지시간) 픽스아트의 AI 연구팀이 텍스트 프롬프트만으로 새로운 비디오를 만들 수 있는 동영상 생성 AI 모델 '페어(PAIR)'를 개발, 깃허브와 허깅페이스에 오픈소스 데모로 공개했다고 보도했다.

 픽스아트 연구팀은 트위터를 통해 "최근 텍스트-비디오 생성 접근 방식은 계산적으로 많은 훈련에 의존하며 대규모 비디오 데이터 세트가 필요하다"며 "대신 우리는 '제로 샷' 텍스트-비디오 생성이라는 새로운 방식을 사용했다"라고 설명했다. 제로 샷이란 AI 모델이 학습 과정에서 배우지 않은 작업을 수행하는 방법으로, '성능'을 높이기 위한 지도학습 방법이 아니라 데이터에 자체에 대한 '이해와 표현력'을 높이기 위한 비지도학습 및 자기지도학습 같은 기술을 말한다.

 다음은 텍스트-투-비디오 ai에 대한 설명 전문. 텍스트-투-비디오(Text-to-Video) AI는 글이나 음성 텍스트에서 영상 콘텐츠를 생성하는 인공지능 기술의 한 종류를 말합니다. 이 기술은 자연어 처리(NLP) 알고리즘을 사용하여 텍스트 입력을 분석하고 이해한 다음 입력 내용을 기반으로 비디오를 생성합니다. 즉, 텍스트-투-비디오 AI를 사용하여 주어진 스크립트나 대화에서 자동으로 비디오를 만들 수 있으며 이것은 비디오 제작, 이러닝, 마케팅 등과 같은 광범위한 응용 분야에서 이용 가능합니다. 예를 들어, 마케팅 담당자는 텍스트-투-비디오 AI를 사용하여 제품 또는 서비스에 대한 홍보 비디오를 만들 수도, 교육 담당자는 이를 사용하여 온라인 과정에 대한 교육 비디오를 만들 수 있으며, 엔터테인먼트에서 텍스트-투-비디오 AI는 다가오는 쇼나 이벤트를 위한 영화 예고편이나 홍보 비디오를 생성하는 데 사용될 수 있습니다.

 텍스트에서 비디오를 생성하는 프로세스에는 관련 이미지 또는 영상을 선택하고, 순서대로 정렬하고, 전환, 효과 및 음악을 추가하여 세련되고 전문적으로 보이는 비디오를 만드는 것이 포함됩니다. 일부 텍스트-투-비디오 AI 모델은 딥 러닝 기술을 사용하여 기존 비디오 콘텐츠에서 학습하고 시간이 지남에 따라 출력의 정확성과 품질을 향상시킵니다. 텍스트-투-비디오 AI는 아직 개발 초기 단계이지만, 우리가 비디오 콘텐츠를 만들고 소비하는 방식에 혁명을 일으킬 수 있는 잠재력을 가지고 있습니다. 그러나 특히 딥 페이크 비디오를 만들거나 허위 정보를 퍼뜨리는 데 오용될 가능성과 관련하여 이 기술의 윤리적 의미에 대한 우려도 있는 것이 현실입니다. 텍스트-투-비디오 AI를 책임감 있고 윤리적으로 사용하고, 안전하고 책임감 있는 사용을 보장하기 위한 규정과 지침을 개발하는 것이 중요합니다.

출처 : AI타임스(https://www.aitimes.com)