Google에 의한 VideoPoet를 통한 비디오 생성 혁신
구글 리서치의 VideoPoet는 언어 모델을 강력한 비디오 생성기로 변환하는 첨단 프로그램입니다. MAGVIT V2 비디오 토크나이저와 SoundStream 오디오 토크나이저와 같은 고급 구성 요소를 활용하여 이미지, 비디오 및 오디오 클립을 이산 코드 시퀀스로 변환합니다. 이 코드들은 텍스트 기반 언어 모델과 통합되어 도구가 시퀀스에서 다음 비디오 또는 오디오 토큰을 예측할 수 있게 합니다. VideoPoet는 텍스트에서 비디오, 이미지에서 비디오, 비디오 스타일화 등 다양한 생성 학습 목표를 제공하여 비디오 합성의 다재다능성을 보여줍니다.
VideoPoet는 정사각형 또는 세로 방향의 고품질 비디오를 생성할 수 있는 능력으로 두드러집니다. 비디오 중심 입력에서의 다중 작업, 객체 식별 보존, 대화형 비디오 편집 기능과 같은 기능을 갖춘 VideoPoet는 언어 모델이 놀라운 시간적 일관성을 갖는 비디오를 만드는 데 어떻게 활용될 수 있는지 보여줍니다.
