AI-네이티브 시리즈 · 리버스 엔지니어링
오픈소스로 나만의 HeyGen 만들기
1분 요약: 이 글에서 얻어갈 것
HeyGen은 연간 반복 매출(ARR) 약 1억 달러 규모의 AI 영상 기업이다. 나는 이 회사를 모듈 단위로 분해해서 각 조각—아바타, 립싱크, 음성, 더빙, 실시간 처리—을 최상의 오픈소스 대체재에 대응시켜 보았다. 모든 모듈에 신뢰할 만한 오픈소스 대응물이 존재하지만, 완전히 상업적으로 안전한 단일 레포 클론은 존재하지 않으며, 음질이 가장 뛰어난 모델들은 비상업용이다. 진짜 해자는 모델이 아니라 제품 레이어다.
HeyGen은 연간 반복 매출(ARR) 약 1억 달러 규모의 AI 영상 기업이고, 그 아바타는 정말로 훌륭하다. 그래서 나는 창업자라면 누구나 할 법한 뻔한 일을 했다. 이 회사를 모듈 단위로 분해한 뒤, 조각마다 이렇게 물었다. 가장 뛰어난 오픈소스 대체재는 무엇인가? 그 답은 고무적이면서 동시에 나를 겸손하게 만드는 것이었다.
마법 상자가 아니라 파이프라인이다
모든 "AI 아바타 영상" 제품은 동일한 6단계 파이프라인으로 이루어져 있다. 이 단계들을 한번 보고 나면, HeyGen은 더 이상 하나의 거대한 덩어리가 아니라 장바구니 목록이 된다.
- 아바타 합성 — 사진이나 참조 영상을 말하는 얼굴로 바꾼다.
- 립싱크 — 오디오로 입 모양을 구동한다.
- 음성 / TTS — 목소리를 복제하거나 합성한다.
- 번역 / 더빙 — 목소리를 유지한 채 다른 언어로 현지화한다.
- 실시간 스트리밍 — 지연 1초 미만으로 이 모든 걸 라이브로 처리한다.
- 오케스트레이션 — 비기술 사용자를 위해 이 모든 걸 하나로 묶어주는 앱.
모듈별 대응표
| HeyGen 모듈 | 최상의 OSS (상업적으로 안전) | 라이선스 | 격차 |
|---|---|---|---|
| 아바타 합성 | MuseTalk, EchoMimicV2 | MIT / Apache | 전신 및 아이덴티티 일관성 |
| 립싱크 | LatentSync, MuseTalk | Apache / MIT | 극단적인 머리 각도 |
| 음성 / TTS | GPT-SoVITS, F5-TTS, OpenVoice | MIT | 가장 뛰어난 음성 모델일수록 상업적으로 쓸 수 없다 |
| 번역 / 더빙 | faster-whisper + WhisperX + SoniTranslate | MIT / BSD / Apache | 원클릭 QA 대 직접 조립 |
| 실시간 스트리밍 | LiveTalking (MuseTalk 백엔드) | Apache | 지연 시간, GPU 비용, 스케일링 |
| 오케스트레이션 (전체) | HeyGem / Duix-Avatar | 커스텀, 비-OSI | 관대한 라이선스의 단일 레포 클론 부재 |
스타 수와 라이선스는 2026-07-22 기준 GitHub API로 검증했다. 라이선스는 바뀔 수 있으니 빌드 전에 반드시 확인하라.
당신 발목을 잡을 두 가지 함정
라이선스 함정. 가장 많이 포크되고 가장 뛰어난 모델일수록 정작 출시할 수 없는 모델이다. 립싱크의 고전적 베이스라인인 Wav2Lip은 연구 전용 데이터셋으로 학습되었다. 최고의 음성 클로너들 — fish-speech, Coqui XTTS-v2 — 은 비상업용이고, Coqui는 아예 문을 닫아서 라이선스를 살 곳조차 없다. 상업적으로 안전한 경로가 존재하긴 하지만(LatentSync, GPT-SoVITS, F5-TTS), 이는 두 번째로 뛰어난 경로일 뿐이며, 아낀 돈은 결국 튜닝에 쏟아붓게 될 것이다.
제품 함정. 모든 모델을 공짜로 조립해도 여전히 HeyGen이 되지는 않는다. 아바타 라이브러리, 스크립트 에디터, 더빙 QA 루프, 렌더 큐, 동의 및 모더레이션 레이어, 지원 조직 — 이 중 어느 것도 오픈소스가 아니다. 이것이 진짜 해자다.
HeyGen의 방어력은 어떤 단일 모델에 있지 않다 — 이제 모든 모듈에 신뢰할 만한 오픈소스 대응물이 있다. 방어력은 통합, 한계 지점에서의 사실감, 저렴한 종량제 API, 그리고 모델을 감싸는 제품 레이어, 이 넷에서 나온다. 이 영역에서 뭔가를 만들 생각이라면, 모델로 그들을 이기려 하지 마라. 대신 제품으로 그들이 소홀히 하는 좁은 영역을 파고들어 제품으로 승부하라.
내가 이 작업을 한 방법, 그리고 그 작업을 해낸 도구에 대한 정직한 성적표
나는 이 작업을 내가 만들어온 리버스 엔지니어링 방법론(비공개 레포, 의도적으로)을 통해 진행했다. 흥미로운 부분은 바로 그 원칙이다: 공개된 증거만 수집하고, 모든 주장에 fact / inference / speculation 태그를 붙이며, 출처 추적 기록을 유지하고, 추론이 사실인 것처럼 표시되는 일을 절대 허용하지 않는다. 대상이 제품이든, 논문이든, 시장이든 방법론은 동일하다.
그런 다음 나는 이 도구를 정직하게 평가했다. 스스로는 해체될 수 없는 분해 도구라면 신뢰할 수 없기 때문이다. 잘 작동한 부분. 이 도구는 실제 사이트를 직접 훑어보았고, 모든 주장에 유형과 출처를 표시했으며, 자체 게이트를 강제했다(보호된 IP를 휴먼 사인오프 없이 재현하는 것을 거부한다). 고장 난 부분. 그리고 이게 진짜 흥미로운 대목이다. 처음 실행했을 때, 이 도구는 0.96 신뢰도를 보고했는데, 너무 높았다. 이 도구는 HeyGen 내부에 대한 나의 추론을 마치 사실인 것처럼 세고 있었다. 나는 증거 유형이 신뢰도 계산에 반영되도록 고쳤고, 다시 실행하자 신뢰도는 실제로 떨어졌다. 더 낮지만 더 진실한 숫자, 그게 핵심이다.0.74.
당시의 정직한 공백은 이랬다: 이 도구는 강력한 정직성 뼈대이긴 했지만, 아직 리버스 엔지니어링 자체를 대신해주지는 못했다. 이 글을 처음 쓴 이후로, 나는 그 공백 대부분을 메웠다. 이제 이 도구는 실제 대상 사이트를 스스로 직접 훑어보고, 신뢰도 계산은 구조적으로 증거 유형을 반영하며 — 여기서 중요한 부분인데 — 위에 나온 모듈별 오픈소스 매핑을 스스로 만들어낸다, 존재하지 않는 레포를 지어내는 대신(복제 불가능한 제품 레이어는 정직하게 '알 수 없음'으로 표시한다). 같은 증빙 자료 위에서, 약점이 오히려 장점으로 바뀐 셈이다.
다음 단계
엔진은 당분간 비공개로 유지한다. 완료된 것은 라이브 브라우징, 근거 유형이 반영된 신뢰도 계산, 네이티브 모듈-OSS 매핑이다. 위의 지도는 손으로 만든 게 아니라 자동 생성된 것이다. 남은 것은 기본 경로에서의 완전한 모델 주도 분해다. 즉, 내가 건네주는 모듈 분해를 그대로 따르는 게 아니라 도구 스스로 모듈 분해를 제안하게 만드는 것이다. 목표는 변함없다. 어떤 대상이든 엄밀하고 출처가 뒷받침된 분해 작업을 저렴하게 만드는 것이다.
AI 영상 분야에서 자체 개발과 구매 사이에서 고민 중이라면: 사실감과 API는 사서 쓰고, 좁은 제품 쐐기는 직접 만들어라. 이제 모델은 상품(commodity)이 됐다. 제품은 아직 아니다.
AI-Native 시리즈 · Paul Jialiang Wu · love12xfuture · 공개된 출처만 사용했으며 HeyGen과 무관함. 이 분석은 이해와 상호운용성을 위한 것이지, 누군가의 보호된 모델을 그대로 재현하기 위한 것이 아니다. 수치는 2026-07-22 기준이며 빠르게 변동한다.