AI-Nativeシリーズ｜リバースエンジニアリング編
オープンソースで自分だけのHeyGenを作る
1分で分かる本稿の要点
HeyGenはARR約1億ドル規模のAI動画企業だ。私はこれをモジュールごとに分解し、それぞれの最良のオープンソース代替品にマッピングした——アバター、リップシンク、音声、吹き替え、リアルタイム処理。すべてのモジュールに信頼できるOSS代替品が存在するが、商用利用に完全対応した単一リポジトリのクローンは存在せず、音質面で最も優れたモデルは非商用限定だ。本当の堀（moat）はモデルではなく、プロダクト層にある。
HeyGenはARR約1億ドル規模のAI動画企業であり、そのアバターは本当に優れている。だから私は創業者らしいことをやってみた——モジュールごとに分解し、一つひとつについて「最良のオープンソース代替品は何か」と自問したのだ。答えは、励みになると同時に、少々身につまされるものだった。
魔法の箱ではない、ただのパイプラインだ
「AIアバター動画」プロダクトはどれも同じ6段階のパイプラインでできている。この段階さえ見えてしまえば、HeyGenは謎に包まれた一枚岩ではなく、部品リストへと姿を変える。
- アバター合成——写真や参照動画から、話す顔を生成する。
- リップシンク——音声から口の動きを駆動する。
- 音声 / TTS — 声をクローンまたは合成する。
- 翻訳／吹き替え — 声を保ったまま他言語にローカライズする。
- リアルタイム配信 — これらすべてをライブで、1秒未満のレイテンシで行う。
- オーケストレーション — 技術に詳しくないユーザーのために全体をまとめ上げるアプリ。
モジュールごとの対応マップ
| HeyGenのモジュール | 最良のOSS（商用利用可能） | ライセンス | ギャップ |
|---|---|---|---|
| アバター合成 | MuseTalk、EchoMimicV2 | MIT／Apache | 全身表現とアイデンティティの一貫性 |
| リップシンク | LatentSync、MuseTalk | Apache／MIT | 極端な頭部角度 |
| 音声／TTS | GPT-SoVITS、F5-TTS、OpenVoice | MIT | 音質面で最も優れたモデルは非商用限定だ |
| 翻訳・ダビング | faster-whisper + WhisperX + SoniTranslate | MIT / BSD / Apache | ワンクリックQAか、自前で組み立てるか |
| リアルタイム配信 | LiveTalking（MuseTalkバックエンド） | Apache | レイテンシ、GPUコスト、スケーリング |
| オーケストレーション（全体） | HeyGem / Duix-Avatar | 独自ライセンス、非OSI | 寛容ライセンスの単一リポジトリ・クローンは存在しない |
スター数とライセンスは2026-07-22時点でGitHub APIにより確認済み。ライセンスは変わり得るため、着手前に確認されたい。
足をすくわれる二つの罠
ライセンスの罠。 最もフォークされ、音質が最も優れたモデルこそ、実際には出荷できないものだ。定番のリップシンクベースラインであるWav2Lipは、研究用途限定のデータセットで学習されている。音質が最も優れた音声クローニングモデル——fish-speechやCoqui XTTS-v2——も非商用限定であり、しかもCoquiはすでに事業をたたんでいるため、ライセンスを買い取る相手すら存在しない。商用利用が可能な道（LatentSync、GPT-SoVITS、F5-TTS）は確かにあるが、それは次点の音質に甘んじる道であり、節約したはずの費用はチューニングに消えていく。
プロダクトの罠。 すべてのモデルを無料で組み合わせたとしても、それだけではHeyGenにはならない。アバターライブラリ、スクリプトエディタ、ダビングのQAループ、レンダリングキュー、同意・モデレーション層、サポート組織——これらのどれもオープンソースではない。これこそが本当の堀（moat）だ。
HeyGenの防御力は、どれか単一のモデルにあるわけではない。今やどのモジュールにも信頼できるオープンソースの代替が存在するからだ。堀（moat）の実体は、統合力、周縁部での再現度の高さ、安価な従量課金API、そしてモデルを取り巻くプロダクト層にある。 ここで勝負するなら、モデルで彼らを上回ろうとしてはいけない。彼らが手薄にしている領域で、プロダクト力で上回ることだ 彼らが手薄にしている狭い領域を、プロダクト力で制することだ。
どうやったか — そして、それをやったツール自身の正直な成績表
私はこれを、自分で構築中のリバースエンジニアリング手法にかけた（非公開リポジトリで進めている理由がある）。規律こそが面白い部分で、公開情報のみを集め、あらゆる主張にfact / inference / speculation（事実／推論／推測）とタグを付け、出所の記録を残し、推論を事実として通用させることは決してしない。対象がプロダクトであれ、論文であれ、市場であれ、手法は変わらない。
それから、このツールを正直に採点した。自分自身を解体できないティアダウンツールなど信用できないからだ。うまくいった点：ライブサイトを実際に閲覧し、あらゆる主張に型と出典を付け、自らのゲートを守った（ヒューマンゲートなしに保護されたIPを再現することを拒否する）。壊れていた点、そしてここが有益なのだが——最初に実行したとき、ツールは0.96非常に高い確信度を報告した。高すぎる。HeyGenの内部構造についての私の推論を、まるで事実であるかのように数えていたのだ。証拠のタイプが確信度の計算に反映されるよう修正して再実行したところ、確信度は正直にぐっと下がった0.74。数値が下がるほど真実に近づく、それが肝心な点だ。
当時の正直なギャップを言えば、このツールは強力なhonesty scaffold（正直さの土台）ではあったが、まだリバースエンジニアリング自体を代行してはくれなかった。本稿を最初に書いた時点から、私はそのギャップの大半を埋めてきた。今では対象のライブサイトを自ら閲覧し、確信度の計算も構造上、証拠のタイプを尊重するようになった。ここが肝心なのだが、上記のモジュール単位のOSSマップを、ツール自身が生成し、存在しないリポジトリをでっち上げることもない（複製不可能なプロダクト層については、捏造するのではなく、正直に「unknown（不明）」と表示する）。かつての弱点は、同じ裏付けのまま強みへと変わったのだ。
次にやること
エンジンは今のところ非公開のままだ。すでに完了しているのは、ライブブラウジング、エビデンス種別を反映した確信度計算、そしてモジュールとOSSを結びつけるネイティブなマッピングだ。上のマップは手作業ではなく、ツール自身が生成したものである。残っているのは、デフォルトの処理経路でモデル駆動の分解を完全に行えるようにすることだ。つまり、私がモジュール分割を渡すのではなく、ツール自身がモジュール分割を提案するようにする。目標は変わらない。どんな対象に対しても、証跡に裏打ちされた厳密な分解を、安く生成できるようにすることだ。
AI動画分野で自作か購入かを迷っているなら、答えはこうだ。リアリズムとAPIは買い、狭い製品のくさびは自分で作る。モデルはもうコモディティになった。プロダクトはそうではない。
AI-Native Series · Paul Jialiang Wu · love12xfuture · 公開情報のみを使用。HeyGenとは提携関係にない。この分析は理解と相互運用性のためのものであり、他者の保護されたモデルを再現する目的ではない。数値は2026年7月22日時点のもので、この分野は動きが速い。