2022년, 세계적 반도체 거인 인텔은 "엔지니어가 돌아왔다"라는 문구와 함께 팻 겔싱어를 새 CEO로 맞이했습니다. 이는 마케팅과 영업 출신 경영진이 이끌던 회사가 다시 기술 출신 리더로 돌아간 중요한 전환점이었습니다.

"왜 인텔은 이 시점에서 '엔지니어 CEO'가 필요했을까요?"

반도체 기술의 본고장인 미국에서는 최근 몇 년간 AI 칩 분야에서 혁신적인 스타트업들이 등장하고 있습니다. 이들은 엔비디아와 같은 거대 기업들과 경쟁하면서 수십억 달러의 투자를 유치하고 있습니다. 이 성공의 비결은 무엇일까요?

이 질문에 답하기 위해 저는 호기심을 가지고 미국 AI 칩 스타트업들을 분석하기 시작했습니다. 특허 정보를 중심으로 이들 기업의 기술과 리더십을 조사하던 중, 흥미로운 공통점을 발견했습니다.

성공적인 AI 칩 스타트업들의 창업자와 CEO는 단순한 경영자가 아닌 핵심 기술에 직접 참여하는 기술 리더라는 점입니다. 이들은 기업의 재무제표보다 기술 자체에 더 큰 가치를 두고 있었습니다. 이러한 통찰은 국내 기업들에게도 중요한 시사점을 제공합니다.

목차
1.    미국 AI 칩 스타트업들의 개요: 10개 주요 기업 소개
2.    Groq: Google 출신 엔지니어의 AI 추론 혁신
3.    Cerebras Systems: 웨이퍼 스케일로 AI 한계 극복
4.    기술 주도 리더십의 공통 패턴: AI 칩 스타트업의 성공 방정식
5.    한국 기업에 대한 시사점: 기술 리더십의 재정립
6.    Beyond the Balance Sheet - 재무제표를 넘어선 가치 창출

1. 미국 AI 칩 스타트업들의 개요: 10개 주요 기업 소개

저는 미국의 주요 AI 칩 스타트업 10개 기업을 선정하여 분석했습니다. 이 기업들은 AI 컴퓨팅의 미래를 형성하는 핵심 플레이어들입니다. 먼저 10개 기업의 개요를 간략히 소개합니다.

분석 결과, 이 기업들 사이에서 놀라운 공통점을 발견했습니다.

핵심 발견: 대부분의 창업자와 CEO가 자사의 핵심 특허 발명자로 등재되어 있었습니다.

 

이번 시리즈의 첫 번째 기고에서는 특히 Groq와 Cerebras Systems에 대해 더 자세히 살펴보겠습니다.

후속 기고에서는 나머지 8개 기업을 각 2개씩 소개하며 심층 분석할 예정입니다.

2. Groq: Google 출신 엔지니어의 AI 추론 혁신

Groq의 설립자이자 CEO인 Jonathan Ross는 Google에서 TPU(Tensor Processing Unit) 개발을 주도한 엔지니어입니다. 구글에서의 경험을 바탕으로 2016년 Groq를 설립한 그는 AI 추론에 최적화된 전용 프로세서 개발에 집중했습니다.

1) 기술적 혁신: Language Processing Unit(LPU)

Ross는 기존 GPU나 다른 AI 가속기와는 완전히 다른 접근법을 취했습니다. 그가 개발한 LPU는 다음과 같은 특징을 가지고 있습니다:

• 결정적(Deterministic) 성능: 동일한 작업에 대해 항상 일정한 성능을 보장하는 아키텍처
• 고효율 실행 엔진: 최소한의 오버헤드로 명령어를 처리하는 구조
• 독자적 데이터 흐름 설계: 메모리 병목 현상을 최소화하는 혁신적인 데이터 처리 방식

제가 Groq의 미국 특허 US10448054B2를 분석해보니, Jonathan Ross가 직접 발명자로 등재되어 있으며, 이 특허는 Groq의 핵심 기술인 메모리 효율성 향상과 데이터 처리 속도 개선에 관한 내용을 담고 있었습니다.

2) 특허 분석 결과

keywert 검색 결과, 2025년 04 월30일 기준으로, Groq는 총 48개의 특허를 미국에 출원하였으며, 그 중 총 58개의 특허를 등록받았으며, 그중 상당수에 Ross가 발명자로 등재되어 있습니다. 특히 주목할 만한 점은 그가 단순히 경영만 하는 것이 아니라, 회사의 핵심 기술 개발에 직접 참여하고 있다는 사실입니다.

3) 시장에서의 성과

이러한 기술적 혁신 덕분에 Groq는 2024년 시리즈 D 투자 라운드에서 6억 4천만 달러를 유치했으며, 기업가치는 28억 달러에 달합니다. 특히 생성형 AI 모델의 추론 가속화 분야에서 강력한 경쟁력을 보여주고 있습니다.

3. Cerebras Systems: 웨이퍼 스케일로 AI 한계 극복

2015년 설립된 Cerebras Systems는 기존 AI 칩 설계의 근본적인 한계를 뛰어넘는 접근법으로 주목받고 있습니다. 창업자 Andrew Feldman과 공동창업자 Gary Lauterbach, Michael James, Sean Lie는 모두 반도체 업계의 베테랑들입니다.

1) 기술적 혁신: 웨이퍼 스케일 엔진(WSE)

Cerebras의 혁신은 "더 크게 생각하자(Think Bigger)"는 철학에서 시작됩니다. 일반적인 AI 칩이 웨이퍼에서 작은 조각을 잘라내 사용하는 것과 달리, Cerebras는 전체 웨이퍼를 하나의 거대한 칩으로 사용합니다:

• 초대형 칩 설계: WSE-3는 한 개의 웨이퍼에 4조 개 이상의 트랜지스터를 포함
• 메모리 병목 현상 해결: 850,000개 이상의 AI 최적화 코어가 40GB의 온칩 메모리에 직접 접근
• 매시브 패러렐 처리: 코어 간 초고속 통신으로 병렬 처리 성능 극대화

2) 특허 분석 결과

keywert 검색 결과, 2025년 04월 30일 기준으로 Cerebras Systems(Cerebras Systems Inc.)는 총 54개의 특허를 미국에 출원하였으며 그 중 총 44개의 특허를 등록 받았습니다. 이 중 주목할 만한 특허인 US11488004B2에는 공동창업자 Sean Lie, Michael James 등이 발명자로 등재되어 있습니다 이 특허는 "뉴런 스미어링(Neuron Smearing)" 기술에 관한 것으로, 대규모 병렬 처리 환경에서 뉴런 연산을 효율적으로 처리하는 방법을 다루고 있습니다.

<Cerebras의 특허 도면 예시: 뉴런 스미어링 기술>

출처 : US 11488004 B2, keywert

특허 도면을 분석해보면, Cerebras의 공동창업자들이 단순히 사업 아이디어만 제공한 것이 아니라, 기술적 세부사항까지 직접 설계했음을 알 수 있습니다. 이는 기술 중심 리더십의 대표적인 사례입니다.

3) 시장에서의 성과

Cerebras는 7억 달러 이상의 투자를 유치했으며, 현재 IPO를 준비 중입니다. 기업가치는 40억 달러를 넘어섰으며, 대형 AI 모델 학습을 위한 솔루션으로 엔비디아의 대안으로 자리매김하고 있습니다.

4. 기술 주도 리더십의 공통 패턴: AI 칩 스타트업의 성공 방정식

이번 분석을 통해 확인한 현상은 단순한 우연이 아닙니다. 미국 AI 칩 스타트업들의 놀라운 성장 배경에는 재무제표를 넘어선 기술 주도 리더십이라는 공통된 패턴이 있습니다. 이들 기업의 창업자와 CEO는 다음과 같은 특징을 공유합니다:

특징 1) 깊은 기술적 전문성과 비전

성공적인 AI 칩 스타트업의 리더들은 반도체, 컴퓨터 아키텍처, 머신러닝 등의 분야에서 깊은 전문성을 보유하고 있습니다. 이들은 단순히 트렌드를 따라가는 것이 아니라, 새로운 패러다임을 창조합니다.

• Groq의 Jonathan Ross: Google TPU 프로젝트 리드로서의 경험을 바탕으로 AI 추론에 최적화된 새로운 아키텍처 구상
• Cerebras의 Andrew Feldman: 기존 칩 설계의 물리적 한계를 극복하기 위한 웨이퍼 스케일 접근법 개척
• Lightmatter의 Nicholas Harris와 Darius Bunandar: MIT 박사 출신으로 광자를 활용한 컴퓨팅의 가능성 실현
• Tenstorrent의 Jim Keller: AMD, Apple, Tesla, Intel에서의 경험을 바탕으로 AI와 RISC-V를 결합한 새로운 컴퓨팅 아키텍처 제시

이들의 전문성은 단순히 학문적인 지식을 넘어, 실제 산업에서의 깊은 이해와 경험을 포함합니다. 가장 중요한 것은 이들이 현재의 기술적 한계를 명확히 인식하고, 이를 돌파할 수 있는 혁신적인 비전을 제시한다는 점입니다.

특징 2) 기술 혁신에 대한 직접적 참여와 특허 활동

이들 리더는 '비전 제시자'에 그치지 않고, 직접 기술 개발에 참여합니다. 특허 발명자로서의 활동은 이를 명확히 보여줍니다.

• • Tenstorrent: 미국 특허 42개 중 37개(88%)에 창업자 Ljubisa Bajic가 발명자로 등재
  • Lightmatter: 미국 특허 100개 중 78건(78%)에는 창업자들 중 1명인 Darius Bunandar가,  총 68건(68%)에는 Nicholas C. Harris가 각각 공동 발명자로 등재
  • Blaize: 핵심 특허에 CEO와 공동창업자 모두가 발명자로 참여

이러한 직접적인 참여는 기술의 방향성과 우선순위를 결정하는 데 결정적인 역할을 합니다. 자신의 아이디어를 특허로 구체화하고, 엔지니어링 팀과 함께 문제를 해결하는 과정에서 조직 내에 혁신 문화가 자연스럽게 형성됩니다. 이는 최고의 기술 인재를 유치하고 유지하는 데도 큰 도움이 됩니다.

특징 3) 장기적 관점의 가치 창출과 투자자 신뢰 확보

이들은 단기적인 재무 성과보다 장기적인 기술적 경쟁력 확보에 집중합니다. 특히 주목할 점은 이러한 기술 중심 접근법이 오히려 대규모 투자 유치에 성공하고 있다는 것입니다.

• Groq: 시리즈 D에서 6억 4천만 달러 유치, 28억 달러 기업가치
• Cerebras: 7억 달러 이상 유치, 40억 달러 기업가치
• SambaNova: 11억 달러 이상 유치
• Lightmatter: 7억 달러 이상 유치, 44억 달러 기업가치

투자자들은 단기적인 수익보다 게임 체인저가 될 수 있는 기술과 그 기술을 개발하는 리더의 전문성에 높은 가치를 부여하고 있습니다. Celestial AI의 광학 패브릭 기술이나 Lightmatter의 광자 컴퓨팅과 같은 혁신은 당장의 수익보다 미래 시장을 선도하기 위한 장기적 투자입니다.

특징 4) 혁신적 조직 문화와 탁월한 인재 영입

기술 중심 리더십은 조직 문화에도 깊은 영향을 미칩니다. 이들 스타트업은 단순한 실행자가 아닌, 혁신적인 사고를 가진 엔지니어들을 유치하고 있습니다.

• Tenstorrent: 업계 전설 Jim Keller가 CEO로 영입되고, 그의 주도로 AMD, Intel 등 대기업 출신 핵심 인재 다수 영입
• Cerebras: AWS, Google, Intel, NVIDIA 출신의 하드웨어 및 소프트웨어 전문가 영입
• SambaNova: 스탠포드 대학 컴퓨터 과학과 교수들이 공동창업, 학계와 산업계 최고 인재 결합

특히 주목할 점은 이들 기업의 리더가 단순히 경영만 하는 것이 아니라, 기술적 방향성을 직접 제시하고 핵심 문제 해결에 참여함으로써 "함께 일하고 싶은 리더"로 인식된다는 점입니다. 이는 실리콘밸리의 치열한 인재 전쟁에서 중요한 경쟁 우위를 제공합니다.

5. 한국 기업에 대한 시사점: 기술 리더십의 재정립

이러한 연구 결과는 국내 반도체 및 AI 하드웨어 기업들에게 중요한 시사점을 제공합니다. 한국은 반도체 강국이지만, 최근 AI 칩 분야에서의 주도권을 미국과 중국 기업들에게 내주고 있는 실정입니다. 글로벌 경쟁력을 회복하기 위해 다음과 같은 변화가 필요합니다.

1) 기술 중심 리더십의 재정립

• 현황 국내 대기업과 중견기업의 경우, 기술 배경 없는 경영자가 CEO를 맡는 경우가 많습니다. 기술 책임자(CTO)는 주로 실행과 관리에 집중하며, 핵심 기술 방향성 결정에 제한적인 영향력을 갖는 경우가 많습니다.
• 제안
  • C-레벨 경영진에 기술 전문가의 비중을 높이고, 이들에게 실질적인 의사결정 권한 부여
  • CEO와 기술 리더 간의 긴밀한 협력 체계 구축, 필요시 기술 배경을 가진 CEO 임명 고려
  • CTO 역할을 단순 관리자가 아닌 기술 혁신의 주체이자 비전 제시자로 격상
  • 경영진이 R&D 현장과 직접 소통하는 문화 조성, 주요 기술 미팅에 경영진 참여 확대
• 사례 참고  AMD의 리사 수(Lisa Su) CEO는 반도체 공학 박사 출신으로, 2014년 CEO 취임 이후 기술 중심 경영을 통해 파산 위기에 있던 회사를 완전히 재건했습니다. 특히 Zen 아키텍처 개발에 직접 참여하며 기술적 방향성을 제시한 결과, AMD의 시장 점유율과 주가는 10배 이상 성장했습니다.

2) R&D 투자의 패러다임 전환

• 현황: 국내 기업들의 R&D는 단기적 성과와 점진적 개선에 초점을 맞추는 경향이 있습니다. 양적인 특허 확보와 기존 제품의 성능 개선에는 강점을 보이지만, 게임 체인저급 혁신 기술 개발에는 상대적으로 취약합니다.
• 제안:
  • 장기적 관점의 혁신 기술 개발에 대한 투자 확대 (5~10년 이상의 시계)
  • 실패를 허용하는 R&D 문화 조성, "빠른 실패, 빠른 학습" 접근법 도입
  • 기존 비즈니스 모델을 넘어서는 파괴적 혁신 기술에 대한 투자 비중 확대
  • 단기 성과와 장기 혁신의 균형을 유지하는 이원화된 R&D 포트폴리오 구성
• 사례 참고: Cerebras의 웨이퍼 스케일 엔진(WSE)은 전통적인 칩 설계 방식을 완전히 뒤엎는 접근법이었지만, 이 과감한 시도 덕분에 AI 학습 분야에서 독보적인 위치를 차지할 수 있었습니다.

3) 특허 전략의 고도화와 C-레벨의 직접 참여

• 현황: 국내 기업들은 특허 출원 수에서는 세계적인 수준이지만, 질적인 측면과 핵심 기술 특허 확보 측면에서는 아직 개선의 여지가 있습니다. 특허 활동이 주로 R&D 부서와 특허팀에 국한되는 경향이 있습니다.
• 제안:
  • 경영진이 직접 핵심 특허 개발 및 출원에 참여하는 문화 조성
  • 특허의 양보다 질과 전략적 가치에 초점을 맞춘 평가 시스템 도입
  • 기업의 미래 기술 로드맵과 긴밀히 연계된 특허 포트폴리오 구축
  • 경영진 평가 지표에 기술 혁신 및 특허 성과 반영
• 사례 참고: Lightmatter의 경우, 전체 특허 중 91%에 CEO와 공동창업자가 발명자로 등재되어 있으며, 이러한 직접적인 참여가 회사의 기술적 방향성과 특허 전략에 일관성을 부여합니다.

4) 글로벌 인재 확보와 기술 생태계 조성

• 현황: 국내 기업들은 해외 우수 인재 유치와 유지에 어려움을 겪고 있으며, 특히 AI 및 첨단 반도체 설계 분야의 전문가 확보 경쟁에서 불리한 위치에 있습니다.
• 제안:
  • 기술 전문가들에게 매력적인 도전 과제와 자율성 제공
  • 해외 R&D 센터를 전략적으로 설립하여 현지 인재 확보
  • 대학, 연구소와의 협력 강화 및 산학연 공동 연구 프로젝트 확대
  • 스타트업 인수 또는 투자를 통한 기술과 인재 확보 전략 수립
• 사례 참고: Tenstorrent의 CEO Jim Keller는 AMD, Apple, Tesla, Intel 등을 거치며 꾸준히 혁신적인 제품을 개발했고, 그의 참여 자체가 우수 인재를 끌어모으는 요인이 되었습니다.

6. Beyond the Balance Sheet - 재무제표를 넘어선 가치 창출

경영학의 대가 피터 드러커(Peter Drucker)는 "기업의 목적은 고객 창출이다"라고 말했습니다. 하지만 AI 칩과 같은 첨단 기술 분야에서는 이 명제에 중요한 전제가 필요합니다. 바로 '진정한 기술적 가치를 창출해야만 고객을 창출할 수 있다'는 것입니다.

미국 AI 칩 스타트업들의 성공 사례는 기업의 진정한 가치가 재무제표에만 있지 않다는 사실을 명확히 보여줍니다. 이들은 단기적인 매출이나 수익보다 장기적인 기술 혁신과 시장 변혁에 집중함으로써 역설적으로 더 큰 기업 가치를 창출했습니다.

오늘 살펴본 Groq와 Cerebras Systems의 사례, 그리고 앞으로 살펴볼 다른 AI 칩 스타트업들의 사례는 공통적으로 '재무제표를 넘어선 기술 중심 리더십'의 중요성을 강조합니다. 창업자와 CEO들이 직접 기술 혁신에 참여하고, 특허 발명자로 등재되며, 단기적 수익보다 장기적 기술 경쟁력 확보에 집중하는 모습은 글로벌 기술 경쟁 시대에 중요한 시사점을 제공합니다.

인텔과 보잉 같은 대기업들이 혁신을 멈추고 쇠퇴한 반면, 새로운 기술 중심 스타트업들은 빠르게 성장하고 있습니다. 이는 기술 기업의 지속 가능한 성장에는 기술 혁신이 재무적 성과보다 선행해야 함을 시사합니다.

한국 기업들이 글로벌 AI 칩 시장에서 경쟁력을 확보하기 위해서는 단순한 팔로워(follower)에서 벗어나 혁신적인 리더(leader)로 도약해야 합니다. 이를 위해서는 기술에 대한 깊은 이해와 장기적 비전을 가진 리더십, 실패를 두려워하지 않는 혁신 문화, 그리고 핵심 기술에 대한 지속적인 투자가 필요합니다.

재무제표는 기업의 과거와 현재를 보여주지만, 기술 혁신은 기업의 미래를 결정합니다. 이제 한국 기업들도 'Beyond the Balance Sheet'를 실천할 때입니다.

다음 연재에서는 Skild AI와 Celestial AI의 기술 혁신과 특허 전략을, 그 이후에는 SiMa.ai와 Etched AI, Blaize와 SambaNova Systems, 그리고 마지막으로 Lightmatter와 Tenstorrent의 사례를 심층적으로 다룰 예정입니다.

이 글은 필자의 개인적인 관심과 연구를 바탕으로 작성되었으며, 정보 제공 목적으로만 활용해 주시기 바랍니다.