Anthropic-Fractile 해설: 추론 수요가 폭발할수록 GPU 구매보다 메모리 이동 비용과 공급망 협상력을 먼저 설계해야 하는 이유

발행일: 2026-05-03 | 카테고리: 개발정보

AI타임스는 2026년 5월 3일, Anthropic이 영국 AI 칩 스타트업 Fractile과 추론용 칩 도입을 논의 중이라고 전했습니다. 겉으로 보면 또 하나의 투자·공급 계약 뉴스처럼 보일 수 있습니다. 하지만 실무적으로 더 중요한 신호는 따로 있습니다. 이제 프론티어 모델 기업들이 학습용 GPU를 더 많이 사는 것보다, 추론을 어떤 칩에 어떻게 나눠 싣고, 공급망 협상력을 어떻게 확보할지를 먼저 고민하기 시작했다는 점입니다.

이 글은 AI 플랫폼 팀, 인프라 엔지니어, CTO, 모델 서빙 운영 담당자를 위한 해설입니다. 범위는 Anthropic의 다변화 배경, Fractile 같은 추론 특화 칩이 왜 주목받는지, GPU·TPU·Trainium·전용 추론 칩을 어떤 기준으로 나눠 써야 하는지입니다. 특정 기업의 투자 성공 여부를 예측하거나, 비공개 계약 내용을 단정하는 글은 아닙니다.

1. 한 줄 문제 정의

핵심 요약: 추론 시대의 병목은 FLOPS보다 메모리 이동, 응답 지연, 공급 집중도에 더 가깝습니다.

Claude 같은 대형 모델 서비스는 더 이상 연구실 벤치마크만으로 운영되지 않습니다. 수많은 사용자가 동시에 질문하고, 코드 생성과 업무 자동화처럼 길게 생각하는 요청이 늘어나면, 인프라팀의 문제는 "모델을 학습시킬 수 있나"보다 "응답을 싸고 빠르게 안정적으로 내보낼 수 있나"로 바뀝니다. Anthropic이 4월 6일 Google·Broadcom과 다중 기가와트 TPU 계약을 맺고, 4월 20일 AWS와 최대 5GW 규모 컴퓨트 확장 계약을 발표한 뒤에도 추가로 Fractile 같은 신생 추론 칩 회사를 검토한다는 점이 바로 그 변화를 보여줍니다.

적용 범위: 대규모 추론 서빙, 코드·에이전트 워크로드, 국제 리전 확장, 비용 민감한 LLM 제품. 비적용 범위: 소규모 단일 GPU 실험, 온디바이스 모델, 아직 추론 트래픽이 작아 하드웨어 라우팅이 필요 없는 팀.

2. 먼저 결론

핵심 요약: 앞으로는 "최고 칩 1종"보다 훈련용, 범용 추론용, 저지연 추론용을 나눠 설계하는 팀이 유리합니다.

• 지금 바로 맞는 팀: 월간 추론 비용이 빠르게 늘고 있고, 지역별 서빙 지연이나 공급망 집중 리스크를 이미 체감하는 팀
• 아직 과한 팀: 아직 제품-시장 적합성도 검증 전이고, 추론 요청량이 작아 GPU 한두 종류로도 충분한 팀
• 제 판단: Anthropic의 Fractile 검토는 단순한 칩 쇼핑이 아니라, 엔비디아 중심 조달 구조만으로는 추론 수요 폭증을 감당하기 어렵다는 운영 신호로 보는 편이 맞습니다.

따라서 저는 대부분의 AI 서비스 팀에 아래 순서를 권합니다. 1) 추론 워크로드를 지연 민감형과 처리량 민감형으로 먼저 분리하고, 2) GPU/TPU/Trainium을 기본 바닥으로 깔고, 3) 그 위에 전용 추론 칩을 특정 구간에만 시험하는 방식입니다. 처음부터 한 스타트업 칩에 전체 서비스를 걸면 위험하고, 반대로 모든 걸 GPU로만 버티면 비용과 협상력에서 불리해질 수 있습니다.

3. 핵심 구조 분해

핵심 요약: 추론 인프라는 칩 하나가 아니라 훈련 계층, 범용 추론 계층, 저지연 추론 계층, 오버플로 계층으로 나눠 봐야 합니다.

3-1. 훈련 계층

여기는 여전히 대규모 GPU나 TPU, 그리고 Trainium 같은 대형 클러스터 중심입니다. Anthropic은 2026년 4월 20일 발표에서 AWS Trainium2 칩을 이미 백만 개 이상 사용 중이라고 밝혔고, 연말까지 Trainium2·3 기반으로 거의 1GW 규모를 추가 확보한다고 했습니다. 훈련 계층의 핵심은 최고 유연성과 대규모 병렬 처리입니다.

3-2. 범용 추론 계층

대부분의 제품 요청은 여기로 갑니다. 긴 문맥, 코드 생성, 문서 요약, 일반 챗 응답이 섞여 있는 층입니다. GPU, TPU, Trainium이 여전히 유력한 이유는 모델 아키텍처가 바뀌어도 대응 폭이 넓고, 소프트웨어 생태계가 성숙했기 때문입니다.

3-3. 저지연 추론 계층

실시간 챗, 음성 대화, 에이전트 중간 루프처럼 첫 토큰 지연(TTFT)과 초당 토큰 처리량이 아주 중요한 요청은 다른 기준이 필요합니다. Fractile은 홈페이지에서 메모리와 연산을 물리적으로 섞은 구조로, 프론티어 모델 추론을 최대 25배 빠르게, 비용은 10분의 1 수준으로 낮추겠다고 주장합니다. 이런 계층에서는 범용성보다 메모리 이동 최소화가 중요합니다.

3-4. 오버플로·협상 계층

이 층은 기술보다 조달과 운영 전략에 가깝습니다. 공급사가 둘 이상이면 단가 협상, 리전 분산, 장애 우회가 쉬워집니다. Anthropic이 AWS, Google/Broadcom, NVIDIA GPU를 함께 언급하면서도 추가 스타트업 칩까지 검토하는 이유가 여기에 있습니다. 즉 칩 다변화는 성능 실험인 동시에 협상력 확보 수단입니다.

4. 설계 의도 해설

핵심 요약: Anthropic의 선택은 "탈엔비디아 선언"이라기보다 추론 수요 증가에 맞춘 다층 라우팅 준비에 가깝습니다.

Anthropic은 2026년 들어 인프라 압박을 공개적으로 인정했습니다. 4월 20일 공지에서 연간 환산 매출(run-rate)이 300억달러를 넘었고, 2025년 말 약 90억달러에서 급증했다고 밝혔습니다. 100만달러 이상을 연간으로 쓰는 비즈니스 고객도 1000곳을 넘겼습니다. 이 정도 속도면 "GPU를 더 사면 된다"로 해결되지 않습니다. 고객이 늘수록 피크 시간대 장애, 특정 리전 용량 부족, 공급사 가격 인상 위험이 동시에 커지기 때문입니다.

Fractile 같은 회사가 주목받는 이유도 여기 있습니다. Fractile은 메모리와 컴퓨트를 물리적으로 교차 배치해 저지연과 고처리량을 동시에 노린다고 설명합니다. 쉬운 말로 하면, 모델이 답변할 때마다 멀리 떨어진 메모리와 칩 사이를 왔다 갔다 하는 비용을 줄이겠다는 뜻입니다. 추론은 학습보다 훨씬 자주 반복되므로, 이런 구조가 맞아떨어지면 전체 서비스 비용과 지연에 큰 영향을 줄 수 있습니다.

다만 얻는 것과 포기하는 것도 분명합니다.

• 얻는 것: 특정 추론 구간의 비용 절감 가능성, 더 빠른 응답, 공급망 협상력 강화
• 포기하는 것: 범용성, 소프트웨어 호환성, 양산 검증 안정성
• 실무 해석: 스타트업 칩은 전체 대체재가 아니라 특정 병목을 줄이는 보조 축으로 먼저 보는 편이 안전합니다.

5. 근거 및 비교

핵심 요약: 비교 기준은 모델 벤치마크가 아니라 지연, 공급 안정성, 유연성, 단가 협상력입니다.

근거는 아래처럼 정리할 수 있습니다.

• Anthropic 발표(2026-04-06): Google·Broadcom과 다중 기가와트 규모 차세대 TPU 계약을 체결했고, 2027년부터 용량이 들어온다고 밝혔습니다.
• Anthropic 발표(2026-04-20): AWS와 최대 5GW 신규 컴퓨트 계약, 연말까지 거의 1GW Trainium2·3 용량, Trainium2 백만 개 이상 사용 중이라고 밝혔습니다.
• AI타임스(2026-05-03): Anthropic이 Fractile과 추론 칩 도입을 논의 중이며, SRAM 기반 아키텍처와 데이터 이동 최소화가 핵심 차별점이라고 전했습니다.
• Fractile 홈페이지(2026-05-03 확인): 프론티어 모델 추론을 최대 25배 빠르게, 10분의 1 비용으로 만들겠다고 주장하며, 토큰 처리량이 연 10배 이상 늘고 있다고 설명합니다.
• Financial Times 재인용 글(Fractile, 2025-03): Morgan Stanley는 향후 미국 데이터센터 전력·연산 수요의 75% 이상이 추론이 될 수 있다고 봤고, Barclays는 프론티어 AI 추론 CAPEX가 2025년 1226억달러에서 2026년 2082억달러로 늘 수 있다고 추정했습니다.

이 숫자들이 말하는 것은 단순합니다. 지금부터는 누가 더 큰 GPU 클러스터를 사느냐보다, 추론을 얼마나 세밀하게 분류하고 적절한 실리콘으로 보내느냐가 더 중요한 경쟁력이 됩니다.

6. 실제 동작 흐름 / 단계별 실행 방법

핵심 요약: 칩 도입은 구매보다 먼저 워크로드 분류표와 라우팅 규칙을 만드는 일입니다.

1. 추론 요청을 세 부류로 나누십시오.
   예: 실시간 챗·음성, 코드/에이전트 중간 루프, 배치 요약·보고서 생성. 같은 "추론"이라도 필요한 지연과 처리량이 다릅니다.
2. 각 부류에 TTFT와 초당 토큰 목표를 적으십시오.
   예: 실시간 챗은 TTFT 300ms 이하, 배치는 3초 이하, 에이전트 루프는 전체 완료 시간 20% 절감이 목표일 수 있습니다.
3. 현재 칩별 비용과 실패 비용을 같이 측정하십시오.
   단순 토큰 단가만 보지 말고, 피크 시간 장애, 리전 부족, 지연 악화로 인한 이탈 비용도 봐야 합니다.
4. 전용 추론 칩은 5~15% 구간부터 시험하십시오.
   가장 지연 민감하거나 반복성이 높은 요청부터 붙이고, 나머지는 GPU/TPU에 남겨두는 편이 안전합니다.
5. 벤더 라우팅 룰을 문서화하십시오.
   어떤 요청이 어느 칩으로 가고, 실패 시 어디로 폴백할지까지 적어야 실제 운영이 됩니다.

# 예시: 추론 라우팅 초안
workloads:
  - name: realtime-chat
    ttft_ms_max: 300
    throughput_priority: high
    preferred_silicon: inference-optimized
    fallback: gpu-general
  - name: coding-agent-loop
    ttft_ms_max: 800
    throughput_priority: medium
    preferred_silicon: trainium-or-tpu
    fallback: gpu-general
  - name: nightly-batch-summary
    ttft_ms_max: 5000
    throughput_priority: low
    preferred_silicon: cheapest-available
    fallback: gpu-spot

초보 개발자 기준으로 쉽게 말하면, 칩 선택도 결국 로드밸런서 정책입니다. 모든 요청을 한 장비에 넣지 말고, 어떤 요청이 무엇을 가장 중요하게 여기는지 먼저 써보면 판단이 훨씬 쉬워집니다.

7. 실수/함정(Pitfalls)

핵심 요약: 흔한 실패는 신형 칩 과신보다도 워크로드 구분 없이 전면 적용하는 것입니다.

• 실수 1: 추론 비용을 GPU 시간만으로 계산하는 것
  예방: 응답 지연, 리전 부족, 공급사 의존도를 함께 비용으로 계산합니다.
  복구: 지난 30일 장애와 피크 시간 데이터를 다시 붙여 총비용을 재산정합니다.
• 실수 2: 스타트업 칩을 곧바로 전사 기본값으로 두는 것
  예방: 반복성이 높고 실패 영향이 작은 구간부터 파일럿합니다.
  복구: 파일럿 범위를 1개 워크로드로 축소하고 GPU 폴백을 강제합니다.
• 실수 3: 범용성보다 벤치마크 숫자만 보고 결정하는 것
  예방: 모델 변경 속도와 소프트웨어 포팅 비용을 같이 봅니다.
  복구: 실제 서비스 모델 2~3종으로 재측정하고, 지원 불안정한 경로는 보류합니다.
• 실수 4: 다변화를 했는데 폴백 경로를 안 만드는 것
  예방: 칩·리전·클라우드별 폴백 순서를 운영문서에 넣습니다.
  복구: 장애 훈련 게임데이를 돌려 자동 폴백이 되는지 검증합니다.

8. 강점과 한계

핵심 요약: 추론 특화 칩은 비용과 지연에 강하지만, 범용 AI 인프라 전체를 대체하지는 못합니다.

• 강점: 특정 추론 패턴에서는 메모리 이동 감소와 저지연 응답으로 큰 이득을 줄 수 있습니다.
• 강점: 대형 공급사와의 협상력, 리전 분산 전략, 공급망 탄력성을 높일 수 있습니다.
• 한계: 신생 벤더는 양산, 드라이버, 운영 툴, 장애 대응 경험이 부족할 수 있습니다.
• 한계: 모델 구조가 빠르게 바뀌면 특정 칩 최적화가 오히려 발목을 잡을 수 있습니다.
• 반례: 아직 트래픽이 작고 실험 단계인 팀은 다층 실리콘 전략보다, 우선 모델 품질과 제품 전환율을 먼저 보는 편이 낫습니다.

9. 더 깊게 공부할 포인트

핵심 요약: 다음 단계는 칩 브랜드 비교보다 우리 서비스의 추론 패턴을 수치화하는 일입니다.

• 우리 서비스에서 TTFT가 중요한 요청과 총 완료 시간이 중요한 요청은 각각 무엇인가
• 추론 요청의 몇 %가 사실상 같은 패턴으로 반복되는가
• 모델 아키텍처가 바뀔 때 칩 포팅 비용은 얼마나 드는가
• 리전 장애나 공급 부족 시 며칠 안에 다른 칩으로 우회할 수 있는가
• 비용 절감이 토큰 단가인지, 피크 시간 신뢰성 개선인지 구분하고 있는가

10. 참고자료

• AI타임스 - 컴퓨팅 확보 비상 걸린 앤트로픽, 영국 칩 신예와 파트너십 검토 (작성일: 2026-05-03)
• Anthropic - Anthropic expands partnership with Google and Broadcom for multiple gigawatts of next-generation compute (작성일: 2026-04-06)
• Anthropic - Anthropic and Amazon expand collaboration for up to 5 gigawatts of new compute (작성일: 2026-04-20)
• Fractile - Radically Accelerate Frontier Model Inference (확인일: 2026-05-03)
• Fractile - How ‘inference’ is driving competition to Nvidia’s AI chip dominance (Financial Times 재인용) (작성일: 2025-03)

11. 실행 체크리스트 + 작성자 관점

핵심 요약: 추론 공급망 전략은 칩 도입보다 워크로드 분류, 폴백 설계, 조달 협상력을 먼저 문서화해야 성공합니다.

• 실시간형, 에이전트형, 배치형 추론을 분리했다
• 각 워크로드의 TTFT, 처리량, 비용 상한을 숫자로 적었다
• GPU/TPU/Trainium/전용 추론 칩의 역할을 계층별로 나눴다
• 최소 1개의 폴백 경로와 리전 우회 경로를 문서화했다
• 스타트업 칩은 전체가 아니라 제한된 파일럿 범위로 시작하도록 정했다
• 공급사 단가와 장애 리스크를 함께 비교하는 조달 표를 만들었다
• 모델 아키텍처 변경 시 재포팅 비용을 다시 검토하기로 했다

Definition of Done: 워크로드별 라우팅 기준, 칩별 역할, 폴백 경로, 파일럿 범위, 조달 비교표가 문서화되어 있고 1개 추론 구간에서 실제 비용·지연 A/B 테스트가 돌아가면 1차 준비 완료로 봅니다.

제 추천: Anthropic의 이번 움직임은 특정 스타트업을 따라 사야 한다는 뜻이 아닙니다. 오히려 이제 AI 인프라팀은 모델보다 추론 라우팅과 공급망 구조를 더 세밀하게 설계해야 한다는 뜻에 가깝습니다. 대형 클라우드 칩을 바닥으로 깔고, 전용 추론 칩은 지연 민감 구간부터 얹는 방식이 현실적입니다. 반대로 아직 서비스 규모가 작다면 칩 포트폴리오보다 먼저 워크로드 측정 체계를 갖추는 편이 낫습니다.