LLM 서비스, 왜 스트리밍(Streaming)을 버리고 폴링(Polling)을 택했나? : JSON 정합성과 Vercel 타임아웃 해결기
도입: 모두가 스트리밍을 할 때, 우리는 폴링을 선택했다 요즘 LLM 서비스의 표준은 Server-Sent Events(SSE) 스트리밍입니다. ChatGPT처럼 타자를 치듯 한 글자씩 출력되는 UI가 국룰이죠. 사용자는 기다림 없이 실시간으로 응답을 받는 것처럼 느끼고, 개발자는 긴
01
#Uncategorized
2개의 포스트