Kamil Lee의 개발 일기
@Kamil Lee
비동기 파이썬 기반 LLM API 구현
다수의 프롬프트를 순차 처리할 때 생기는 대기 시간을 asyncio로 줄이는 방법을 다룹니다. 코루틴과 이벤트 루프, 워커 큐 패턴을 거쳐 실제 LLM 서비스 설계 예시까지 정리했습니다.
Search
Search
