시스템 설계

실시간 음성 대화에서 사용자가 느끼는 반응성은 모델의 응답 시간 하나로 결정되지 않습니다. 오디오가 사용자에게서 서버로 전달되고, 추론 결과가 다시 음성이나 데이터로 돌아오기까지 여러 서비스와 네트워크 구간을 통과하기 때문입니다. GPT-Live를 ChatGPT 규모로 확장하는 과정은 이 전체 경로를 하나의 시스템으로 다루는 작업에 가까웠습니다. 특히 짧은 부하 테스트만으로는 발견하기 어려운 문제가 많았습니다. 실제 사용자 세션처럼 오래 유지되고, 재접속과…