[개발서적 추천] NLP와 LLM 실전 가이드 (리오르 가지트, 메이삼 가파리)

머신러닝의 수학적 기초(벡터, 선형독립, 기저, 고윳값분해, 대각화가능행렬 등)부터 시작해 NLP에서 접목 가능한 내용으로 시작한다. 선형대수학, 최적화, 확률론, 통계학 등 머신러닝과 NLP 알고리즘을 이해하고 구현하는 데 필수적인 기초 개념을 익힐 수 있다는 서평의 말이 체감되는 부분이었다. 메인으로는 텍스트 데이터를 다루긴 하지만 일반적인 데이터 분석 방법론까지 자세히 다루고 있어 굳이 텍스트 뿐 아니라 비정형 데이터 분석에도 그대로 적용할 수 있을 것 같다.

---

 

가장 인상 깊게 읽었던 부분은 3장(자연어 처리에서 머신러닝 잠재력 발휘하기)과 9장(대규모 언어 모델이 주도하는 고급 응용 프로그램 및 혁신의 최전선)이었다.

 

1. 3장 - 자연어 처리에서 머신러닝 잠재력 발휘하기

- 자연어 처리에서 머신러닝을 효과적으로 적용하는 방법을 알려주는데, 우선 필수 라이브러리와 기술적 요구 사항을 설명하고 데이터 탐색을 통해 텍스트 데이터의 특성을 분석하는 중요성은 역시 아무리 강조해도 지나치지 않은 것 같다. 나이브 베이즈, SVM, 신경망 등 다양한 모델을 소개하며, 과소적합과 과대적합 문제를 해결하는 전략도 제시해준다.

- 또한, 데이터 분할의 중요성과 하이퍼파라미터 튜닝 기법을 설명하며, 최적의 모델을 찾기 위한 실용적인 방법들을 소개한다. 배깅, 부스팅, 스태킹과 같은 앙상블 모델을 통해 성능을 향상시키는 방법도 다룬다. 불균형 데이터를 처리하는 기법과 변수 간 상관 관계를 고려하는 방법을 배우면서, 데이터의 품질이 모델 성능에 미치는 영향을 이해할 수 있었다.

 

2. 9장 - 대규모 언어 모델이 주도하는 고급 응용 프로그램 및 혁신의 최전선
- 대규모 언어 모델(LLM)의 최신 활용법과 혁신적인 응용 사례를 소개하는데, 먼저 기술적 요구 사항을 정리하며 강력한 연산 자원과 최적화된 환경이 필수적이라는 점을 강조한다. 특히 RAG(Retrieval-Augmented Generation)와 랭체인(LangChain)을 활용해 모델의 성능을 높이는 방법을 설명하는데, 단순한 텍스트 생성이 아니라 외부 데이터를 검색하고 활용할 수 있도록 하는 방식이 흥미로웠다.  
- 또한, 체인을 활용한 고급 기법을 소개하며, 여러 단계를 거쳐 보다 정교한 응답을 생성하는 방법을 다룬다. 다양한 웹 소스에서 자동으로 정보를 검색하는 기술도 중요한 부분인데, API를 활용해 최신 데이터를 가져와 모델의 한계를 보완할 수 있다는 점이 실용적이었다.  
- 프롬프트 압축과 API 비용 절감에 대한 내용도 인상 깊었다. 토큰 수를 최적화해 모델 사용 비용을 줄이는 것은 실제 서비스 운영에서 필수적인 요소인데, 이를 해결할 수 있는 다양한 기법이 소개되어 있어 실무적으로도 유용할 것 같았다. 마지막으로, 다중 에이전트를 활용해 여러 개의 LLM이 협력하는 방식도 다루는데, 각 모델이 역할을 나누어 협업하는 구조가 앞으로 더욱 발전할 가능성이 크다고 느꼈다.