About the Team & Mission

LLM Engineer (Optimization)는 대규모 언어 모델(LLM)의 추론 성능(Inference Performance)을 극대화하여 실제 서비스 환경에 최적화된 AI 시스템을 개발합니다.

서버(GPU Cluster)부터 Edge 및 On-device 환경까지 다양한 하드웨어에서 최고의 성능과 효율을 달성할 수 있도록 Inference Engine, Runtime, Compiler 및 Model Optimization 기술을 연구·개발합니다. 최신 LLM Serving 기술과 GPU/Accelerator 최적화를 활용하여 고성능·저지연·저비용 AI 서비스를 구현하는 핵심 역할을 수행합니다.

Responsibilities

• LLM Inference Optimization

  • 대규모 언어 모델(LLM)의 추론 성능(Latency, Throughput, Memory Efficiency)을 최적화합니다.

  • 다양한 모델 구조 및 추론 환경에 맞는 최적화 기법을 연구하고 적용합니다.

  • Long Context, Multi-turn Conversation 등 실제 서비스 환경에서의 성능을 개선합니다.

• Inference Engine 및 Runtime 개발

  • GPU 및 Accelerator 기반 LLM Inference Engine을 개발하고 최적화합니다.

  • vLLM, TensorRT-LLM, SGLang, llama.cpp, ONNX Runtime, MLX 등 최신 Inference Framework를 활용하거나 개선합니다.

  • Speculative Decoding, Prefill-Decode Disaggregatio