Veraj Paruthi
エンジニアリング
, Glean
Recent posts from
Veraj Paruthi

July 23, 2024
KVキャッシュがLLMの初回トークン生成時間に与える影響
LLMのレイテンシーに関するシリーズの第2部では、KVキャッシュが初回トークン生成時間のレイテンシーと、リクエストのスループット効率に与える影響を調査しました。
Veraj Paruthi
エンジニアリング
エンタープライズサーチ + GenAI 101
Glean + 製品
業界の洞察



