Veraj Paruthi
À propos
Veraj Paruthi
Veraj Paruthi est ingénieur logiciel chez Glean. Il travaille chez Glean depuis 2022 et joue un rôle clé au sein de l’équipe d’ingénierie de l’entreprise. Veraj est titulaire d’un Bachelor en génie informatique de l’University of Waterloo et a auparavant travaillé avec plusieurs organisations, notamment Tophatter et la Royal Canadian Air Force.
Connectez-vous avec
Veraj Paruthi

Articles récents de
Veraj Paruthi

Comment les caches KV influencent le temps jusqu’au premier token pour les LLMs
Pour la deuxième partie de notre série sur la latence des LLMs, nous avons analysé l’impact du caching KV sur la latence jusqu’au premier token et l’efficacité du débit des appels.
Veraj Paruthi
Ingénierie

Comment le nombre de tokens en entrée impacte la latence des outils de chat IA
Vous êtes-vous déjà demandé quel impact le nombre de tokens en entrée a sur la réactivité des outils de chat IA ? Nous aussi — après quelques tests, voici ce que nous avons découvert sur la corrélation entre le nombre de tokens en entrée et le délai avant le premier token.
Veraj Paruthi
Ingénierie



