July 23, 2024
Comment les caches KV influencent le temps jusqu'au premier token pour les LLM
Pour le deuxième volet de notre série sur la latence des LLM, nous avons examiné comment la mise en cache KV influence la latence du temps jusqu'au premier token et l'efficacité du débit des appels.
Enterprise Search + GenAI 101
Glean + Product
Industry Insights
July 2, 2024
Comment le nombre de tokens en entrée impacte la latence des outils de chat IA
Vous êtes-vous déjà demandé quel impact le nombre de tokens d'entrée a sur la réactivité des outils de chat IA ? Nous, oui — après quelques tests, voici ce que nous avons découvert sur la corrélation entre le nombre de tokens d'entrée et le temps
Glean + Product
Enterprise Search + GenAI 101