Au lieu de rédiger une réponse libre, il renvoie une catégorie, une décision ou un score accompagné d’une probabilité. Il vise notamment le tri de demandes d’assistance et les contrôles automatiques.
Baseten annonce une latence médiane de 20 millisecondes pour une requête moyenne de 2 000 tokens. Cette mesure dépend de sa configuration de test et n’établit pas le délai de tous les déploiements. Les utilisateurs devront évaluer la précision sur leurs propres données avant de déléguer des décisions sensibles.