Selon l’entreprise, les tâches retenues s’appuient sur deux grandes études d’emploi du temps et une enquête représentative auprès de 3 995 personnes. Le but est de mesurer l’exécution d’actions utiles, au-delà d’une réponse dans une conversation.
OpenAI indique utiliser cette évaluation depuis un an pour améliorer ses modèles. La publication décrit donc un outil de mesure interne ; elle n’annonce pas à elle seule la disponibilité d’un nouveau service.
Les résultats présentés sont produits par OpenAI. Ils ne démontrent pas, à eux seuls, la fiabilité d’un assistant pour toutes les situations personnelles réelles.