Los modelos de inteligencia artificial están transformando la valuación de propiedades. Pero sus métricas actuales no reflejan cómo funcionan realmente.
El Panorama General Durante décadas, la inteligencia artificial se ha evaluado comparando máquinas contra humanos en tareas aisladas. Desde el ajedrez hasta la escritura de ensayos, esta comparación genera rankings y titulares atractivos. Es fácil de estandarizar, comparar y optimizar. Pero existe un problema fundamental: la IA casi nunca se utiliza de la manera en que se evalúa.
Aunque investigadores e industria han comenzado a mejorar los benchmarks moviéndose más allá de pruebas estáticas hacia métodos de evaluación más dinámicos, estas innovaciones resuelven solo parte del problema. Porque todavía evalúan el rendimiento de la IA fuera de los equipos humanos y flujos de trabajo organizacionales donde su desempeño del mundo real finalmente se desarrolla. Mientras la IA se evalúa a nivel de tarea en un vacío, se utiliza en entornos desordenados y complejos donde generalmente interactúa con más de una persona. Su rendimiento (o falta del mismo) emerge solo después de períodos extendidos de uso.
“Los benchmarks actuales miden IA en laboratorios, no en hospitales u oficinas inmobiliarias donde realmente opera.”
98% de precisión en pruebas técnicas puede parecer impresionante en papel. Pero en la práctica, esta métrica no captura cómo se toman las decisiones en equipos multidisciplinarios donde profesionales revisan casos conjuntamente. La planificación rara vez depende de una decisión estática; evoluciona a medida que surge nueva información durante días o semanas. Las decisiones a menudo surgen a través de debates constructivos y compensaciones entre estándares profesionales, preferencias del cliente y el objetivo compartido de resultados a largo plazo.
Por Qué Importa Para gobiernos y empresas, las puntuaciones de benchmarks de IA parecen más objetivas que las afirmaciones de los proveedores. Son una parte crítica para determinar si un modelo o aplicación de IA es "lo suficientemente bueno" para implementación en el mundo real. Imagina un modelo de IA que logra puntuaciones técnicas impresionantes en los benchmarks más avanzados: 98% de precisión, velocidad revolucionaria, resultados convincentes. Con base en estos resultados, las organizaciones pueden decidir adoptar el modelo, comprometiendo recursos financieros y técnicos considerables para comprarlo e integrarlo.
Pero luego, una vez adoptado, la brecha entre benchmark y rendimiento del mundo real rápidamente se vuelve visible. En el sector inmobiliario, he presenciado aplicaciones de IA altamente calificadas para valuación de propiedades que, en la práctica, requieren tiempo adicional para interpretar sus resultados junto con estándares de reporte específicos de la empresa y requisitos regulatorios locales. Lo que aparecía como una herramienta de IA que mejoraba la productividad cuando se probaba en un vacío introdujo retrasos en la práctica.
El mismo patrón emerge en mi investigación desde 2022 en pequeñas empresas y organizaciones de salud, humanitarias, sin fines de lucro y de educación superior en el Reino Unido, Estados Unidos y Asia, así como dentro de los principales ecosistemas de diseño de IA en Londres y Silicon Valley. Cuando se integran dentro de entornos de trabajo del mundo real, incluso los modelos de IA que funcionan brillantemente en pruebas estandarizadas no rinden como se prometió. Cuando las altas puntuaciones de benchmarks no se traducen en rendimiento del mundo real, las organizaciones enfrentan costos ocultos: tiempo perdido en ajustes, frustración del personal, y decisiones de inversión que no generan el retorno esperado.
