Las plataformas de desarrollo de IA proporcionan la infraestructura para crear aplicaciones basadas en modelos de aprendizaje automático y lenguaje. Gestionan el acceso y el alojamiento de los modelos, la administración de versiones y solicitudes, la recuperación de datos propios, la evaluación de los resultados, el monitoreo de la calidad y el costo en producción, y las medidas de seguridad que mantienen el comportamiento del modelo dentro de límites aceptables.
El problema que abordan es que un prototipo funcional está muy lejos de ser un sistema de producción. Llamar a la API de un modelo es sencillo; la dificultad reside en saber si los resultados son buenos, detectar regresiones cuando cambia una solicitud o un modelo, controlar el gasto, gestionar los fallos y demostrar a los demás que el sistema se comporta de forma aceptable.
La evaluación es donde la mayoría de los equipos invierten menos y donde reside el verdadero valor de la categoría. El software tradicional utiliza pruebas deterministas; los resultados del modelo varían, se degradan de maneras difíciles de detectar y pueden cambiar cuando un proveedor actualiza un modelo. Sin una evaluación sistemática, la desviación de la calidad pasa desapercibida hasta que los clientes la reportan.
El objetivo es pasar del prototipo a un producto que se pueda utilizar.
Evaluación sistemática de los resultados
Probar los cambios con casos definidos en lugar de juzgar por impresiones, que es la diferencia entre la ingeniería y la adivinación.
Gestión de versiones y avisos
Realizar un seguimiento de los cambios y poder revertirlos, en consonancia con las prácticas de gestión del código fuente.
Recuperación de sus propios datos
Basar las respuestas en el contenido, conectándolas a bases de datos vectoriales , es lo que hace que los modelos sean útiles para trabajos específicos.
Visibilidad de costos y latencia
Comprender el gasto en tokens y el tiempo de respuesta por función, que crece rápidamente y sorprende a la gente.
Flexibilidad del proveedor
Cambiar o comparar modelos, conectarse a plataformas de aprendizaje automático , sin necesidad de reescribir la aplicación.
Los usuarios son los equipos de ingeniería y los responsables de lo que se envía.
Los ingenieros de software
Las personas que desarrollan funciones de IA, que se conectan con el desarrollo de aplicaciones , son los usuarios principales.
Ingenieros de aprendizaje automático
Las personas que trabajan directamente con modelos, conectándose a plataformas de ciencia de datos y aprendizaje automático.
Gerentes de producto
Las personas que definen el comportamiento aceptable, que necesitan ver lo que el sistema realmente hace.
Equipos de Seguridad y Privacidad
Las personas preocupadas por qué datos llegan a los modelos, conectándose con la gestión de la privacidad de los datos.
Equipos de operaciones
Las personas que dan soporte a la producción, para quienes los fallos no deterministas son un terreno desconocido.
Los productos se diferencian por el lugar que ocupan en la pila.
-
Marcos de aplicación y orquestación: Bibliotecas para encadenar llamadas a modelos, recuperación de datos y herramientas, adecuadas para equipos que desarrollan aplicaciones personalizadas.
-
Plataformas de evaluación y observabilidad: Pruebas y monitorización del comportamiento de los modelos, que es la necesidad más sistemáticamente desatendida.
-
Plataformas de modelos gestionados: Alojamiento y ajuste fino dentro de plataformas en la nube , lo que reduce el trabajo operativo.
-
Constructores de IA de bajo código: Ensamblar funciones de IA sin ingeniería, lo que permite demostraciones rápidas pero resulta limitado cuando aumentan los requisitos.
El mapa funcional abarca la construcción, la evaluación y la operación.
Características estandar
Acceso y enrutamiento de modelos
Conexión con modelos con opciones de reserva y comparación entre proveedores.
Gestión Rápida
El control de versiones y las pruebas solicitan la gestión de artefactos en lugar de como cadenas de código.
Integración de recuperación
Fundamentación en su contenido, conexión a bases de datos vectoriales e integración de datos.
Arneses de evaluación
Ejecutar casos de prueba sobre los cambios con puntuación, que es la disciplina fundamental.
Seguimiento de la producción
Registrar las entradas, salidas y costes de cada llamada, lo cual es esencial para la depuración.
Las barandillas
Filtrado de entradas y salidas según la política definida, conexión con la seguridad.
Características clave que hay que tener en cuenta
Evaluación que realmente mantendrá
Confirmar que crear y ejecutar conjuntos de evaluación es lo suficientemente fácil como para que suceda, ya que esta es la práctica que distingue a los sistemas que se mantienen en buen estado de aquellos que se degradan silenciosamente.
Rastreo completo, incluyendo fallos.
Confirma que puedes ver exactamente qué se envió y se recibió para cada solicitud, incluidos los errores, ya que depurar un comportamiento no determinista sin registros es prácticamente imposible.
Gestión de datos por parte de los proveedores de modelos
Confirme qué hace cada proveedor con las indicaciones y los resultados, incluido el uso para la retención y la formación, ya que su aplicación puede enviarles datos de los clientes con cada solicitud.
Controles de costos antes de la factura
Confirme la visibilidad del costo por función y los límites de gasto, ya que los costos de los tokens escalan con usage de maneras que son fáciles de pasar por alto hasta que llega la factura.
El no determinismo cambia la forma en que se construye y se opera.
El comportamiento del modelo cambia debajo de ti
Los proveedores actualizan los modelos, y el comportamiento del que depende tu aplicación puede cambiar sin que haya una actualización por tu parte. Siempre que sea posible, fija las versiones, ejecuta evaluaciones de forma continua en lugar de en el momento del lanzamiento y ten en cuenta que un sistema que funciona hoy puede que no funcione mañana.
La inyección de mensajes afecta a cualquier aplicación que lea datos de entrada no confiables.
Las instrucciones integradas en la entrada del usuario o en los documentos recuperados pueden redirigir el comportamiento del modelo, y no existe una defensa completa. Cualquier aplicación que procese contenido externo y tenga acceso a sistemas o datos debe diseñarse partiendo de esa premisa, lo que implica una conexión con la seguridad.
Los datos de los clientes fluyen hacia terceros.
Cada llamada de modelo puede enviar datos personales a un proveedor, potencialmente a través de fronteras. Establezca la base legal, divulgue la información y confirme los términos del proveedor sobre retención y capacitación, conectándolos con la gestión de privacidad de datos.
Las demostraciones no implican que el producto esté listo para la producción.
Un prototipo que funciona con ejemplos predefinidos revela poco sobre su comportamiento con datos reales a gran escala. Dedique la mayor parte del esfuerzo a la evaluación, el seguimiento y la gestión de los casos que la demostración no cubrió.
Estas plataformas se sitúan entre los modelos y las aplicaciones.
Desarrollo de aplicaciones e inteligencia artificial
El desarrollo de aplicaciones y la inteligencia artificial abarcan la práctica en general.
Plataformas de aprendizaje automático
Las plataformas de aprendizaje automático y ciencia de datos se encargan del entrenamiento de modelos y del aprendizaje automático tradicional.
Inteligencia artificial generativa y agentes
La mayoría de estas plataformas se utilizan para construir inteligencia artificial generativa y agentes de IA .
Infraestructura de datos
Las bases de datos vectoriales y la integración de datos proporcionan la capa de recuperación.
Desarrollo y API
El software de desarrollo y las herramientas de gestión de API abarcan la ingeniería circundante.
Nube y seguridad
Las plataformas de gestión en la nube alojan estos sistemas, y el software de seguridad aborda los riesgos específicos que conllevan.
