AWS anunció nuevas capacidades para Amazon SageMaker, su servicio de Machine learning (ML) end to end. Los desarrolladores, científicos de datos y analistas de negocios utilizan Amazon SageMaker para crear, entrenar e implementar modelos de ML de forma rápida y sencilla mediante el uso de infraestructura, herramientas y flujos de trabajo completamente administrados.
A medida que los clientes continúan innovando con ML, están creando más modelos que nunca y necesitan capacidades avanzadas para administrar de manera eficiente el desarrollo, el uso y el rendimiento de estos modelos. El anuncio de la compañía incluye nuevas capacidades de gobernanza de Amazon SageMaker que permiten la visibilidad del rendimiento del modelo a lo largo del ciclo de vida del ML.
Las nuevas capacidades de Amazon SageMaker Studio Notebook, por ejemplo, brindan una experiencia de bloc de notas mejorada que permite a los clientes inspeccionar y abordar problemas de calidad de datos con solo unos pocos clics, facilitar la colaboración en tiempo real entre los equipos de ciencia de datos y acelerar el proceso de pasar de la experimentación a la producción al convertir código del bloc de notas en trabajos automatizados.
“Hoy, decenas de miles de clientes de todos los tamaños y de todas las industrias confían en Amazon SageMaker. Los clientes de AWS crean millones de modelos con miles de millones de parámetros y generan billones de predicciones por mes. Muchos clientes están utilizando ML a una escala que no se conocía hace solo unos años”, menciona Bratin Saha, vicepresidente de Inteligencia Artificial y Machine Learning de AWS.
La ejecutiva señala también que las nuevas capacidades de Amazon SageMaker anunciadas, facilitan aún más que los equipos agilicen el desarrollo y la implementación end to end de los modelos de ML. “Desde herramientas de gobernanza especialmente diseñadas hasta una experiencia de bloc de notas de próxima generación y pruebas de modelos simplificadas hasta soporte mejorado para datos geoespaciales, estamos mejorando Amazon SageMaker para ayudar a los clientes a aprovechar el ML a escala”, comenta.
Nuevas capacidades de gobernanza de ML en Amazon SageMaker
Amazon SageMaker ofrece nuevas capacidades que ayudan a los clientes a escalar más fácilmente la gobernanza a lo largo del ciclo de vida del modelo de ML. A medida que aumenta la cantidad de modelos y usuarios dentro de una organización, se vuelve más difícil establecer controles de acceso con privilegios mínimos y establecer procesos de gobernanza para documentar la información del modelo (por ejemplo, conjuntos de datos de entrada, información del entorno de entrenamiento, descripción del uso del modelo y calificación de riesgo). Una vez que se implementan los modelos, los clientes también deben monitorear el sesgo y la desviación de características para garantizar que funcionen como se espera.
• Amazon SageMaker Role Manager facilita el control del acceso y los permisos. Los controles de acceso de usuario adecuados son la piedra angular de la gobernanza y respaldan la privacidad de los datos, evitan fugas de información y garantizan que los profesionales puedan acceder a las herramientas que necesitan para hacer su trabajo.
La implementación de estos controles se vuelve cada vez más compleja a medida que los equipos de científicos de datos aumentan a decenas o incluso cientos de personas.
Los administradores de ML, personas que crean y monitorean los sistemas de ML de una organización, deben equilibrar el impulso para optimizar el desarrollo mientras controlan el acceso a tareas, recursos y datos dentro de los flujos de trabajo de ML. Hoy en día, los administradores crean hojas de cálculo o usan listas ad hoc para navegar por las políticas de acceso necesarias para docenas de actividades diferentes (preparación y entrenamiento) y funciones (ingeniero de ML y científico de datos).
El mantenimiento de estas herramientas es manual y puede tomar semanas determinar las tareas específicas que los nuevos usuarios necesitarán para hacer su trabajo de manera efectiva. Amazon SageMaker Role Manager facilita a los administradores el control del acceso y la definición de permisos para los usuarios.
• Amazon SageMaker Model Cards simplifica la recopilación de información del modelo. Hoy en día, la mayoría de los profesionales confían en herramientas como correo electrónico, hojas de cálculo y archivos de texto para documentar los requisitos comerciales, las decisiones clave y las observaciones durante el desarrollo y la evaluación del modelo. Los profesionales necesitan esta información para respaldar los flujos de trabajo de aprobación, el registro, las auditorías, las consultas de los clientes y el seguimiento, pero puede llevar meses recopilar estos detalles para cada modelo. Algunos profesionales intentan resolver esto mediante la creación de sistemas complejos de mantenimiento de registros, que son manuales, requieren mucho tiempo y son propensos a errores.
Amazon SageMaker Model Cards brinda un único lugar para almacenar información del modelo en la consola de AWS, lo que simplifica la documentación a lo largo del ciclo de vida. La nueva capacidad completa automáticamente los detalles del entrenamiento, como conjuntos de datos de entrada, entorno de entrenamiento y sus resultados, directamente en Amazon SageMaker Model Cards.
• Amazon SageMaker Model Dashboard proporciona una interfaz central para realizar el seguimiento de los modelos de ML. Una vez que un modelo se ha implementado en producción, los profesionales desean realizar el seguimiento de su modelo a lo largo del tiempo para comprender cómo funciona y detectar posibles problemas. Esta tarea normalmente se realiza de forma individual para cada modelo, pero a medida que las organizaciones comienzan a implementar miles de modelos, esto se vuelve cada vez más complejo y requiere más tiempo y recursos.
Amazon SageMaker Model Dashboard proporciona una descripción general completa de los modelos y puntos de enlace implementados, lo que permite a los profesionales realizar el seguimiento de los recursos y modelar el comportamiento en un solo lugar. Desde el dashboard, los clientes también pueden usar integraciones con Amazon SageMaker Model Monitor (capacidad de monitoreo de desvío de datos y modelos de AWS) y Amazon SageMaker Clarify (capacidad de detección de sesgo de ML de AWS).
