Model card
La ficha que se publica con un modelo de IA: para qué sirve, cómo se probó y sus límites.
Una model card (tarjeta de modelo) es un documento corto que acompaña a un modelo de machine learning y se lo explica a quienes podrían usarlo. Dice para qué sirve, con qué datos se entrenó, cómo se evaluó, dónde funciona mal y para qué no habría que usarlo. Pensala como la etiqueta y el prospecto del modelo.
La idea viene de un paper de 2018 de Margaret Mitchell y colegas de Google, "Model Cards for Model Reporting". Señalaban que los modelos se publicaban sin ninguna información sobre, por ejemplo, si un sistema de análisis de rostros funcionaba igual de bien para distintos grupos de personas. Una model card debería mostrar los resultados separados por grupo, para que esas diferencias queden a la vista.
Hoy es práctica habitual. Cada modelo en Hugging Face tiene una model card como página principal, escrita en Markdown con un bloque de metadatos como la licencia y los idiomas. Los grandes laboratorios de IA publican versiones más largas, muchas veces llamadas system cards, con cada modelo importante: resultados de benchmarks de IA, pruebas de seguridad, riesgos conocidos y qué hicieron al respecto. Anthropic, OpenAI y Google DeepMind las publican.
La model card la escribe quien hizo el modelo, así que muestra lo que eligió medir y contar. Es un punto de partida para evaluar un modelo, no una auditoría independiente. Algunas normas, como la Ley de IA de la Unión Europea, ya exigen documentación técnica parecida para los modelos de IA de uso general.
Para quedarse
- Describe propósito, datos de entrenamiento, evaluación, límites y usos a evitar.
- La propusieron investigadores de Google en 2018; hoy es estándar en Hugging Face.
- Los grandes laboratorios publican system cards más largas con cada modelo importante.
- La escribe quien hizo el modelo: informa, pero no reemplaza pruebas independientes.
Para seguir leyendo
- Tarjetas de modelos (documentación de Hugging Face)
- Model Cards for Model Reporting (paper original, arXiv, en inglés)
- Model system cards (Anthropic, en inglés)