¿Cómo elegir una tarjeta gráfica para IA? Guía práctica basada en requisitos
En proyectos basados en inteligencia artificial, la elección de la GPU suele comenzar por un modelo específico. En la práctica, este es un punto de partida incorrecto. La selección de la infraestructura debe basarse en los requisitos del proyecto: caso de uso, tamaño del modelo, número de usuarios, TPS esperado, longitud del contexto y cuantización.
Punto de partida: requisitos, no modelo
La misma GPU puede ser adecuada o insuficiente dependiendo del escenario.
Principio clave: empezar por el workload.
Conclusión
- Caso de uso
- Modelo
- Usuarios
- TPS
- Contexto
- Cuantización
Conclusión: GPU = workload.
