Sur une carte graphique, le GPU est associé à une connexion à la carte mère pour les données et l'alimentation, une mémoire vidéo (appelée VRAM) pour contenir et stocker temporairement les images terminées et une connexion au moniteur pour voir le résultat final. Lorsqu'il est intégré à la carte mère, il partage la RAM avec le processeur.
Un GPU fonctionne de manière similaire à un CPU. Toutefois, il est conçu spécifiquement pour effectuer les calculs complexes nécessaires au rendu graphique. Le GPU convertit les coordonnées polygonales des graphiques en bitmap, puis en signaux affichés sur les pixels de l'écran. C'est ce que l'on appelle le rendu. Il utilise ensuite la mémoire de la carte graphique ou de la carte mère pour conserver les informations et les images terminées. Il stocke des données sur chaque pixel, comme sa couleur et son emplacement sur l'écran. Une partie de la mémoire peut également servir de mémoire tampon, c'est-à-dire qu'elle conserve les images terminées jusqu'au moment de les afficher.
Certains, parmi les GPU les plus performants, possèdent plus de transistors que le CPU moyen. Comme un GPU produit beaucoup de chaleur, il est généralement placé sous un dissipateur thermique ou un ventilateur.