计算机显卡在设计之初主要是为了解决实时渲染三维图像的问题，这里的实时指的是能够以很快的速度生成图像，而不是显示播放已经预先录制好的视频。实时渲染对于任何一个游戏都至关重要，因为计算机屏幕显示的图像，都是对玩家操作的及时反馈。对于能否实时的生成图像，就涉及到一个计算量的问题，任何在屏幕中显示的三维物体，首先都要经过重重的坐标变换，根据观察的角度，以正确的透视投影显示出来，并且物体的表面会受到环境中各种光线的影响，呈现不同的颜色和各种的阴影。这包括光线的漫射、折射、投射、散射等。
假设我们是在一个全高清的显示屏中实时显示图像的话，每一帧就共有两百多万个像素点，每秒假设生成60帧图像来保证动画的流畅度，那么每帧就大约有1.6亿个像素点参与计算，这样庞大的计算量，如果拿给一个普通八核的CPU来计算，势必会超时。
而GPU是由数千个计算核心构成的超级CPU，这些核心能够同时对不同的像素并行运算，不过单个GPU核心做得事情就比较单一，速度上远不如一个CPU核心，很多在CPU上运行速度很快的指令，如果照搬给GPU而不做任何修改的话，那计算速度自然会比CPU慢很多，比如，CPU中常见的if-else-语句，在GPU上的执行效率就不高。
GPU被广泛的运用在机器学习和深度学习中，是因为深度学习在本质上就是一个运算量巨大的数学模型，而GPU中数千个核心，可以将这个数学模型进行拆解成细小的任务，并对它们进行并行运算。
对显卡的编程有两种：
并行计算（Parallel Computing）: CUDA, OpenCL, OpenACC框架，可以对图形图像进行处理，或者进行高效、密集的数学运算，制作电影特效，或者训练一个深度学习网络。
图形编程（Graphics Programming):实时生成三维图像。
计算机显卡是如何在屏幕中渲染出实时的三维图像呢？空间中的物体都是由很小很小的三角形构成的，三角形作为最基础的图元之一，可以构成出很多复杂的图形，比如正方形可以分解成两个三角形，而所有的多边形都能够分割成若干个三角形。三角形的优点还包括它的三个顶点可以唯一的在空间中确定一个平面，而四个点的多边形不一定共面，三个点的三角形则一定在同一个平面上，当我们知道任何图形在计算机中都可以由许多三角形构成，那么接下来显卡的工作就是对这些三角形并行的进行一系列流水线的运算。
显卡如何渲染三维图像
首先，显卡会对三角形进行坐标变换，每个三角形都会有一个初始坐标，这是美工师在建模的时候就决定好了的，但是由于我们观察视角的不同，视野大小的不同，因此我们看到的物体姿态是不一样的，坐标转换这一个步骤就是根据我们观察的位置，重新计算出每一个顶点的新坐标。
当三角形在屏幕中的坐标确定以后，计算机就开始对三角形所覆盖的区域进行逐像素点的绘制，这时候如果凑近了看，屏幕其实是由很小很小的像素点构成的，在这一个步骤中，计算机会对每一个像素点进行上色，每一个像素点的颜色其实是根据物体的材质，纹理以及场景中的光源计算而来的。
计算机显卡就是这样对场景中成千上万个三角形同时计算，因此也就生成了我们屏幕中出现的画面。对显卡的编程，就是像显卡下达指令来告诉它去做什么。
API（Application Programming Interface）
对显卡的编程，不得不提OpenGL， DirectX, Vulkan这三大API，API就是应用程序接口。就像在C，或者python中直接使用print()这样的功能来向屏幕输出文字一样，API可以想象成我们在编程语言中可以直接使用的功能集合，而使用图形编程API可以让我们直接对显卡下达指令，例如绘制三角形，图片，告诉显卡应该何时刷新屏幕等等。这些都需要使用这些图形编程API来进行操控。
显卡的驱动程序（Graphics Driver)
当我们向显卡下达指令时候，这些指令会经过一个叫做驱动程序的东西，驱动会将你下达的指令翻译成显卡硬件能够直接运行的机器码。虽然每一个显卡做得事情都大相径庭，但是每一个显卡厂商生成的硬件都大不相同。所以我们需要向新安装的操作系统里重新安装显卡的驱动。并且尽量使用最新的驱动程序以获得最优的性能，以及显卡厂商对各种bug的修复。
着色器（Shader）
屏幕上显示物体的形状、颜色都是由Shader程序控制的。Shader程序通常是用来绘制光照和阴影的。Shader根据预先设定好的场景模型，给屏幕上的每个像素点上色。Shader的编程语言有GLSL，这是由OpenGL开发接口所提供的，以及HLSL（Cg/HLSL)，这是微软的DirectX所提供的。Shader程序的编写在unity中完成，选择unity是因为真正的图形编程大多数是在游戏引擎中直接完成的。
GPU是如何工作的？Shader图形编程入门_哔哩哔哩_bilibili
