函数在一点的梯度是函数在该点变化率的全面描述。当方向S与梯度的夹角为零时，方向导数达到最大值；这时梯度的模就是函数的最大变化率，此方向称之为梯度方向，函数在给定点的梯度方向必定是该点等值线或等值面的法线方向。当方向S与点X^（k）的梯度相垂直时，函数在该点沿S的方向导数等于零，即，这说明方向S位于该点等值线的切线上或等值面的切平面内。因此函数在一点的梯度方向是该点上方向导数最大的方向，或者说函数值增长得最快的方向。