昨天看到一道算法题，抽象之后就是这个问题。凸多边形的限制简化了问题。这里用一种数学方法来说下我想到的一个解法。基本思路是，把凸多边形的顶点以顺时针方向排列，可以得到一系列的向量。如果对于每个向量，这个点都位于它的“右侧”，那么这个点就位于凸多边形内部。反之则在外部。所以问题就是怎样判断一个点是否在一个向量的右侧。
我们以上面的例子来说明解法。假定我们要判断点c是否在向量AB（以下向量MN均是指从点M指向点N的向量）的右侧。方法是计算向量AB和x轴正向的夹角a以及向量AC和x轴正向的夹角b。假定a和b的取值范围都是-180~180度.那么如果-180<b-a<0或者180<b-a<360则点C在向量AB的右侧，否则位于向量的左侧或者在向量的延长线上。所以只要求出a和b就可以。
AB=OB-OA
假设向量AB=(xa,ya)。通过AB的y分量ya的正负可以知道向量AB是位于上半平面还是下半平面，然后通过arccos(xa/|AB|)可以求出AB和x轴正向的夹角a。
类似可以求出AC和x轴正向的夹角。
至此，问题得解。