如何根据不同的问题选择优化算法，哪些收敛更快些呢？有人研究过这个问题吗？

优化算法常用的有零阶方法和一阶方法。
对于大多数工程问题，零阶方法已经足够。零阶方法中，用曲线拟合来建立目标函数和设计变量之间的关系，然而，对于零阶方法，优化模块开始通过随机搜索建立状态变量和目标函数的逼近，由于是随机的，速度可能很慢。
一阶方法，使用状态变量对设计变量的偏导数，在每次迭代中，梯度计算确定搜索方向，并用线搜索法进行。与零阶方法相比，一阶方法计算量大但结果精确。
此外，还有随机搜索法，等步长搜索法，乘子算法，最有梯度法。这几种我也没有用过。

根据问题不同，一般问题使用梯度法够了，复杂问题考虑全局优化方法和专家经验