对于具有违法因素的行政许可，作出行政许可决定的行政机关或者其上级行政机关可以撤销，但是，在一些特殊情形下，行政许可即使具有违法的因素，也不应当撤销。
一、撤销行政许可可能对公共利益造成重大损害的，应当不予撤销
撤销行政许可，就意味着被许可人从事许可事项的生产经营等活动应当随之停止，否则，其行为即构成违法。通常说来，对于有违法情形的行政许可，行政机关应当予以撤销，并责令被许可人立即停止从事行政许可事项的生产经营等活动，这既是保证行政机关依法行政的需要，也是让有违法行为的被许可人承担法律责任的需要。但是，有些行政许可的事项比如大型的道路建设、桥梁建设等事项，与公共利益密切相关。对于这些行政许可事项，行政机关作出行政许可的决定后，被许可人可能很快就开始了生产经营等活动，而行政机关一旦发现行政许可中的违法情形，即可以对行政许可予以撤销。但行政许可一旦被撤销，就意味着被许可人从事行政许可事项的生产经营等活动应当立即停止，就有可能导致公共利益的重大损失。在此情况下，行政许可即使有违法的情况，上级行政机关就不应当撤销。上级行政机关不予撤销行政许可，但可以要求被许可人补齐相关的许可手续，特别是要加强对其生产建设等活动质量的监督检查，并对有违法行为的作出行政许可决定的行政机关及其工作人员作出相应的处分。
这里需要注意的是，虽然本条第二款规定，被许可人以欺骗、贿赂等不正当手段取得行政许可的，应当予以撤销其行政许可，但是，根据本条第三款的规定，即使遇到被许可人以欺骗、贿赂等不正当手段取得行政许可，应当撤销其行政许可的情形，如果撤销行政许可可能对公共利益造成重大损害的，也不应当予以撤销。
二、行政许可虽然具有违法因素，但是，被许可人没有本条第二款所列情形，即没有采取欺骗、贿赂等不正当手段取得行政许可的行为，并且其基于行政许可所取得的利益明显大于撤销行政许可所要维护的公共利益，行政机关就不应当撤销行政许可。这是贯彻行政管理活动中比例原则的要求。
三、行政许可虽然具有违法的因素，但是，作出行政许可决定的行政机关或者其上级行政机关，应当在知道撤销的情形之后一定的期限内撤销行政许可，超过了这期限就不应当再予以撤销。这是保持行政法律关系相对稳定以及保护行政相对人权利的需要。