公司设立过程中，如果发起人或投资人单方提出要求退回投资资金，必然会对其他设立人造成影响，也可能直接导致公司设立失败。但是目前《公司法》以及相关的司法解释没有关于公司在设立阶段发起人或投资人单方要求退回投资应当如何处理的规定。
公司在设立阶段，发起人和投资人之间针对共同出资设立公司事宜，通过签订“投资协议”来约定设立期间各方的权利与义务，此时，发起人或投资人之间建立的是合同关系。这个阶段，发起人和投资人还不是公司的股东，在投资协议没有特殊约定不能退回投资的情况下，任何一方都可以要求退回投资。
虽然发起人或投资人可以在设立公司的过程中要求退回投资，但属于在合同履行期内的违约行为，要求退回投资的发起人或投资人是违约方，需要根据签订的投资协议的约定向其他守约方承担违约责任，对于因此而造成的经济损失，违约方也应当作出赔偿，退出投资前的投入（例如：办公场所的租金、购买的办公用品的费用、员工的工资等），应当进行分摊，按投资比例扣除相应款项。
鉴于此，发起人或投资人在投资协议中，应当明确任何一方在公司设立过程中退出的赔偿责任，也可以通过投资协议明确约定不得退出投资。在公司设立期间所产生的费用应该保存相应的票据或支出凭证，当公司设立期间有发起人或投资人提出退出并退回投资款的，守约的发起人或投资人可以凭借具体的票据和凭证证明费用的实际产生，并对退回的投资款予以相应扣减。
【相关法条】
《民法典》第一百五十七条 民事法律行为无效、被撤销或者确定不发生效力后，行为人因该行为取得的财产，应当予以返还；不能返还或者没有必要返还的，应当折价补偿。有过错的一方应当赔偿对方由此所受到的损失；各方都有过错的，应当各自承担相应的责任。法律另有规定的，依照其规定。