《合同法》第410条规定了委托合同双方当事人的任意解除权，但是对其中的损害赔偿问题，并未区分委托合同是有偿还是无偿，也不区分任意解除的主体是委托人还是受托人。那么，当委托人行使任意解除权时，对受托人遭受的损失，应如何赔偿呢？
一、无偿委托的解除权
委托人为何想任意解除合同呢？原因可能有三：第一，收回事务处理的权限；第二，不再信任受托人；第三，事务处理本身对委托人不再具有意义。也就是说，委托处理事务是为实现委托人的利益，委托人解除合同也是多为了自身利益。而受托人就这委托合同所支出的费用已包括在《合同法》第398条的费用返还请求权内，其原则上并无损失可言，并不存在《合同法》第410条意义上的损害赔偿请求权。
但是，当受托人对该委托事务也存有自身利益时，情况就有所不同了：此时，委托人应对该受托人的利益作出适当关照。如果委托人没能尽到相应的关照，那么根据《合同法》410条，此人可能要承担损害赔偿责任。
二、有偿委托的解除权
1、受托人的报酬请求权
委托人任意解除有偿委托的，受托人享有报酬请求权。对于已履行部分的报酬，受托人当然享有请求权。而对于剩余期间的将来报酬，受托人也可以享有请求权，不过还需要根据损益相抵规则、减损规则等作相应调整。这种将来报酬的请求权，其规范基础是《合同法》第405条规定的报酬请求权的扩张适用，根据风险负担的原理，当因可归责于当事人的事由致使履行不能时，由该当事人负担风险。因此，若委托人任意解除，则由委托人负担风险，也就是说受托人仍有权请求支付将来的报酬。
2、同时为受托人利益的有偿委托
若有偿委托同时也为受托人利益的，与前述无偿委托时的情形类似，就受托人这部分的利益受损，委托人负有《合同法》第410条意义上的损害赔偿责任。
在这种情形下，报酬请求权的依据是可归责于委托人事由的风险负担规则。若损害赔偿的范围仅限于受托人的剩余报酬，不包含受托人受损的利益，这就和《合同法》第410条规定损害赔偿的意义和目的不符合。因而，《合同法》第410条所谓的“损失”，其实质是指因任意解除而引起的受托人报酬以外的损失；所以，当委托合同还涉及受托人利益时，还应当对受托人受损的利益予以赔偿。
3、委托人为消费者情形或受托人从事特定类型的事务处理
在消费者合同这些需要作出特别政策考量的领域，则应该结合相关政策要求对损害赔偿的范围作出限定或扩张。我国《消费者权益保护法》虽然规定了特定交易的“反悔权”及质量瑕疵时的解除权，但还没有特别限制消费者任意解除时的损害赔偿额，因而今后需要对此进一步完善。而在类似雇佣的事务委托中，其政策考量则需要更多地考虑受托人的利益，应适当限定损益相抵规则和减损规则等减额事由。
《合同法》第410条虽然规定了委托合同双方当事人的任意解除权，但并未明确限制其中的损害赔偿范围，导致理论上和实践上对此纷争不断。通过参照比较法并进行实证分析，可以得出该问题在我国现行法下的解决之道。总之，在委托合同中，确定任意解除时的损害赔偿范围，需要综合考虑两点，一是该委托合同是否有偿，二是提出任意解除的主体是委托人还是受委人。从而针对不同案件类型，考虑相关因素，具体分析后予以厘定损害赔偿范围。