我是一个淘宝卖家，四天前一个客人在我这买了一双100多的鞋子，但由于当时没有货，所以一直没发货，72小时后，客人申请了退款，并要求处罚金，（他退款的当天实际下午我准备发货了，但他申请了极速退款，所以也就没发出了），按淘宝规则我是没有按约定时间发货的，随后，他向淘宝发起投诉，按规定我赔偿了5%的违约金给他，淘宝也给了我店铺处罚。但是，当时我由于不满，所以在他向淘宝投诉的页面写了一句话，发了牢骚，原话是这样的：“怎么旺旺没见你同我说过一句话啊，今天下午本来要发货的，你退款了。。无语，新宁有这么穷吗，几块钱也来投诉，我大隆回国家级贫困县也你这么穷吧，这么缺钱，我给你10块”，今天早上他就来找我，说我侮辱他，要走法律程序，请问他如果向法院起诉我，我应该怎么办呢？今天淘宝小二也找了我，意思要我向买家道歉，但是我觉得就说了他穷的意思，他投诉了我，我发点牢骚也正常啊，所以没听小二的，因为我已经赔了钱，店铺也有处罚，所以淘宝也不能对我怎么样了，但说会配合买家通过其它渠道维权。请问律师，客人可以向法院起诉我吗，如果起诉我，我应该怎么做？或者收到法院传票我不理会的话有什么后果？