考虑到肛门上面长了个小肉芽可由多种因素导致，最好根据不同的病因进行治疗。首先，可能是由于痔疮引起的肉芽，痔疮多与患者不良的饮食生活习惯有关。要改变生活习惯，忌摄入辛辣、刺激性食物。可以口服痔速宁片、清火栀麦片、槐花散等药物，高锰酸钾坐浴之后，擦干患处之后，进行患处涂抹马应龙痔疮膏等药物进行治疗。如果药物治疗无效者，则需要进行手术切除治疗。其次，如果是由于肛肠息肉造成的小肉芽，需要进行手术切除治疗。最后，还有可能是由于肛裂、肛瘘、肛乳头瘤等疾病造成，最好可以去医院进行诊断治疗。