残保金不算退休人员，退休职工不需要交残保金，他们是属于国家规定的失去劳动能力的人员。残疾人就业保障金是为了保障残疾人权益，由未按规定安排残疾人就业的机关、团体、企业、事业单位和民办非企业单位缴纳的资金。