未中标的人应当退还投标保证金。根据相关法律规定，招标人最迟应当在书面合同签订后5日内向中标人和未中标的投标人退还投标保证金及银行同期存款利息。

【法律依据】根据《中华人民共国招标投标法实施条例》第57条规定：招标人和中标人不得再行订立背离合同实质性内容的其他协议。

招标人最迟应当在书面合同签订后5日内向中标人和未中标的投标人退还投标保证金及银行同期存款利息。