认定诽谤罪的时候需要两个证人，诽谤罪属于自诉案件，需要受害者自己去法院起诉，要提供相应的证据，证明诽谤行为的存在，才会追究行为人的法律责任，可以依法判处三年以下有期徒刑。