姨家表哥的孩子是外甥。

外甥是指姐姐、妹妹的儿子或女儿，或者兄弟姐妹的儿子或女儿。而侄子则是指兄弟姐妹的儿子或女儿。由于姨家表哥是指母亲的姐妹或妹妹的儿子，因此他的孩子就是外甥，而不是侄子。