高级人才违约合同可以由劳动者、单位协商后确定，但是需要注意的是，根据《劳动合同法》的规定，只有在培训服务期约定中、在竞业限制约定中可以约定违约金，对于其他地方约定了违约金的，约定一般无效。