Проверили на Vista и XP, используя последнюю версию RadioBOSS (4.1.5.490) и Shoutcast (1.9.8), все подключается и работает.
Посмотрите, что пишется в логе самого шауткаста. Если там вообще нет попыток подключения, значит, попытка блокируется файрволлом/антивирусом - попробуйте выключить эти программы.
Также попробуйте ничего не менять в конфиге шауткаста и попытаться подключиться сразу после его установки.