Отвечает силентий:
/dev/ttyS0 - это порт COM1 в терминах MS. Честное слово, на нем у Вас модема нет. Скорее всего он вообще не установлен, ибо есть у меня такое подозрение что это Win-модем. Возможно, в линуксе он заработает. Не уверен. Начните копать на http://linmodem.org
Отвечает Иван:
Да, надо посмотреть на сайте (см. ответ силентия) поддержку модема, т.к. он win_modem ("не настоящий", частично эмулируется средствами ОС). Если есть возможность, необходимо подобрать модули для ядра к нему. Или попытаться подобрать на удачу параметры для соединения. Порта для модема /dev/ttyS0 у вас нет.