Необходима ли для «выделенки» цифровая линия с цифровой АТС и, какой тип модемов при этом используется?

Разумеется. Иначе большой скорости не видать. А модемы зависят от типа подключения. Т.е. или ISDN, или xDSL.

Для выделенной линии (ADSL) не важно, какая АТС, а важно состояние телефонной линии от АТС до абонента.

Выделенка может быть и аналоговая - однопроводная, или двухпроводная. Для первой не нужен особый модем, и скорость будет обычная или чуть выше, только связь устойчивей; для второй нужен, например Courier.