Место на слиянии рек Каспля и Западная Двина было заселено уже в 7–8 веках.

В 15–16 веке поселение принадлежало Сапегам и называлось «Дричалуки», или «Државелики».

В 16 веке накалилась обстановка между ВКЛ и Москвой. В 1563 году король Сигизмунд Август дал указ строить замки для укрепления государства. Для строительства одного из замков выбрали и поместье Сапегов, в месте на крутом берегу впадения Каспли в Двину.

Управлял строительством замка витебский воевода Стефан Збаражский. Он также был и каштеляном трокским, и трокским воеводой. В 1564 году на левом берегу Двины, в месте, где впадает в нее Каспля, построили замок. Замок назвали «Сурож» (ударение на «о»), что на белорусском языке означало «суров, грозен». «Сурожыцца» — сердиться или грозно, сурово смотреть на кого-либо.

Поселение стало именоваться названием крепости.

Время превратило наречие в существительное, передвинув ударение на «у», а разговорная речь смягчила название «Сурож» на «Сураж».