V době této největší slávy v 16. století zde bylo na 13 hospod, působili tu 4 kováři a v obci žilo mnoho tzv. „soumarských rodin“, které se přímo zabývaly dopravou zboží. Změnil se také architektonický ráz obce, která se díky druhé vlně kolonizace rozrostla. Dorazili noví osídlenci, patrně z oblasti jihozápadně od Pasova (dříve se soudilo, že šlo o osídlence z Korutan, Štýrska či Tyrolska). Ti s sebou přinesli specifický typ tzv. alpského (či tyrolského) dřevěného velkoprostorového domu a zavedli intenzivní metody chovu dobytka po alpském vzoru. Císař Rudolf II. získal roku 1600 Volary do svého vlastnictví od zadlužených Rožmberků a v roce 1622 je od císaře Ferdinanda II. obdržel Jan Oldřich z Eggenbergu. Třicetiletá válka zasáhla negativně do obchodu na Zlaté stezce, ten začal stagnovat a nedokázal se vyrovnat s konkurencí, kterou byl vývoz rakouské soli z Gmundenu.
Definitivní úpadek Zlaté stezky nastal počátkem 18. století. Tehdy, v roce 1719, opět Volary změnily majitele, jímž se stali Schwarzenbergové. Jak ztrácel obchod na stezce na významu, tak se ve Volarech rozšiřoval chov dobytka. Rozvíjelo se také lnářství, dřevorubectví a zpracování dřeva, které sloužilo mimo jiné i na výrobu potaše – suroviny nezbytné pro výrobu skla v poměrně četných šumavských sklárnách. V první polovině 19. století propojila Volary síť pevných silnic s Prachaticemi, Chlumem, Lenorou a Českými Žleby a došlo k novému rozkvětu lokality. V roce 1848 měla obec již 200 domů a na 2 000 obyvatel. Volary si díky specifické „alpské“ dřevěné zástavbě udržovaly ráz, který se vymykal tehdejší české venkovské architektuře. Podobné to bylo i s charakterem obyvatel. Většina byla německé národnosti, ale vzhledem k uzavřenosti místní komunity byla jejich němčina velmi odlišná od úředního německého jazyka a mnozí Němci přicházející odjinud se s volarskými osadníky domlouvali jen s obtížemi. Obyvatelé byli v dobové literatuře označováni jako „lid otužilý, pracovitý a poctivý, ale neobyčejně surový a rvavý. Odlučujíce se i od nejbližších svých sousedů, brousí mrav a vtip svůj jen v obcování se sobě rovnými.“
Stejně tak si Volarští udržovali své dávné zvyky a způsob života. Dřevěná zástavba s sebou samozřejmě nesla nebezpečí požárů. V 18. století ve Volarech hořelo v letech 1715, 1719, 1754 a největší požár zachvátil obec 22. července 1863. Zničil na 59 domů, poškodil kostel a školu. Údajně byla jeho záře vidět až u rakouského Lince. Nová výstavba již probíhala s ohledem na bezpečnost z jiných stavebních materiálů – zejména z cihel a kamene. V obci byla v roce 1865 otevřena pošta a o pár let později ji spojil se světem i telegraf. V roce 1870 Volary požádaly císaře Františka Josefa I. o udělení titulu města. V žádosti se uvádělo, že obec má téměř 3 000 obyvatel, vysoký počet tkalců, oddělení finanční stráže, lékaře s lékárnou, faráře, školu se třemi třídami a konají se tu čtyři výroční trhy a každý týden trh dobytčí. Císař vyhověl a skutečně dne 30. dubna 1871 Volary povýšil na město.
Před 1. světovou válkou zde žilo 3 573 obyvatel, z toho jen 9 Čechů. Po vzniku Československa začal podíl českého obyvatelstva vzrůstat tak, že koncem třicátých let šlo o 200 osob české národnosti. Jednalo se především o státní zaměstnance (železničáři, četnictvo, finanční stráž, zaměstnanci důchodkové kontroly). V roce 1930 měla obec celkem 3 700 obyvatel, ve městě byla například německá obecná škola chlapecká a dívčí, německá měšťanská škola chlapecká a dívčí, česká státní obecná škola jednotřídní, státní odborná škola hospodářská zimní a odborná dřevařská škola a pivovar.
Po mnichovské dohodě byly Volary připojeny k Říši. Roku 1945 na samém konci 2. světové války se černě zapsal do historie města pochod smrti, kdy zde 4. května zahynulo na 95 židovských žen z Polska, Maďarska, Ruska, Německa a Čech při cestě z koncentračního tábora v Ravensbrücku a Helmbrechtsu. Po válce bylo německé obyvatelstvo z Volar odsunuto a začalo osídlování města českými osadníky a repatrianty. Volary se také v padesátých letech staly sídlem jednotek pohraniční stráže. Změnil se zásadně jejich architektonický vzhled, protože většina rázovitých dřevěných domů byla zbourána a prodána jako palivové dříví. Zůstalo zachováno 11 „alpských domů“ rozptýlených v nové zástavbě.
Model ukazuje část původní městské zástavby Volar před druhou světovou válkou. Tehdy převažovala typická dřevěná zástavba v tehdejší Saumerstrasse, Lichtauerstrasse, Bachzeile, Reichstrasse a v městské části Am Weiger. Na modelu je rekonstruována část tzv. Dolní potoční ulice (Untere Bachzeile), Horní potoční ulice (Obere Bachzeile) a Lichtauerstrasse. Dnes jsou spojeny bývalá Dolní potoční ulice a Lichtauerstrasse do jedné „České ulice“ a Horní potoční ulice nyní nese název ulice K. V. Raise.
