Po podatkih v ljubljanskih davčnih knjigah je bila na tem kraju leta 1616 verjetno pristava nekega plemiča iz Ljubljane, leta 1694 pa se omenja vrt z zidano poletno hišico, tudi plemiškega lastnika.

Gostilna oziroma krčma pa se pojavi šele leta 1765, ko je zemljišče s stavbo kupil krčmar Ferdinand Mrvec.

Prostor na katerem stoji Hotel Slon, so začeli zazidavati močneje šele proti koncu XVII. stoletja, verjetno takrat, ko je bil last podjetnega Andreja Maliča in pozneje njegove vdove Jere ter zeta Jožefa Savinška.

Načrt tega dela mesta iz leta 1820 kaže, da so takrat že stale različne, za gostilniški obrat potrebne stavbe, gostilniško in stanovanjsko poslopje, hlev, skladišče in druge gospodarske stavbe.

Nastanek hotela Slon je treba postaviti v čas, ko je tedanji lastnik Jožef Zalar namesto stare pritlične stavbe, v letih 1856 do 1858 zgradil novo hotelsko poslopje in leta 1860 odprl tudi kavarno v tem poslopju.

Hotel je bil v tem času znamenit tudi zategadelj, ker so se petični Ljubljančani lahko kopali pod njegovo streho. Začetek kopeli seže v leto 1853.

Hotelska stavba je preživela osemdeset let, medtem tudi potres leta 1895, kar je dokaz da je bila dovolj trdno grajena.

Leta 1937, ko so začeli graditi novi Slon, je množica Ljubljančanov vsak dan opazovala, kako raste hotel pred njihovimi očmi. Ko je bil dograjen, je bil Hotel Slon najlepši in najmodernejši hotel v Ljubljani.

Dve leti po vojni, 30. junija 1947, je bilo ustanovljeno podjetje Hotel Slon, ki je imelo tedaj v naslovu še Tyrševa cesta 2.