Jelsa sa nachádza v centrálnej časti starého ostrova Hvar, ktorý je považovaný za kráľa medzi dalmátskymi ostrovy. Jelsa je ohraničená dvoma bodmi: ostrovom Sv Nikola na západe a na juhu vrchom Hum. V každom meste a dedine na tomto ostrove je veľa architektonických a umeleckých pamiatok, ktoré svedčia o tradíciách ostrova. Nachádza sa tu aj jeden z najkrajších parkov v Dalmácii-Perivoj, ktorý bol založený v roku 1870 na nive. Rovnako ako v každom inom mestečku, tak iv Jelsa sa konajú letné slávnosti. Najznámejšie z nich sú \"Rybárske noc\" a \"Slávnosti vína\". Ponúka tu tie najlepšie vína z Hvare, domáce špeciality a veľa zábavy.