紀元前30世紀頃、 カナンと呼ばれていた土地において古代セム系民族がオフェルの丘に集落を築いたのが起源とされている。 エルサレムの地名は古代エジプトの記録（アマルナ文書）などにまず見られる。 紀元前1000年頃にヘブライ王国が成立すると、 2代目のダビデ王によって都と定められた。 その後、3代目のソロモン王によって王国は絶頂期を迎え、 エルサレム神殿（第一神殿）が建設されたが、 その死後の紀元前930年ごろに王国は南北に分裂、 エルサレムはユダ王国の都となった。
その後、エルサレムは300年以上ユダ王国の都として存続したものの、 王国は紀元前597年に新バビロニア王国の支配下に入り、 新バビロニア王ネブカドネザル2世によってエルサレムの住民約3000人がバビロンへと連行された。 ついで紀元前586年7月11日、 ユダ王国は完全に滅ぼされ、 エルサレムの神殿ならびに都市も破壊され、 住民はすべてバビロンへと連行された。バビロン捕囚である。
紀元前539年に新バビロニアがアケメネス朝ペルシャに滅ぼされると、 ペルシャ王キュロス2世はユダヤ人のエルサレムへの帰還を認め、 エルサレムは再建された。 紀元前515年にエルサレム神殿も再建（第二神殿）された。 紀元前332年のガザ包囲戦でアレクサンドロス3世が勝利し、 大きな歴史の画期となった。 それ以降エルサレムはアレクサンドロス帝国、 セレウコス朝シリアの支配下となった。 紀元前140年頃にはユダヤ人がハスモン朝を建てて自立したものの、 ローマ帝国の影響が強まり、 紀元前37年にはローマの宗主権のもと、 ヘロデ大王によってヘロデ朝が創始され、ローマの支配下におかれた。 ヘロデは第二神殿をほぼ完全に改築し、 ヘロデ神殿と呼ばれる巨大な神殿を建設した。
この後は西暦6年にユダヤ属州が創設され、 州都はカイサリアに置かれたが、 エルサレムは宗教の中心として栄え続けた。 この頃、イエス・キリストがエルサレムに現れ、 西暦30年ごろに属州総督ポンティウス・ピラトゥスによって処刑されたとされる。
しかし、西暦66年にはユダヤ戦争が勃発し、 ユダヤ人はエルサレムに拠って抵抗したものの、 エルサレム攻囲戦 (西暦70年) によってエルサレムは陥落した。 これ以後、それまでユダヤ人への配慮からカイサリアに置かれていたローマ軍団がエルサレムへと駐屯するようになり、 エルサレムにはユダヤ人の居住は禁止された。 ハドリアヌスの治世になるとエルサレムの再建が計画されたものの、 ユダヤ神殿の跡にユーピテルの神殿を築き、 都市名をアエリア・カピトリナと改名することを知ったユダヤ人は激怒し、 西暦132年にバル・コクバの乱を起こしたが鎮圧された。 エルサレムはローマ植民市アエリア・カピトリナとして再建された。
その結果、エルサレムを追われ、 離散（ディアスポラ）することになったユダヤ人たちは、 エルサレム神殿での祭祀に代り、律法の学習を拠り所とするようになった。
西暦313年にはローマ帝国がミラノ勅令によってキリスト教を公認し、 西暦320年ごろにコンスタンティヌス1世の母太后である聖ヘレナが巡礼を行ったことで、 エルサレムはキリスト教の聖地化した。 市名は再びエルサレムに戻され、 聖墳墓教会が立てられた。 ユリアヌス帝の時代には、 ユダヤ人のエルサレムへの居住が許可されるようになった。
西暦638年、 アラブ軍による征服でエルサレムはイスラーム勢力の統治下におかれた。 イスラームはエルサレムを第三の聖地としており、 7世紀末に岩のドームが建設された。 西暦970年より、 シーア派を掲げるファーティマ朝の支配下に入った。 しかし、11世紀後半に大飢饉などによりファーティマ朝が弱体化すると、 この地をスンナ派のセルジューク朝が占領した。 この征服を率いた軍人アトスズは、 占領時に略奪や異教徒を含む住民の虐殺などを禁止しており、 エルサレムの平安は維持されていた。
西暦1098年にファーティマ朝が再びエルサレムを奪回する。 しかし、翌年には第一次十字軍の軍勢がエルサレムになだれ込み、 多くのムスリムやユダヤ教徒の住民を虐殺した（エルサレム攻囲戦）。 そして、西暦1099年にエルサレム王国を成立させた。 ムスリムやユダヤ人はエルサレムへの居住を禁止され、 エルサレムはキリスト教徒の町となった。 しかし、12世紀後半にアイユーブ朝のスルタンであるサラーフッディーンがエルサレムを奪回し、 再びイスラーム勢力の支配下に入った。 このときカトリックは追放されたものの、 正教会やユダヤ人の居住は許可された。 西暦1229年、 当時のイスラーム側における内部対立にも助けられ、 神聖ローマ皇帝フリードリヒ2世は、 アイユーブ朝スルタンのアル＝カーミルとの交渉によってエルサレムの譲渡を認めさせた。
それ以後はマムルーク朝やオスマン帝国の支配下に置かれた。
19世紀後半に入るとヨーロッパに住むユダヤ人の間でシオニズムが高まりを見せ、 パレスチナへのユダヤ人の移住が急増した。 中でも特に移住者が多かったのは聖都エルサレムであり、 19世紀後半にはエルサレムではユダヤ人が多数派を占めるようになっていた。 西暦1892年には地中海沿岸から鉄道が開通し、 人口はさらに増加した。 第一次世界大戦でオスマン帝国が敗れると、 この地域は大英帝国・国際連盟によってユダヤ人シオニストのハーバート・サミュエル卿が高等弁務官として治めるイギリス委任統治領パレスチナとなり、 エルサレムにその首都が置かれた。 このことでエルサレムの政治的重要性がさらに増す一方で、 委任統治領政府はエルサレムの近代化に力を入れ、 西暦1925年にはヘブライ大学も開学した。
第二次世界大戦後の西暦1947年に国際連合のパレスチナ分割決議において、 パレスチナの56.5%の土地をユダヤ国家、 43.5%の土地をアラブ国家とし、 エルサレムを国連の永久信託統治とする案が決議された。 この決議を基にイスラエルが独立宣言をするが、 直後に第一次中東戦争が勃発。 西暦1949年の休戦協定により西エルサレムはイスラエルが、 旧市街を含め東エルサレムをヨルダンが統治することになり、 エルサレムは東西に分断された。 西暦1967年6月の第三次中東戦争（六日間戦争）を経て、 ヨルダンが統治していた東エルサレムは現在までイスラエルの実効支配下にある。 イスラエルは東エルサレムの統合を主張しており、 また、第三次中東戦争による「再統合」を祝う「エルサレムの日」を設けている（ユダヤ暦からの換算になるため、グレゴリオ暦では毎年変動がある。2010年は5月12日が「エルサレムの日」であった）。
イスラエルは東エルサレムの実効支配を既成事実化するため、 ユダヤ人入植を精力的に進めており、 2010年時点で入植者は20万人を超える。 イスラエルは今後の数年間で、 先の1600戸を合わせ5万戸の入植を計画している。 一方、エルサレム市当局は、パレスチナ人の住居が無許可であるとの理由で、 しばしばその住居を破壊している。
エルサレムは単に地理的に要所であるのではなく、 アブラハムの宗教全ての聖地であることが最大の問題である。 このことがエルサレムの帰属をめぐる紛争の火種となっており、 パレスチナ問題の解決を一層困難にしている。