เขาแก่นจันทน์ เดิมชื่อเขาจันทน์แดง มีความสูงประมาณ 141 เมตร เป็นภูเขาที่สูงที่สุดในจังหวัด มีถนนตัดขึ้นไปถึงยอดเขา โดยสามารถนำรถขึ้นยอดเขาได้จากด้านข้างสวนสาธารณะจักรีอนุสรณ์สถานสมเด็จพระพุทธยอดฟ้าจุฬาโลก ริมถนนเพชรเกษม และบนยอดเขาสามารถชมทิวทัศน์เมืองราชบุรี และมีวิหารประดิษฐานพระพุทธนิโรคันตรายชัยวัฒน์จตุรทิศ หรือที่ชาวบ้านเรียกว่า “พระสี่มุมเมือง” เป็นพระ 1 ใน 4 องค์ที่พระบาทสมเด็จพระเจ้าอยู่หัวทรงพระกรุณาโปรดเกล้าฯ ให้สร้างขึ้น แล้วพระราชทานไปประดิษฐานไว้ ณ เมืองต่างๆ สี่เมือง ได้แก่ ราชบุรี ลำปาง สระบุรี และพัทลุง