พื้นที่บริเวณเขาคลังนอกภายหลังการขุดค้นทางโบราณคดีพบว่าประกอบไปด้วย เจดีย์ประธาน ผังรูปสี่เหลี่ยมจัตุรัส ขนาด 64 x 64 เมตร สูง 20 เมตร มีชุดฐานซ้อนกัน 2 ชั้น อยู่ในผังสี่เหลี่ยมยกเก็จขนาดความสูงชั้นละ 5 เมตร มีดีย์มุมและบันไดอยู่ตรงกลางด้าน ส่วนฐานเจดีย์ประธานประดับตกแต่งด้วยอาคารจำลองทรงปราสาท ซึ่งน่าจะได้รับอิทธิพลจากรูปแบบมาจากระบบบัญชรในศิลปะอินเดียใต้ (ราวพุทธศตวรรษที่ 12 ) และศิลปะเขมร สมัยก่อนเมืองพระนคร (ปลายพุทธศตวรรษที่ 12 - ต้นพุทธศตวรรษที่ 13)

ลานประทักษิณตั้งอยู่เหนือส่วนฐานเจดีย์ประธานชั้นที่สอง ตรงกึ่งกลางประดิษฐานองค์เจดีย์ประธานก่อสร้างด้วยอิฐทึบตัน ในปัจจุบันมีสภาพพังทลาย สันนิษฐานว่ามีรูปทรงกลมแบบโอคว่ำตั้งอยู่บนฐานยกเก็จที่มีแผนผังแบบ "ตรีรถะ" นอกจากนี้ยังปรากฎร่องรอยของการก่อสร้างดัดแปลงลานประทักษิณและฐานเจดีย์ประธานก่ออิฐในระยะหลัง ด้วยการรื้อส่วนฐานเจดีย์ทางด้านทิศตะวันตกออกบางส่วนเพื่อเพิ่มพื้นที่ประกอบพิธีกรรม และสร้างระเบียงคตขึ้นล้อมรอบ ซึ่งอาจมีความสัมพันธ์กับการก่อผนังปิดให้ใช้บันไดทางทิศตะวันตกเพียงด้านเดียวเป็นทางขึ้น-ลงลานประทักษิณ และการให้ความสำคัญกับทิศตะวันตกอันเป็นที่ตั้งของเขาถมอรัตน์ภูเขาศักดิ์สิทธิ์ของเมืองโบราณศรีเทพ

นอกจากนี้ยังมีเจดีย์บริเวณตั้งอยู่ในแนวแกนทิศด้านละ 3 องค์ มีรูปแบบทางสถาปัตยกรรมคล้ายคลึงกัน คือ ส่วนฐานชั้นล่างสุดก่อด้วยศิลาแลงฉาบปูนผังรูปสี่เหลี่ยมจัตุรัส เหนือขึ้นไปก่อสร้างด้วยอิฐลักษณะเป็นฐานบัวลูกแก้วหรือบัววลัยยกเก็จด้านละ 3 เก็จ ส่วนบนเจดีย์มีสภาพชำรุดพังทลาย สันนิษฐานว่าเป็นเจดีย์ทรงกลมแบบโอคว่ำรูปแบบเดียวกับเจดีย์ประธาน