ส่วนมากแล้วจะเข้าใจว่าแหล่งโบราณคดีเขาศรีวิชัยเป็นเทวสถานฮินดูที่มีการบูชาพระวิษณุ ซึ่งกำหนดอายุได้ราวพุทธศตวรรษที่ 11-12 แต่ความจริงแล้วในพื้นที่รอบเขาศรีวิชัยยังพบหลักฐานการตั้งถิ่นฐานก่อนหน้านั้น สภาพพื้นที่เป็นพื้นที่ราบเหมาะกับการเพาะปลูก บริเวณที่เป็นแหล่งอยู่อาศัยอยู่ทางทิศตะวันออกและทิศเหนือของเขาศรีวิชัย มีขนาดพื้นที่ประมาณ 4.98 เฮกตาร์

         ตามประวัติศาสตร์แล้วในสมัยราชวงศ์สุยและราชวงศ์ถังเป็นไปได้ว่า เขาศรีวิชัยนี้คือที่ตั้งของเมืองผานผาน (เดิมเรียก พันพัน) ที่ปรากฏในเอกสารจีนว่าเป็นเมืองที่มีระบบกษัตริย์ปกครอง และยังอยู่ร่วมสมัยกับรัฐฝูหนาน

          โบราณวัตถุที่พบประกอบด้วยลูกปัดแก้วแบบอินโดแปซิฟิก ลูกปัดแก้วขนาดใหญ่ ลูกปัดแก้วแบบทรงสถูป (stupa) ลูกปัดแบบมีตา (eyed bead) ที่ผลิตจากโรมัน ลูกปัดแก้วทำด้วยเทคนิคแบบโมเสค ลูกปัดหินชนิดต่างๆ ทั้งคาร์เนเลียน อะเกต อเมทิสต์ โอนิกซ์ ลูกปัดอำพันทอง (gold foiled bead) แบบโรมัน นอกจากนี้แล้ว ยังพบเครื่องประดับทำจากทองคำอีกด้วย จากรูปแบบของลูกปัดแล้วแหล่งโบราณคดีเขาศรรีวิชัยควรมีอายุราวพุทธศตวรรษที่ 9-13 โดยประมาณ ไม่เก่าเทียบเท่ากับแหล่งโบราณคดีท่าชนะและเขาสามแก้ว

[กระทรวงการท่องเที่ยวและกีฬา] โบราณสถานเขาพระนารายณ์ (เขาศรีวิชัย) วัดเขาศรีวิชัยเรียกกันมาตั้งแต่ดั้งเดิม บ้างก็ว่าชื่อวัดหัวเขาบน ตามชื่อบ้านซึ่งชื่อบ้านหัวเขา ต่อมาจึงเปลี่ยนเป็นวัดเขาศรีวิชัย เกี่ยวกับเรื่องนี้มีหลักฐานที่น่าสนใจและอาจจะเกี่ยวข้องกับชื่อวัดนี้คือ ตำนานการบูรณะพระบรมธาตุไชยาในสมัยพระครูโสภณเจตสิการาม ( หนู ติสโส) เล่าว่า เมื่อปี พ.ศ. 2438 มีชายหนุ่มที่ต่อมารู้จักในนาม ตาปะขาวนุ้ย ไม่ปรากฏว่าหลักฐานแหล่งเดิมอยู่ที่ใดแต่ได้มาขออาศัยที่วัดหัวเขา อำเภอพุนพิน มีชื่อเสียงในการบูรณะวัด ต่อมาชาวไชยาเดินทางไปรับตาปะขาวมาไชยาและเริ่มเข้ามาถากถางเพื่อบูรณะพระบรมธาตุ แต่เกิดเรื่องเสียก่อนจึงบูรณะไม่สำเร็จ เรื่องที่ยกมานี้มีข้อสังเกตที่ชื่อวัดหัวเขา อำเภอพุนพิน ว่าน่าจะเป็นชื่อเดิมของวัดเขาศรีวิชัยที่ชาวบ้านเรียกกันสืบต่อมาก็ได้ อย่างไรก็ตามมีหลักฐานที่เป็นลายลักษณ์อักษรปรากฏชื่อ วัดเขาศรีวัย ในหนังสือสัญญาการรับเหมาสร้างกุฏิ 3 หลังที่อารามวัด ลงวันที่ 24 กันยายน ร.ศ. 121 หนังสือสัญญานี้อยู่ในความครอบครองของพระครูวิจิตรคณานุการ อดีตเจ้าอาวาสวัดเขาศรีวิชัย ดังนั้นจึงเป็นหลักฐานค่อนข้างแน่ชัดว่า ชื่อวัดเขาศรีวิชัยเป็นชื่อที่มีมาไม่ต่ำกว่า พ.ศ. 2445 ส่วนจะเก่าไปถึงเท่าใดก็ไม่ทราบแน่ชัด และชื่อวัดหัวเขาบนคงเป็นชื่อที่ชาวบ้านนิยมเรียกอย่างไม่เป็นทางการนั่นเอง