ทุกครั้งที่ผมเดินทางไปน่าน มักจะแวะไปที่วัดพญาวัดเสมอ เพราะวัดนี้เป็นวัดเดียวในน่านที่มีเจดีย์ทรงสี่เหลี่ยมซ้อนชั้นกันขึ้นไป นักประวัติศาสตร์ศิลปะโดยมากแล้วชี้ไปให้ทางเดียวกันว่า เจดีย์นี้ได้ต้นแบบมาจากเจดีย์กู่กุดที่เมืองลำพูน หรือในอดีตมีชื่อเรียกขานว่า หริภุญไชย 

เจดีย์เหลี่ยมที่วัดพญาวัดก่อด้วยอิฐ ปกติจะต้องฉาบปูน และตกแต่งด้วยลวดลายพันธุ์พฤกษาตามซุ้มและเสา แต่แทบทั้งหมดหลุดร่วงไปหมด อย่างไรก็ตามบางจุดยังหลงเหลืออยู่ ซึ่งทำให้สามารถกำหนดอายุได้ราวพุทธศตวรรษที่ 20-21 สอดคล้องกับพระพุทธรูปในซุ้มที่ทำเป็นปางเปิดโลก คือ ปางที่พระกรทั้งสองข้างวางขนานแนบพระวรกาย ปางแบบนี้ได้รับความนิยมในช่วงเวลาดังกล่าวเช่นกัน โดยได้รับอิทธิพลมาจากศิลปะลาวล้านช้าง

รูปแบบของเจดีย์ที่วัดพญาวัดนี้ อาจเปรียบได้กับเจดีย์กู่กุด วัดจามเทวี แต่อายุก็ค่อนข้างห่างมากหลายศตวรรษ แต่เจดีย์ที่มีรูปทรงใกล้เคียงกันมากกว่านั้นควรเป็นเจดีย์เหลี่ยมที่ตั้งอยู่ภายในวัดพระธาตุหริภุญไชย ซึ่งมีชื่อว่าเจดีย์กู่คำ กำหนดอายุราวพุทธศตวรรษที่ 18 ตอนปลาย ถึงพุทธศตวรรษที่ 19 จึงเป็นไปได้ว่าเจดีย์ที่วัดพญาวัดอาจได้รับแรงบันดาลใจมาจากเจดีย์แห่งนี้

นอกจากเจดีย์เหลี่ยมแล้ว วัดนี้ยังมีสิ่งที่พิเศษอีกคือ หลังเจดีย์เหลี่ยมมีแนวกำแพงดินและคูน้ำ ความสูงของกำแพงดินนี้ราว 8 เมตร สูงเกินกว่าการจะเป็นกำแพงของวัดตามธรรมเนียมของทางเหนือในการสร้างเวียงพระธาตุ อาจเป็นไปได้ว่าแนวกำแพงดินและคูน้ำนี้อาจเป็นส่วนหนึ่งของเมืองระยะแรกๆ ก่อนสร้างเมืองน่านขึ้นมา