Asal mula Desa Pagertoyo tidak dapat terlepas dari Kerajaan Mataran. Pada suatu ketika diwilayah yang sekarang bernama Desa Pagertoyo, kedatangan 4 (empat) orang kesatria Mataram dengan waktu yang berbeda-beda  . Kedatangan keempat orang tersebut dalam rangka melihat perkembangan dan pemanfaatan wilayah di Mataram..Desa pagertoyo terdiri dari dua wilayah yaitu krajan pagertoya dan dusun mangli.kedua wilayah terrsebut dulunya adalah sebuah hutan belantara yang konon katanya penuh dengan aura mistik dan banyak penghuni ghaib yang jahat dan ganas.

Krajan pagertoyo didirikan oleh 3 (tiga) orang yaitu Ki Bakung,Ki Roto dan Ki Anggar beliau bertiga adalah saudara seperguruan dengan Kiageng Mataram pendiri desa Limbangan.Sementara Dusun Mangli didirikan oleh Kyai Tlisik beliau adalah keturunan senopati Majapahit yang telah runtuh di masa sebelum kerajaan Mataram, yang semula di kenal dengan nama Ki Kribik.

Krajan Pagertoya bermula ketika Ki Bakung yang sedang mengembara melintasi wilayah tersebut pada tengah siang hari,karena lelah kemudian beliau beristirahat sejenak untuk melepas lelah sambil duduk di atas batu besar untuk menikmati bekal yang di bawanya akan tetapi beliau di ganggu oleh mahluk ghaib yang jail dan tinggal di situ, sehinga merepotkannya sampai pagi hari semua bekal dan barang yang di bawanya di sembunyikan oleh mahluk itu .bahkan menurut cerita-cerita orang terdahulu orang yang melintas di situ pasti di ganggu oleh penghuni di situ bahkan tidak bisa kembali atau hilang..Hal tersebut membuat Ki Bakung menjadi penasaran,dengan jiwa kesatrianya beliau tergugah dan merasa bertanggung jawab untuk mengamankan wilayah tersebut dari kejahatan apapun.Untuk mempertahan kan hidupnya beliau kemudian membuka lahan untuk kebutuhan sehari-hari sambil memerangi mahluk jahat yang ada di situ agar tidak menganggu orang-orang yang melintas di situ.semakin hari Ki Bakung semakin kuwalahan karena mahluk disitu di bantu oleh mahluk ghaib dari luar yang semakin hari semakin banyak.

Dengan berjalannya waktu adik sepergurua beliau yaitu Ki Roto dan Ki Anggar mendengar kabar bahwa kakak seperguruannya sedang berperang di wilayah tersebut dan kualahan kemudian Ki Roto menyusul untuk membantu Ki Bakung dengan waktu yang tak berselang lama Ki Anggar pun ikut membantu.kemudian mereka bersama-sama melawan mahluk-mahluk itu,akan tetapi mahluk itu malah semakin banyak,kemudian mereka berunding dan sepakat untuk bersama-sama membuat pagar (benteng) ghaib guna menghalangi mahluk gaib luar yang ingin membantu supaya tidak bisa masuk,waktu itu ki Anggar lah yang ditugasi untuk membuatnya,dengan mengelilingi sambil menyeret pedangnya,ki Anggarpun membuat sungai yang di aliri dengan banjir deras yang air nya menyatu membentuk seperti benteng atau pagar yang tinggi mengelilingi wilayah tersebut.

Akan tetapi karena besar serta derasnya banjir yang mengalir dalam berhari-hari, membuat wilayah di bawah nya di sebelah barat yaitu tempat persingahan seorang keturunan senopati Majapahit beserta istri dan beberapa orang warga terancam hanyut terbawa banjir,karena lurus dengan sungai yang di buat oleh Ki Anggar,bahkan warga kampung  sekitar pun mengira serta meyakini bahwa wilayah tersebut hilang terkena banjir.

Namun dengan kekuatan yang di milikinya,Ki Kribik mampu membelokan banjir itu dengan istilah jawa mentlisiki yaitu membelokan dengan menancapkan bambu-bambu yang kemudian di selipi dengan kerisnya, yang di pasang berada tepat di perbatasan wilayah ki Anggar dengan wilayahnya.Dengan membelokkan banjir itu ke sebelah selatan wilayahnya.

Setelah beberapa hari banjirpun akhirnya reda dan wilayah tersebut aman tidak ada kurang suatu apapun bahkan wilayah tersebut malah tabah warganya.Oleh sebab itu warga sekitar wilayah tersebut terkejut dan heran dengan mengucapkan dengan bahasa jawa Manglingi melihat wilayah tersebut yang seharusnya hanyut malah aman dan semakin ramai, maka dari itu kampung tersebut di sebut dengan nama kampung Mangli.Dan akhirnya  Ki Kribik disebut dengan nama Ki Tlisik.

Serta dengan adanya pagar air yang di buat oleh Ki Anggar maka mahluk- mahluk jahat didalam wilayah Ki Bakung bersaudara mampu di kalahkan.Dari situlah warga sekitar menyebut wilayah tersebut dengan bahasa jawa  Pagertoyo yang memiliki makna Pager adalah pagar ,Toyo adalah air atau pagar yang terbuat dari air. Dan dengan berjalannya waktu Pagertoyo yang sudah aman tidak ada lagi ganguan dari mahluk jahat,semakin hari pun semakin banyak orang yang singgah dan menetap serta ber anak pinak disitu.

Dengan berjalan nya waktu jaman kerajan pun berubah menjadi negara kesatuan republik Indonesia dan pemerintahan sampai ke pelosok pun mulai ditata dengan mengabungkan dari beberapa wilayah (dusun) menjadi satu desa,saat itu dusun Pagertoyo dan dusun Mangli di gabunkan untuk membentuk satu pemerintahan desa dan di sepakati dengan nama Desa Pagertoyo.

Dalam perjalanannya,Desa Pagertoyo dari jaman sebelum kemerdekaan sampai dengan sekarang telah terjadi beberapa kali pergantian kepemimpinan Kepala Desa antara lain sebagai berikut:

Bapak Pawiroredjo Yakoep (sebelum kemerdekaan)

Bapak Sukarman (sebelum kemerdekaan)

Bapak Partowo (sebelum kemerdekaan – 1963)

Bapak Dasuki (1963 – 1989)

Bapak Mas'udi Yasir (1989 – 2007)

Bapak H. Sujarno. SE ( 2007 sampai sekarang )