พิพิธภัณฑ์ปานถนอม จัดตั้งขึ้นเมื่อปี 2539 จากการริเริ่มของอาจารย์ถนอม คงยิ้มละมัย ซึ่งเป็นชาวไทยทรงดำโดยกำเนิด โดยอาจารย์ได้เล็งเห็นถึงคุณค่าและเอกลักษณ์ทางวัฒนธรรมของชาวไทยทรงดำ ที่นับวันก็จะยิ่งเลือนหายไปจึงรวบรวมวัตถุและจัดสร้างอาคารขึ้นให้เป็นแหล่งเรียนรู้และศึกษาเกี่ยวกับวัฒนธรรมและวิถีชีวิตของชาวไทยทรงดำโดยตรง ต่อมากระทรวงพัฒนาสังคมและความมั่นคงของมนุษย์ ได้ให้งบประมาณสนับสนุนในการเรียนการสอนภาษาไทยทรงดำเด็กนักเรียน ทำให้อาจารย์ได้ปลูกฝังเด็กเกี่ยวกับกิจกรรมและการละเล่นอื่นๆ ของไทยทรงดำเพิ่มเติมด้วย