วิทยาลัยช่างศิลป เดิมมีชื่อว่า "โรงเรียนศิลปศึกษา" จัดตั้งเมื่อ 4 มีนาคม พ.ศ. 2495 เพื่อเป็นโรงเรียนเตรียมมหาวิทยาลัยของมหาวิทยาลัยศิลปากร สังกัดมหาวิทยาลัยศิลปากร
โรงเรียนศิลปศึกษาเปิดทำการสอนเป็นครั้งแรกเมื่อวันที่ 17 พฤษภาคม พ.ศ. 2495 มีนักเรียนรุ่นแรกจำนวน 36 คน โดยใช้สถานที่ส่วนหนึ่งของมหาวิทยาลัยศิลปากรเป็นสถานที่เรียนชั่วคราว
ในปี พ.ศ. 2500 มีการเปลี่ยนชื่อโรงเรียนใหม่ เรียกว่า "โรงเรียนศ
ิลปศึกษาเตรียมมหาวิทยาลัยศิลปากร"
พ.ศ. 2500 มีการเปลี่ยนแปลงเกี่ยวกับการดำเนินงานของโรงเรียนหลายประการคือ
ก. ได้มีการกำหนดฐานะของโรงเรียน ประเภทเตรียมอุดมศึกษา เรียกชื่อว่า “โรงเรียนศิลปศึกษาเตรียมมหาวิทยาลัยศิลปากร”
ข. ได้ยุบเลิกแผนกช่างสิบหมู่ คงเหลือไว้เพียง 2 แผนก และเรียกชื่อใหม่ว่า แผนกเตรียมศิลป แผนกเตรียมโบราณคดี สำหรับ การศึกษาใน 2 ปีแรก
ค. เปลี่ยนมาสังกัดอยู่ใน “กองหัตถศิลป กรมศิลปากร”
พ.ศ. 2501 โรงเรียนศิลปศึกษาได้กลับไปสังกัดอยู่กับมหาวิทยาลัยศิลปากรอีกครั้ง จนถึงเดือน มกราคม พ.ศ. 2503 เมื่อ มหาวิทยาลัยศิลปากรแยกไปสังกัดสำนักนายกรัฐมนตรีพร้อมกับมหาวิทยาลัยแห่งอื่นๆ โรงเรียนศิลปศึกษาจึงกลับมาสังกัดกองหัตถศิลป กรมศิลปากรดังเดิม และพ้นฐานะจากการเป็นโรงเรียนเตรียมของมหาวิทยาลัยศิลปากร
ต่อมา พ.ศ. 2504 มีพระราชกฤษฎีกาแบ่งส่วนราชการกรมศิลปากรใหม่ และมีการตั้งกองศิลปศึกษาขึ้น โรงเรียนศิลปศึกษาจึงมีฐานะเป็นแผนกหนึ่งในกองศิลปศึกษา พร้อมทั้งได้เปลี่ยนชื่อใหม่เป็น "โรงเรียนช่างศิลป" ต่อมา กระทรวงศึกษาธิการได้ยกฐานะโรงเรียนช่างศิลป เป็น "วิทยาลัยช่างศิลป" เมื่อวันที่ 27 กุมภาพันธ์ พ.ศ. 2519
และเริ่มขยายกิจการการเรียนการสอนไปที่ เขตลาดกระบัง กรุงเทพมหานคร โดยได้เริ่มพัฒนา ก่อสร้างอาคารเรียนในที่ดินวิทยาลัยเจ้าคุณทหาร ลาดกระบัง เนื้อที่ประมาณ 63 ไร่ ในปีพ.ศ. 2519 และเริ่มใช้เป็นสถานศึกษาของวิทยาลัยอีกแห่งหนึ่งตั้งแต่ปี พ.ศ. 2521 เป็นต้นมา
พ.ศ. 2524 วิทยาลัยช่างศิลปได้ปรับปรุงหลักสูตร ประกาศนียบัตรศิลปศึกษาชั้นกลาง โครงสร้างของหลักสูตรประกอบด้วย หมวดวิชาสามัญ หมวดวิชาสัมพันธ์ หมวดวิชาชีพภาคทฤษฎี และวิชาชีพภาคปฏิบัติทั้งศิลปะ-ไทยแบบประเพณี และศิลปะร่วมสมัย มีกำหนดเวลาเรียน 3 ปี และเมื่อสำเร็จการศึกษาก็คงได้รับวุฒิประกาศนียบัตรศิลปศึกษาชั้นกลาง (ระดับ ปวช.)
พ.ศ. 2527 ได้มีการปรับปรุงหลักสูตรประกาศนียบัตรศิลปศึกษาชั้นสูงซึ่งเทียบเท่าหลักสูตรประโยคครูมัธยมการช่าง (ป.ม.ช.) อีกครั้งหนึ่ง โดยให้นักศึกษาเลือกเรียนวิชาศิลปะสาขาต่างๆ ตามความถนัดและความสนใจในศิลปะเฉพาะสาขา (วิชาเอก) และวิชาศิลปะเลือก (วิชาโท) เมื่อจบการศึกษาแล้วจะได้รับประกาศนียบัตรศิลปศึกษาชั้นสูง (ระดับ ปวส.)
พ.ศ. 2539 วิทยาลัยได้ดำเนินการปรับปรุงหลักสูตรศิลปศึกษาชั้นกลาง และหลักสูตรศิลปศึกษาชั้นสูง อีกครั้งหนึ่งเรียกชื่อว่า หลักสูตรศิลปกรรมระดับประกาศนียบัตรวิชาชีพพุทธศักราช 2539 (ศ.ปวช.) และหลักสูตรศิลปกรรมระดับประกาศนียบัตรวิชาชีพชั้นสูง พุทธศักราช 2539 (ศ.ปวส.) ตามลำดับ ซึ่งมีสาขาวิชาให้นักศึกษาเลือกเรียนอย่างหลากหลาย สอดคล้องกับแนวนโยบายปฏิรูปการศึกษาและสภาพการเปลี่ยนแปลงของสังคม
พ.ศ. 2545 วิทยาลัยช่างศิลปเปลี่ยนหน่วยงานต้นสังกัดมาเป็นสถาบันบัณฑิตพัฒนศิลป์ กรมศิลปากร กระทรวงวัฒนธรรม ตามประกาศกรมศิลปากร เรื่องการแบ่งส่วนราชการ หน่วยงาน และสถานศึกษาของกรมศิลปากร ลงวันที่ 14 พฤศจิกายน 2545
พ.ศ. 2546 ปรับหลักสูตรศิลปกรรมระดับประกาศนียบัตรวิชาชีพ พุทธศักราช 2539 มาเป็นหลักสูตรประกาศนียบัตรวิชาชีพ พุทธศักราช 2544 วิทยาลัยช่างศิลป ตามพระราชบัญญัติการศึกษาแห่งชาติ พุทธศักราช 2542
พ.ศ. 2550 วิทยาลัยช่างศิลปและสถาบันบัณฑิตพัฒนศิลป์แยกตัวจากกรมศิลปากร ตามพระราชบัญญติสถาบันบัณฑิตพัฒนศิลป์ ประกาศในราชกิจจานุเบกษา เล่มที่ 124 ตอนที่ 32 ก วันที่ 9 กรกฏาคม พ.ศ. 2550
พ.ศ. 2552 วิทยาลัยช่างศิลปปรับโครงสร้างการบริหารให้เป็นไปตามประกาศของสถาบันบัณฑิตพัฒนศิลป์ โดยให้มีการสรรหาผู้อำนวยการวิทยาลัย และผู้อำนวยการคนแรกที่มาจากระบบการสรรหา คือ อาจารย์สมบัติ กุลางกูร จนถึงปีพ.ศ. 2556 และผู้อำนวยการที่มารับตำแหน่งตั้งแต่ปีพ.ศ. 2556 จนถึงปัจจุบัน คือ อาจารย์ บุญพาด ฆังคะมะโน