ĐÁNH GIÁ CHƯƠNG TRÌNH ĐÀO TẠO
1.1. Các mô hình đánh giá chương trình đào tạo:
Để đánh giá chất lượng chương trình đào tạo, dù bắt đầu từ đâu, cần phải xác định nhu cầu trước khi xây dựng mục tiêu mà việc đánh giá phải hướng đến. Chẳng hạn như để đánh giá chương trình đào tạo trước tiên cần xác định hướng đi và dựa vào đó xây dựng kế hoạch đánh giá để xác định xem chương trình có thành công không? [6, trang 9].
Theo Nguyễn Hữu Châu, đánh giá chương trình đào tạo không thể xem là một quá trình đơn nhất, nó là tập hợp các quy trình có liên quan đến các giai đoạn khác nhau trong xây dựng và triển khai chương trình đào tạo. Hình vẽ dưới đây mô tả một mô hình đánh giá chương trình đào tạo:
HÌNH 1.1 MÔ HÌNH ĐÁNH GIÁ CHƯƠNG TRÌNH ĐÀO TẠO
- Hình tròn (1) và (2) mô tả chương trình được thiết kế.
- Hình tròn (3) và (4) mô tả chương trình được triển khai.
- Mũi tên liền nét chỉ các lĩnh vực trong các hoạt động đánh giá.
- Mũi tên đứt đoạn thể hiện các hoạt động được tiến hành trong giai đoạn xây dựng.
Các đặc trưng và kết quả (1 4): Mối quan hệ giữa các đặc trưng và kết quả là một chủ điểm chính trong hầu hết các nghiên cứu đánh giá. Công cụ thường được sử dụng trong phạm vi này là các kiểm tra về kết quả theo nhiều thể loại khác nhau.
Trong biểu đồ trên, một đường kẻ liền nét giữa hai yếu tố này chỉ ra rằng loại thông tin này không thể thu thập được nếu chưa tiến hành thí điểm tài liệu chương trình.
Các đặc trưng và các hoạt động dự kiến (1 2): Hai yếu tố của sơ đồ được nối với nhau bằng đường chấm cho thấy mối quan hệ giữa các đặc trưng chương trình và các hoạt động dự kiến chỉ có thể được nghiên cứu ở giai đoạn xây dựng tài liệu thông qua các quá trình phán xét. Các kết quả đạt được ở giai đoạn này không cần được nghiên cứu lại ở giai đoạn thử nghiệm.
Các hoạt động dự kiến và hoạt động thực tế(2 3): Cần thiết phải thiết kế các nghiên cứu thử nghiệm với mục đích dự đoán mức độ triển khai của chương trình dự kiến. Nếu các chuyên gia dự tính rằng chương trình sẽ không được triển khai và họ cho là các hoạt động thực tế sẽ khác xa với các hoạt động dự kiến thì các nhà xây dựng chương trình phải sửa đổi chương trình để làm tăng khả năng thực hiện chương trình. Việc thực hiện chương trình dự kiến có khả năng thất bại khi các hoạt động dự kiến đặt ra những yêu cầu không hợp lý đối với nhà trường, đối với giáo viên và đặc biệt là các yêu cầu về nguồn lực.
Trong quá trình xây dựng chương trình, nên sử dụng cả hai loại nghiên cứu dự đoán và quan sát thực nghiệm. Chương trình dự thảo sẽ được gởi đến các chuyên gia để phán xét và chỉnh sửa sau đó sẽ tổ chức thí điểm và đánh giá trên cơ sở thí điểm.
Các hoạt động thực tế và kết quả thực tế(2 3): Mối quan hệ giữa các hoạt động thực tế và kết quả thực tế cần được nghiên cứu bằng thực nghiệm dựa trên dữ liệu quan sát và đạt được. Các nghiên cứu thực nghiệm được tiến hành song song với điều tra về sự phù hợp giữa các đặc trưng và các hoạt động học tập dự kiến. Các nghiên cứu loại này được sử dụng rộng rãi trong các kế hoạch xây dựng và đánh giá chương trình đào tạo. Do vậy, có hai lĩnh vực mà đánh giá phán xét có thể có giá trị là sự phù hợp giữa các đặc trưng và các hoạt động dự kiến hoặc sự phù hợp giữa các hoạt động dự kiến và thực tế [2, trang 125].
1.1.1. Mô hình đánh giá của Mỹ: Mô hình đánh giá hiệu quả chương trình đào tạo của Mỹ dựa vào 4 yếu tố:
- Đầu vào (Inputs): bao gồm các yếu tố liên quan đến người học (như trình độ chung lúc vào học, độ tuổi, giới tính . . .), lực lượng giảng viên, cơ sở vật chất – máy móc thiết bị, giáo trình, tài liệu học tập, kinh phí đào tạo.
- Hoạt động (Activities): kế hoạch tổ chức đào tạo, các dịch vụ hỗ trợ học tập, tổ chức nghiên cứu khoa học . . .
- Đầu ra (Outputs): mức tiếp thu của người học đến khi tốt nghiệp (kiến thức, kỹ năng, thái độ), tỷ lệ tốt nghiệp.
- Hiệu quả (Outcomes): mức độ tham gia vào xã hội, mức độ đáp ứng trong công việc, mức thu nhập.
HÌNH 1.3 MÔ HÌNH ĐÁNH GIÁ
HIỆU QUẢ CHƯƠNG TRÌNH ĐÀO TẠO CỦA MỸ
1.1.2. Mô hình các yếu tố tổ chức (Organizational Elements Model)
Mô hình đưa ra năm yếu tố để đánh giá như sau:
- Đầu vào: sinh viên, giảng viên, cơ sở vật chất, chương trình đào tạo, quy chế, tài chính . . .
- Quá trình đào tạo: phương pháp và quy trình đào tạo, quản lý đào tạo . . .
- Kết quả đào tạo: mức độ hoàn thành khóa học, năng lực đạt được và khả năng thích ứng của sinh viên.
- Đầu ra: sinh viên tốt nghiệp, kết quả nghiên cứu và các dịch vu khác đáp ứng nhu cầu kinh tế – xã hội.
- Hiệu quả: kết quả của giáo dục và ảnh hưởng của nó đối với xã hội. [11, trang 260]
1.1.3. Mô hình Kirkpatrick: Năm 1975, Donald Kirkpatrick giới thiệu một mô hình bốn mức đánh giá hiệu quả đào tạo và được ông cập nhật mới nhất vào quyển sách Evaluating Training Programs vào năm 1998. Những mức này có thể được áp dụng cho sự đào tạo theo hình thức truyền thống hoặc dựa vào công nghệ hiện đại.
Mô hình bốn mức đánh giá hiệu quả đào tạo bao gồm:
- Sự phản hồi của người học ( Students’ Reaction): người học được yêu cầu đánh giá chương trình đào tạo sau khi kết thúc khóa học. những gì mà họ nghĩ và cảm nhận trong đào tạo, về cấu trúc, nội dung, phương pháp trong chương trình đào tạo. Sự đánh giá thông qua những phiếu được gọi là “smile sheets” hoặc “happy sheets” bởi vì những phiếu này đo lường mức độ yêu thích chương trình đào tạo của người học. Kiểu đánh giá này có thể làm lộ ra những dữ liệu quí giá nếu những câu hỏi phức tạp hơn. Với sự đào tạo dựa trên công nghệ, sự khảo sát có thể được phân phát và được trả lời trực tuyến sau đó có thể được in hoặc e-mail gởi đến người quản lý đào tạo. Kiểu đánh giá này thường dễ dàng và ít chi chí.
- Nhận thức (Learning Results) : Mức hai đo kết quả nhận thức, đánh giá xem học viên có học được những kiến thức, kỹ năng và thái độ như mục tiêu của chương trình đào tạo đặt ra?
- Hành vi (Behaviour in the Workplace): sự thay đổi, sự tiến bộ về thái độ trong lĩnh vực nghề nghiệp. Một cách lý tưởng, sự đánh giá nên thực hiện từ ba đến sáu tháng sau khi kết thúc chương trình đào tạo, bởi vì thời gian quá lâu thì học sinh có cơ hội bổ sung những kỹ năng mới và dữ liệu đánh giá không thể hiện được điều cần đánh giá.
- Kết quả (Business Result): những hiệu ứng, tác động đến doanh nghiệp từ chương trình đào tạo. Thí dụ trong đào tạo nhân viên bán hàng, đo lường sự thay đổi trong lượng tiêu thụ, sự thu hút, lưu giữ khách hàng, sự gia tăng lợi nhuận sau khi chương trình đào tạo được thực hiện. Trong đào tạo an toàn lao động, đo lường sự giảm bớt các tai nạn sau khi chương trình đào tạo được thực hiện [30].
Mô hình Kirkpatrick đủ đáp ứng trong công nghệ và thương mại. Hầu hết các tổ chức thật sự hài lòng về sự đánh giá hiệu quả đào tạo và học tập tại công ty của họ [29].
1.2. Phương pháp đánh giá: Các phương pháp đánh giá chất lượng giáo dục đại học mới được phát triển trong vòng một, hai thập niên gần đây. Theo nhu cầu, đánh giá cho từng chương trình đào tạo lẫn đánh giá nhà trường, các phương pháp đánh giá lần lượt xuất hiện và ngày càng hoàn thiện hơn.
Sau đây là một số phương pháp tiêu biểu:
Phương pháp Baldrige: được Hiệp hội Chất lượng Mỹ sử dụng từ năm 1987. Phương pháp này hướng đến cách đánh giá tổng hợp về quản lý thành quả của cơ sở đào tạo dựa trên 7 tiêu chí như đội ngũ giảng viên, chương trình đào tạo, dịch vụ sinh viên . . . theo thang điểm từ thấp đến cao.
Phương pháp Kaplan & Norton: xuất hiện từ năm 1992 và được sử dụng chủ yếu ở các tổ chức kinh tế có lợi nhuận và về sau được cải tiến để sử dụng trong các cơ sở giáo dục. Phương pháp này chủ yếu đánh giá mối quan hệ giữa sứ mạng/ mục tiêu của trường học với hoạt động và thành quả của nó ở bốn nội dung: tài chính; khách hàng; môi trường – quá trình phát triển nhà trường; học tập – các cải tiến.
Phương pháp Barnett: đánh giá chủ yếu vào người học ở bốn hoạt động: xây dựng môn học và chương trình học, mối tương tác giữa dạy và học, đánh giá người học, đánh giá đội ngũ giảng dạy.
Phương pháp ISO 9000: 2000 được sử dụng để kiểm tra chất lượng trong sản xuất từ năm 1987 và được điều chỉnh để sử dụng trong lĩnh vực giáo dục từ những năm 90 (hiện nay là ISO 9001: 2000). Phương pháp này dựa trên 21 tiêu chí đánh giá trong bốn lĩnh vực: trách nhiệm của nhà quản lý, quản lý các nguồn lực, đánh giá thành phẩm, đo lường – phân tích và cải tiến [20, trang 42].
Theo Carter McNamara có ba phương pháp đánh giá một chương trình đào tạo:
+ Đánh giá dựa trên mục tiêu: đánh giá xem chương trình có đạt được các mục tiêu đã xác định từ trước không?
+ Đánh giá dựa trên quá trình: cách đánh giá này được sử dụng để kiểm soát xem chương trình đang tiến hành đến đâu và kết quả có đạt như mong muốn không? Hình thức đánh giá này thích hợp cho những chương trình dài hạn và chương trình đào tạo có thể được thay đổi khi có ý kiến góp ý từ nhà tuyển dụng, từ người học hoặc khi xuất hiện sự không hiệu quả trong quá trình đào tạo.
+ Đánh giá dựa trên thành quả: Đánh giá dựa trên các kết quả đầu ra, thẩm định xem chương trình và các hoạt động của nó có thật sự phù hợp và mang lại các kết quả như yêu cầu của người học không? [33].
1.3. Kỹ thuật đánh giá
Các dạng chủ yếu là bảng câu hỏi và chương trình phỏng vấn. Theo Jack R. Fraenkel và Norman E. Wallen hai dạng này tương tự nhau, chỉ khác nhau là bảng câu hỏi thường được giao luôn cho người tham gia còn chương trình phỏng vấn sẽ do nhà nghiên cứu nắm giữ và tiến hành.
Floyd Flowler đưa ra bốn tiêu chuẩn cơ bản mà câu hỏi khảo sát cần phải có:
- Liệu đây có phải là câu hỏi có thể được hỏi chính xác như trên văn bản viết hay không?
- Câu hỏi có mang cùng một ý nghĩa với tất cả đối tượng tham gia hay không?
- Câu hỏi có phải là một câu hỏi mà mọi người đều có thể trả lời hay không?
- Câu hỏi có phải là một câu hỏi mà mọi người sẵn sàng trả lời theo một trình tự thu thập dữ liệu có sẵn hay không?
Các câu hỏi đủ tiêu chuẩn phải cho câu trả lời “ có” đối với cả bốn câu hỏi trên [7, trang 185].
Phiếu điều tra bằng bảng câu hỏi (Questionnaire): bảng hỏi là tập hợp các câu hỏi một cách hệ thống mà người đọc có thể tự trả lời qua sự hướng dẫn đơn giản từ phiếu hỏi. Các chú ý khi sử dụng phiếu điều tra bằng bảng câu hỏi:
+ Các câu hỏi phải rõ ràng, dễ hiểu.
+ Các câu hỏi có kết thúc mở sẽ thu được nhiều câu trả lời mang tính cá nhân hơn nhưng đồng thời dạng câu hỏi này thường khó chấm điểm hơn vì có nhiều kiểu trả lời khác nhau.
+ Bảng câu hỏi không quá dài (không quá 5 trang) và mỗi câu hỏi không có quá nhiều phương án lựa chọn.
+ Phải bảo đảm một tỷ lệ phản hồi nhất định
Phỏng vấn (Interview): người đánh giá nói chuyện, thu thập thông tin trực tiếp với đối tượng. Trong phương pháp phỏng vấn trực tiếp hoặc phỏng vấn qua điện thoại thì vai trò người hỏi vô cùng quan trọng, người hỏi cần phải biết cách hỏi sao cho đối tượng cảm thấy thoải mái và muốn trả lời.