Một trong những bước đáng lưu ý khi thực hiện điều tra khảo sát chính là thực hiện việc khảo sát và xử lí thử dữ liệu thu được từ một nhóm nhỏ những đối tượng trong mẫu khảo sát (pilot test). Tuy nhiên, nhiều sinh viên ngay sau khi hoàn thành bảng hỏi đã nóng lòng phân phối bảng hỏi đến các đối tượng khảo sát mà bỏ qua bước này. Điều này có thể dẫn tới các lỗi khó khắc phục, bởi sau khi đã thu thập được khảo sát với cỡ mẫu mục tiêu, nếu phát hiện ra bảng hỏi có vấn đề thì đã quá muộn để làm lại. Vậy pilot test là gì và thực hiện như thế nào?
Khi nào cần thực hiện pilot test?
Khi nào cần thực hiện pilot test? Bước thực hiện pilot test diễn ra ngay sau khi bạn đã xây dựng được bản hỏi mà bạn tự đánh giá là “khá ổn” và diễn ra trước khi bạn điều tra khảo sát chính thức. Thời gian thực hiện bước này phụ thuộc rất nhiều vào chất lượng của từ ngữ sử dụng, cách đặt câu hỏi và cách sắp xếp thứ tự câu hỏi.
Tại sao nên thực hiện pilot test?
Mục đích của pilot test là đảm bảo tất cả những người trong mẫu khảo sát không chỉ hỏi các câu hỏi trong bảng hỏi mà còn hiểu theo cùng 1 cách. Điều này giúp cho dữ liệu nguồn bạn thu được chân thực và không bị sai lệch, tránh ảnh hưởng đến kết quả thống kê, phân tích hoặc chạy mô hình. Thông qua pilot test, bạn sẽ biết được đâu là những câu hỏi có vấn đề để chỉnh sửa hoàn thiện trước khi thực hiện điều tra chính thức trên diện rộng. Bên cạnh đó, bạn còn có thể kiểm tra, xử lí thử được dữ liệu khảo sát đã thu thập nhằm tìm ra phương án khắc phục các lỗi dữ liệu có thể xảy ra.
Ai sẽ là người tham gia pilot test?
Người tham gia pilot test là một nhóm nhỏ đối tượng nằm trong mẫu khảo sát mục tiêu của bạn. Lưu ý rằng dù đây chỉ là một nhóm rất nhỏ trong thuộc mẫu khảo sát, tuy nhiên bạn cần lựa chọn “những gương mặt” có tính đại diện tất cả các đối tượng.
Ví dụ, nếu độ tuổi của đối tượng khảo sát mục tiêu từ 15 tuổi trở lên thì khi thực hiện pilot test bạn cần khảo sát thử với cả các đối tượng trẻ tuổi, trung niên hay cao tuổi. Hoặc với các khảo sát không giới hạn trình độ học vấn thì bạn cần khảo sát với cả những người có bằng cấp cao và người có bằng cấp thấp, … Tóm lại, dù chưa phải là khảo sát chính thức, nhưng khi thực hiện pilot test, bạn cũng cần lựa chọn các đối tượng đại diện có tính đa dạng trong chính mẫu nhỏ này, để đảm bảo rằng bảng hỏi của bạn dễ hiểu và được hiểu theo cùng 1 nghĩa với tất cả những người bạn sẽ khảo sát sau này.
Số lượng người tham gia pilot test?
Để thực hiện một pilot test, bạn sẽ tiến hành qua 2 bước là pretest (5 – 10 người) và sau đó là pilot test (30 – 50 người). Về cơ bản, bước pretest được thực hiện như pilot test (được trình bày chi tiết ở bên dưới) nhưng số lượng người ít hơn và dữ liệu không được nhập vào phần mềm để xử lí. Pretest được thực hiện lặp lại cho đến khi bảng hỏi được coi là hoàn thiện để tiến hành pilot test với số lượng lớn hơn.
Thực hiện pretest như thế nào?
1. Tiến hành chuyển survey như cách điều tra bạn sẽ thực hiện với đối tượng khảo sát trong mẫu mục tiêu và tính thời gian thực hiện survey
Nếu bạn chọn cách trực tiếp, hãy chuyển bảng hỏi trên giấy đến người tham gia khảo sát; nếu bạn chọn cách trực tuyến, hãy gửi đường link thực hiện khảo sát cho họ. Nếu bạn khảo sát bằng cả 2 cách thì hãy thực hiện pretest theo cả 2 cách. Đừng quên tính thời gian mỗi người khảo sát hoàn thành bảng hỏi, điều này sẽ giúp bạn xây dựng kế hoạch khảo sát hiệu quả hơn.
2. Chú ý trong quá trình người trả lời thực hiện survey
Trước khi yêu cầu người tham gia khảo sát trả lời bảng hỏi, hãy lưu ý họ đánh dấu vào bất cứ câu hỏi nào khó hiểu hoặc làm cho họ không biết trả lời như thế nào. Khi họ trả lời, hãy theo dõi toàn bộ quá trình thực hiện. Tất cả các dấu hiệu như nhăn mặt, chần chừ, chọn đáp án nhưng sau đó lại sửa lại, không tìm thấy đáp án muốn lựa chọn, hay dừng lại ở 1 câu lâu hơn các câu hỏi khác đều là dấu hiệu cho thấy có vấn đề trong bảng hỏi. Ngay cả trong trường hợp cách bạn phân phối survey là online, bạn nên ngồi cạnh người được khảo sát để quan sát những điều này.
3. Thảo luận về các câu hỏi
Sau khi người khảo sát hoàn thành bảng hỏi, hãy cùng họ đi lần lượt các câu hỏi, để xem họ hiểu nghĩa các câu hỏi có thực sự đúng như ý của bạn hay không. Đặc biệt với các câu hỏi họ đã đánh dấu lại, hãy hỏi tại sao họ lại khó hiểu hoặc làm họ không biết trả lời như thế nào. Đừng quên ghi lại những lí do từ họ để bạn chỉnh sửa câu hỏi được tốt hơn.
4. Thảo luận đáp án của các câu trả lời đóng
Bên cạnh mặt ngữ nghĩa của các câu hỏi, hãy hỏi thêm những người tham gia khảo sát về các câu trả lời; đặc biệt là các câu trả lời lựa chọn với đáp án đóng. Bạn có thể hỏi ý kiến của họ xem có nên đưa thêm đáp án nào vào hay không, vì có thể có đáp án phù hợp với họ nhưng lại chưa có trong các lựa chọn trả lời.
5. Thảo luận về các yếu tố nội dung, hình thức khác
Cùng với mặt nội dung, bạn cũng nên hỏi thêm về các yếu tố khác như thứ tự các câu hỏi họ cảm thấy có phù hợp không, yếu tố trình bày có được đẹp mặt không, hay họ có gặp bất cứ khó khăn nào khác khi trả lời bảng hỏi của bạn. Đừng quên xin thêm đánh giá của họ về survey và tất cả những góp ý khác để survey tốt hơn về cả hình thức và nội dung.
6. Tổng hợp kết quả thu được và điều chỉnh bảng hỏi
Sau khi thực hiện xong pretest, hãy tổng hợp lại những phản hồi và góp ý mà bạn đã ghi lại. Bạn sẽ thấy có những phản hồi và góp ý giống nhau giữa những người trả lời. Đó chính là những nội dung bạn cần sửa lại. Hãy điều chỉnh những lỗi của bảng hỏi hiện tại, thực hiện lại pretest cho tới khi tất cả những người trả lời đều có thể trả lời các câu hỏi với cùng một ý hiểu.
Thời gian thực hiện pretest và pilot test sẽ giúp bạn cải thiện chất lượng bảng hỏi
Thực hiện pilot test
Quá trình thực hiện pilot test tương tự như thực hiện pretest, tuy nhiên số lượng người cần thiết khoảng 30 – 50 người và thường chỉ thực hiện 1 – 2 lần. Sau khi khảo sát xong với cỡ mẫu này, hãy nhập toàn bộ dữ liệu vào phần mềm và tiến hành test thử tất cả những thống kê, phân tích, kiểm định, hồi quy, … bạn dự kiến sẽ tiến hành như khi có bộ dữ liệu đầy đủ mong muốn. Nếu các xử lí số liệu thu được từ pilot test có nhiều vấn đề, hãy xem có lỗi nào xuất phát từ dữ liệu nguồn hay không (lỗi câu hỏi dẫn đến câu trả lời bị sai lệch, lỗi xuất phát từ người trả lời, …). Khi đó, bạn có thể xem xét điều chỉnh lại và thực hiện pilot test lần 2 để giải quyết vấn đề. Trong trường hợp các vấn đề này không quá lớn thì có thể tiến hành khảo sát trên diện rộng ngay mà không cần thực hiện lại pilot test. Bạn cần lưu ý rằng kết quả pilot test không sử dụng để phân tích, thống kê và chạy mô hình chính thức.
Pretest là bước bắt buộc mà tất cả các nghiên cứu sử dụng khảo sát bảng hỏi phải thực hiện; trong khi đó tùy theo quan điểm của người nghiên cứu mà pilot test có thể được thực hiện hay không. Tuy việc thực hiện pilot test tốn thời gian hơn nhưng sẽ giúp bạn “an toàn” hơn bởi bạn có thể khắc phục các sự cố trước khi thu thập bộ dữ liệu nguồn; từ đó thu được bộ dữ liệu sơ cấp tin cậy hơn và đảm bảo kết quả nghiên cứu khoa học, chính xác hơn.
Để công trình nghiên cứu được đánh giá cao hơn, khi trình bày kết quả nghiên cứu, đừng quên trình bày chi tiết cách bạn thực hiện pretest và pilot test! Chúc bạn xây dựng được một bảng hỏi chất lượng và đạt thành tích cao trong mùa nghiên cứu khoa học năm nay!
Tài liệu tham khảo
[1] Pilot Testing Data Collection Instruments, Center for Evaluation and Research (Nguồn: Tại đây) [2] How to pretest and pilot a survey questionnaire (Nguồn: Tại đây)Cộng đồng sinh viên kinh tế nghiên cứu khoa học (RCES)
