المشروع الوطني السعودي لقياس مخرجات التعليم العالي المشروع الوطني السعودي لقياس مخرجات التعليم العالي Saudi National Project for H. Education Outcome Assessment Dr. Faisal Al saud, CEO of NCA Dr. Mohammed Al Oheli, Deputy Minister of Education 2 nd December 2015

Background اطلقت وزارة التعليم ( التعليم العالي ) ، برنامجا طموحا لقياس نواتج برامج التعليم العالي بالجامعات السعودية، وكلفت به المركز الوطني للقياس والتقويم. تشمل المرحلة الأولى سبع تخصصات هندسية، والمرحلة الثانية (21) تخصصا آخرا. Ministry of Education (H. Education), has launched a very comprehensive project for Assessing University program outcomes. Phase one (2011) :7 Engineering Disciplines. Phase two (2014): 21 Other Disciplines. 2

أهداف المشروع Project Objectives الوصول إلى إطار عام لمخرجات التعليم العالي في التخصصات المختلفة. To set a framework for H. Education Learning outcomes. إعداد نواتج التعلم، العام منها والتخصصي. To set the learning outcomes for the specified disciplines including common outcomes. توفير الأدوات والاختبارات اللازمة لقياس مخرجات التعليم العالي. Develop tools for the assessment of these outcomes. المساهمة في تطوير البرامج العلمية في الجامعات السعودية. Contribute to the development of scientific programs in universities. توفير مؤشرات دقيقة عن مخرجات التعليم العالي. Provide accurate indicators of the output of higher education. 3

Project Importance أهمية المشروع تعزيز عمليات ضمان الجودة والرقي بنواتج التعلم المتوقعة في كل تخصص. Strengthening the quality assurance processes and improve learning outcomes. تحديد وتطوير المهارات والقدرات التي تعد من متطلبات الكفاءة الوظيفية ومن مقومات النجاح في الحياة العملية. Identify and develop skills and abilities that are functional and requirement for success in practical life. قياس كفاءة المناهج والخطط التعليمية لمؤسسات التعليم العالي ومدى تحصيل خريجيها لمخرجات التعلم المتوقعة من كل برنامج. Measuring the efficiency of educational curricula and plans for higher education institutions. توفير مؤشرات وطنية عن مخرجات البرامج المختلفة. Provide national indicators of the output of the various programs. 4

الفوائد المتوقعة للوزارة Expected Benefits for Ministry تحديد مؤشرات مرجعية للبرامج الأكاديمية. Setting Benchmarks for Academic Programs. مراقبة جودة مؤسسات التعليم العالي وفقا لمؤشرات دقيقة قائمة على نتائج الاختبارات المقننة. Quality control of higher education institutions according to precise indicators based on the results of standardized tests. تشخيص نواحي القوة والضعف في نواتج مؤسسات التعليم العالي وربطها ببعض المتغيرات ذات العلاقة. Quality control of higher education institutions according to precise indicators based on the results of standardized tests. رصد أثر البرامج التطويرية في الجامعات. Monitor the impact of development programs in Universities. 5

الفوائد المتوقعة للمؤسسات التعليمية Expected Benefits for Educational Institutions التعرف على النواتج التي تمثل الحد الأدنى للتخصص. Identify minimum outcomes for programs توظيف نتائج الاختبارات لمراقبة البرامج الأكاديمية وتطويرها. Employment of test results to monitor academic programs. توفير البيانات اللازمة لمتطلبات الاعتماد الأكاديمي. Provide the data necessary for accreditation. قياس أثر البرامج التطويرية أو المتغيرات عبر الزمن. Measure the impact of improvement on programs throughout time. 6

الفوائد المتوقعة للطلبة والخريجين Benefits on Students and Graduates توفير البيانات اللازمة للطلاب لمساعدتهم على اختيار الجامعات الأفضل في التخصصات المستهدفة. Provide the data necessary for students to help them choose the strongest University in targeted disciplines. الحصول على عمل مناسب بعد التخرج. Get a suitable job after graduation. 7

الفوائد المتوقعة لجهات التوظيف Expected Benefits for Employers يمكن لجهات التوظيف الاستئناس بنتائج الاختبارات المقننة كمؤشر أضافي للمفاضلة بين الخريجين على محك موحد. Employers can take into consideration the results of standardized tests as an additional indicator for selection. 8

التخصصات التي يغطيها المشروع اللغة العربية الرياضيا ت علوم الحاسب نظم المعلوما ت الأحياءالأحياء الفيزياءالفيزياءالكيمياءالكيمياء علوم الأغذية الخدمة الاجتماعي ة التمويلالتمويل المحاس بة التسويقالتسويق الاقتصادالاقتصادالشريعةالشريعة إدارة الأعمال القانون والأنظم ة الإعلامالإعلامالجغرافياالجغرافيا علم النفس علم الاجتما ع اللغة الإنجليز ية هندسة مدنية هندسة معمارية هندسة ميكانيكية هندسة كيمائية هندسة صناعية هندسة كهربائي ة هندسة حاسب 9

Disciplines coveredArabicArabic MathMath Compu ter s. Informa tion Systems BiologyBiology PhysicsPhysics Chemi stry FoodScienceFoodScience Social Service FinanceFinance Accou nting Marke ting EconomyEconomy Islamic Law B. Admin LawLaw Informa tion & P.P. Geogra phy psycho logy Social science. EnglishEnglish Civil Eng. Archit ecture Eng. Mecha nical Eng. Electric al Eng. Industr ial Eng. Mecha nical Eng. Compu ter Eng. 10

Engineering outcomes 11

Generic Skills Basic and Engineering Sciences Engineering Analysis Engineering Design Engineering Practice Engineering Skills 12

المهارات الهندسية 13 المهارات العامة أساسيات العلوم والهندسة التحليل الهندسي التصميم الهندسي الممارسة الهندسية

FORMULATION OF LO’s FOR ENGINEERING DISCIPLINES Engineering Civil Engineering Computer Engineering Architectural Engineering Chemical Engineering Electrical Engineering Industrial Engineering Mechanical Engineering Sub-Discipline Structural Eng. Geotechnical Eng. Water Resources Eng. Transportation Eng. Environmental Eng. Construction Manag. & Eng. Sub-Discipline Information Engineering Computer Architecture Computer Networks Sub-Discipline Electrical Power Engineering Electrical Machines Engineering Electronics Engineering Communications Engineering Control Systems Engineering Sub-Discipline Manufacturing systems engineering Industrial operation and logistics Human factors engineering and safety Quality Engineering Sub-Discipline Production and Design Engineering Thermal and Desalination Engineering Petrochemicals and Petroleum Refining Desalination and Water Treatment Materials Science and Engineering Biochemical Engineering Chemical Industries S ub-Discipline 14

المهارات العامة GENERAL SKILLS (GS) General skills (i.e. generic skills, transferable, soft skills) are the basic competencies that all higher education graduates ought to possess upon their graduation. They cover six areas:  Communication skills  Numeracy and calculation skills  Computer literacy skills  Interpersonal skills  Problem solving skills  Learning and performance improvement skills  مهارات التواصل  المهارات الحسابية  مهارات استخدام الحاسب الآلي  المهارات الشخصية  مهارات حل المشكلات  مهارات التطور المعرفي والأدائي 15

مثال : مهارات حل المشكلات مهارة حل المشكلات GS5 - Problem Solving Skills يشخص المشكلة بإيضاح طبيعتها من خلال تصميم للبحث والتحقق وتجميع وتنظيم المعلومات والبيانات ذات العلاقة بها. Diagnose a problem by the clarification of its nature through the formulation of inquiries as well as the assembling and the organization of relevant information and data. يتعرف على الأهداف المطلوبة ويحدد المصادر والموارد اللازمة لحل المشكلة. Define the desired objectives and decide on resources to be allocated to solve the problem. يحل المشكلة عن طريق تقسيمها إلى أجزاء اصغر يسهل التعامل معها. Manage the solution of a problem by breaking it down into smaller - more manageable – parts. يولد ويستخدم أكثر من طريقة لمواجهة المشاكل والصعوبات، ويحدد الخيارات الإبداعية والموثوقة التي يمكن أن تنجح في حلها Generate and use variety of ways to tackle problems and identify creative and credible options that are likely to succeed. إيجاد خطة تنفيذية لحل المشكلة. Provide an implementation plan for the problem solution. يظهر ويستخدم مهارات حل المشاكل بما في ذلك النقاش مع الآخرين واستطلاع تعليقاتهم ( تقييماتهم ). Monitor and critically employ problem solving skills including discussion with - feedback from – others. يختبر النتائج ويقيم عمليات وطرق حل المشكلات، ويتعلم من الخبرات السابقة لتلافي القوع فيها مستقبلا. Examine the results and assess the problem-solving process and procedure, learn from experience and avoid reoccurrence of similar situations in future. 16

 Overview of existing international work on formulating engineering competencies and learning outcomes.  Development of criteria for comparison between the various international competencies and learning outcomes.  Develop a comprehensive framework for assessing Learning Outcomes (LOs) in Engineering  Contact and feedback from internal and external sources: Universities, Employers, Alumni, and international experts.  Conduct workshops to review the LO including international & local experts. I- For Learning outcomes: I- For Learning outcomes: Project Methodology… 17

Literature Survey on Skills and LOs Extensive survey and tables of comparison were made  USA, Canada, UK, Ireland, Australia, New Zeeland, Japan, Singapore, Korea, Malaysia, China (Hong Kong), South Africa  ENQA (European Accreditation for Quality Assurance) (47 countries)  ABET (Accreditation Board for Engineering and Technology)  EUR-ACE (European Accredited Engineers)  CDIO (Conceiving-Designing-Implementing-Operating)  TUNING-AHELO (Assessment of Higher Education Learning Outcomes)  NAAB (National Architectural Accrediting Board)  TUNING-USA  PBLE (Project Based Learning in Engineering)  NCAAA 18

BS1. The ability to apply university level mathematical skills to analyze and solve engineering problems. Learning Outcomes Graduates who possess this ability should be able to: Apply the principles and laws of linear algebra (e.g., vectors, dot product, scalar product, matrices, solution of systems of algebraic equations) Apply the major principles of differential and integral calculus (e.g., differentiation, definite and indefinite integral, integration techniques, trigonometric functions, polar coordinates) Recognize differential equations (e.g., types of differential equations, solution of ordinary differential equations) Engineering LO - Example 19

 Basic Sciences (BS) and Engineering Fundamentals (EF) The following skills belong to this area:  BS1. The ability to apply university level mathematical skills to analyze and solve engineering problems.  BS2. The ability to utilize knowledge of chemistry and physics to solve engineering problems.  EF1. The ability to use knowledge of engineering fundamentals and information technology. This ability encompasses, also, the integration of knowledge from other engineering disciplines with knowledge from the graduate’s engineering discipline. FORMULATION OF ENGINEERING SKILLS (ES) 20

Engineering Analysis and Investigation (AI) The following skills belong to this area:  AI1. The ability to identify, formulate, assess, and solve complex engineering problems in a creative and innovative manner. Graduates are also expected to use appropriate analytical, modeling, and simulation techniques.  AI2. The ability to (a) design and perform relevant experiments, (b) analyze and interpret experimental data considering uncertainties and (c) draw valid conclusions.  AI3. The ability to (a) perform searches of various sources of information and (b) evaluate the logic, validity, and relevance of data. FORMULATION OF ENGINEERING SKILLS (ES) 21

 Engineering Analysis and Investigation (AI) AI2. The ability to (a) design and perform relevant experiments, (b) analyze and interpret experimental data considering uncertainties and (c) draw valid conclusions. Learning Outcomes: Graduates who possess this ability should be able to:  Establish relevant design criteria for the experiment  State the objectives to be achieved from the experiment  Apply appropriate tools  Recognize uncertainties and limitations of the experiment  Plan for the experiment  Manage the experiment  Conduct appropriate experiment to achieve set objectives within safety standards  Apply modern data acquisition software and hardware FORMULATION OF ENGINEERING SKILLS (ES) 22

Engineering Design (ED) The following skills belong to this area:  ED1. The ability to (a) create, conceive, develop, and evaluate design solutions to meet defined and specified requirements and (b) apply design methodologies to establish innovative solutions to open- ended engineering problems.  ED2. The ability to design while observing non-technical requirements such as (a) political, ethical, environmental, health, societal, sustainability and safety constraints (b) the commercial and economic impact and (c) needs of customers and user in the design including human factors such as aesthetics and emotional needs. FORMULATION OF ENGINEERING SKILLS (ES) 23

Engineering Practice (EP)  EP1. The ability to (a) apply new engineering techniques and suitable processes in engineering practice (b) utilize previously gained theoretical and experimental knowledge and practical experience in solving engineering problems and (c) recognize the domain of application of engineering knowledge and skills.  EP2. The ability to (a) Recognize the relevant codes of practice and the ability to work within the standards of the industry, (b) adhere to professional and ethical standards, (c) recognize the legal obligations in engineering practices, including safety, personnel and environmental issues and (d) promote sustainability.  EP3. The ability to (a) manage engineering projects and (b) understand the nature of entrepreneurship. FORMULATION OF ENGINEERING SKILLS (ES) 24

المكونات الاساسية والفرعية وصياغة النواتج LO: المحاسبة محاسبة التكاليف والمحاسبة الإدارية 1. المكون الأساسي : محاسبة التكاليف والمحاسبة الإدارية وصف المكون الاساسي : يهدف هذا المكون الى ان يكون الخريج قادرا على ان يعرف محاسبة التكاليف من خلال التركيز على مفاهيم التكاليف ويحلل العلاقة بين التكلفة والحجم والربح وكذلك يبين كيفية إعداد قوائم التكاليف. كما يعرف المحاسبة الإدارية ويشرح أسس ونظم المحاسبة الإدارية وكيفية استخدام البيانات والمعلومات المحاسبية في اتخاذ القرارات التشغيلية والرأسمالية. المكون الفرعينواتج التعلم 2. مبادئ محاسبة التكاليف الإدارية : يهدف هذا المكون الى أن يكون الخريج قادرا على أن يحدد ويشرح مبادئ محاسبة التكاليف بالتركيز على الدور الذي تلعبه معلومات التكاليف و المحاسبة الإدارية في بيئة الأعمال، و كذلك يعرف مفاهيم التكاليف و يحلل العلاقة بين التكلفة و الحجم و الربح و كذلك كيفية إعداد قوائم التكاليف. يهدف هذا المكون أن يكون الطالب قادرا على أن : 1- يقارن بين محاسبة التكاليف والمحاسبة الإدارية والمحاسبة المالية. 2- يحدد طبيعة ووظيفة ومصطلحات محاسبة التكاليف. 3- يصف كيفية انسجام محاسبة التكاليف في الهيكل التنظيمي. 4- يحدد ويبين المصطلحات والمفاهيم المختلفة للتكلفة ويقيم مدى ملائمتها لأغراض اتخاذ القرارات المختلفة. 5- يفرق بين تكاليف المنتج وتكاليف الفترة وكيفية حسابهما ويقوم بإعداد قائمتي التكاليف والدخل في ظل الطرق المختلفة لحساب التكلفة. 6- يشرح الطرق المختلفة لتحميل التكاليف غير المباشرة. 7- يميز بين نظم حساب تكاليف الأوامر الإنتاجية ونظم حساب تكاليف العمليات الإنتاجية. 8- يعد ويحلل قوائم التكاليف الخاصة لنظم الإنتاج على أساس الأوامر الإنتاجية ونظم الإنتاج على أساس العمليات الإنتاجية. 9- يصنف التكاليف الملائمة والمنافع وبيان المعالجة المناسبة للتكاليف الغارقة وتكاليف الفرصة البديلة وتكاليف الوحدة ويحلل القرارات الخاصة. 10- يشرح الغرض من إعداد الموازنات والموازنة الشاملة ويعد جداول مكوناتها ويربط الموازنة بعملية التخطيط والرقابة. 2- المحاسبة الإدارية : 2.2- المحاسبة الإدارية : يهدف هذا المكون الى أن يكون الخريج قادرا على أن يشرح أسس و نظم المحاسبة الإدارية و يستخدم البيانات و المعلومات المحاسبية في اتخاذ القرارات التشغيلية و الرأسمالية. بالإضافة الى أن يميز المداخل المختلفة لدراسة المحاسبة الإدارية ويعد الموازنات التقديرية و يقيس ويحلل الانحرافات باستخدام كل من نظام الموازنات التقديرية و التكاليف المعيارية، و يقوم المقترحات الاستثمارية و يستخدم البيانات و المعلومات، و يقوم الأداء باستخدام المقاييس التشغيلية و المالية. يهدف هذا المكون أن يكون الطالب قادرا على أن : 1- يشرح طبيعة وأهمية المحاسبة الإدارية في بيئة منشآت الأعمال. 2- يقارن بين المحاسبة المالية والإدارية من حيث : المستخدمين وإعداد التقارير والإطار الزمني واستخدام المعلومات. 3- يحدد التكاليف والإيرادات الملائمة في المواقف المختلفة وكيفية استخدامها في اتخاذ القرارات والاختيار بين البدائل على المدى القصير والطويل. 4- يشرح دور وأهمية المحاسبة الإدارية في تسهيل عمليات التخطيط والرقابة وأنشطة اتخاذ القرار. 5- يدمج بين العوامل الوصفية والعوامل الكمية في خطوات عملية حل المشكلة. 6- يحدد كيفية تكامل تحليل سلوك التكلفة والحجم والنشاط للتأثير على عملية التخطيط. 7- يقارن بين استراتيجيات قرار التصنيع الداخلي أو الشراء متضمنا تقييم الاستعانة بمصادر خارجية. 8- ينتقد الاتجاهات الحالية نحو الإنتاج الخالي من الهدر (Lean Production) والمحاسبة الخالية من الهدر (Lean Accounting) لإدارة نظم المخزون القائمة على الإنتاج. 9- يفسر حساب القيمة الزمنية للنقود لأغراض قرار إعداد الموازنة الرأسمالية. 10- يشرح كيفية تطبيق مقاييس الأداء ( المالية وغير المالية ) على المنظمة ووحداتها الفرعية. 25

تخصص الإدارة Main Component: Operations Management Description: Discuss and apply principles of supply chain management, operations management, and quality control. Sub-component Learning Outcomes After taking the component, graduate should be able to: 1.Describe the relationship between organizations and their suppliers and define main activities of supply chain management 2.Explain the purchasing process and the role of strategic sourcing 3.Describe various aspects of production planning, construct a materials requirement planning, determine a master production schedule, and forecast future demand given historical data 4.Identify distribution issues in supply chain management, including logistics and customer relationship management 5.Explain the importance of inventory management, the quantitative tools used in it and the role of just-in time scheduling in supply chain management Supply Chain Management: Discuss the framework of supply chain management and apply its concepts and tools to create competitive advantage and formulate global strategy Operations Management: Explain operations management concepts, differentiate between operations in service and in manufacturing sectors and use tools and techniques to make operation decisions. 1.Describe principles of operations management, compare the different aspects of operations management practice, and identify the role and responsibility of operations manager in different organizational contexts. 2.Evaluate the concepts, systems, and strategies relevant to operations management. 3.Interpret problems associated with operations and apply operational tools and techniques to analyze such problems to improve performance. 4.Utilize the quantitative tools and techniques to solve transportation and location problems 5.Forecast future demand and firms' capacity, and use the linear programming to determine the product mix. Quality Management: Discuss principles of total quality management and use tools and technique to bring about data-driven decisions 1.Recall the history of the quality management movement and the transformation steps into TQM in business organizations, 2.Identify the major philosophers of quality management and explain their beliefs, and identify the major tenets of the field of quality 3.Describe principles and variables constituting the system of total quality management 4.Use tools and technique associated with quality management to bring about data-driven decisions 5.Describe the statistical process control (SPC) tools 6.Recall the well known quality management rewards and list its criteria. 26

# Abilities # Learning Outcomes # Questions Allocated time, hrs General Skills General Engineering Disciplines Architectural Engineering Chemical Engineering Civil Engineering Computer Engineering Electrical Engineering950 3 Industrial Engineering Mechanical Eng FORMULATION OF ENGINEERING LO’S… 27

T ABLE OF S PECIFICATIONS (TOS) TOS maps Engineering Learning Outcomes within each Skill in the Engineering Discipline pertaining to one Learning Area with the test Questions distributed over various Learning Levels 1)Learning Areas 2)Skill Code (Ability) 3)LO Code Group 4)Suggested Number of Questions 5)Assigned Allocations Among Learning Levels 6)Suggested Distribution by Major Area 7)% of Test 8)Total Allocated Time 9)Average Question Time 28

T ABLE OF S PECIFICATIONS FOR EE 29

T ABLE OF S PECIFICATIONS FOR EE 30

A IM OF I NSTRUCTION M ANUAL Provides guidelines for: Test structure Timing Percentage of question coverage and distribution among various learning areas and Levels Represents the “bridge” between the developed learning outcomes and the actual phrased questions, which constitute the engineering qualification tests to be administered Helps item developers prepare items in the Engineering Disciplines. Its purpose is to familiarize the examiners with the learning outcomes to be tested and test question formats 31

Items Review Workshop To evaluate items and decide whether to accept or reject them. Groups expert for each discipline (3 experts) to review the written items Item WritingItem reviewAccept Accept with Modification Reject 32

Test Compilation Based on Table of Specification, accepted items were combined into number of forms for each discipline These forms include the needed References such as Equations to solve the question. Accepted items Table of Specification Form 1Form2 33

T EST S TRUCTURE - I Test Schedule and Organization Two 3-hour sessions during one day GS + ES (1 + 2 hr: morning) DS (3 hr: afternoon) 2 hr break between the two Test Type Paper-based Initially and computer based soon. Multiple Choice Questions (MCQs) 4 choices for the answer No negative marking for wrong answers. Eligibility for Test BS in EE, ME, CE, ChE, IE, CoE and AE Students in their final year of such programs. 34

T EST S TRUCTURE - II Test Rules Books, lecture notes, or another type of material are not allowed in the test. Calculators approved by NCAHE are allowed to do the necessary calculations. It is recommended that such calculators be distributed by NCAHE during the exam. Admission in the examination center will be only through authorities admit card issued by examination authority Necessary, reference sheets, monographs, equations, relevant data from codes will be provided Comprehensive test rules and regulations will be provided by examination authority, NCAHE, in a separate manual. 35

Piloting التطبيق الأول مUniversity No of Candidates CivilElec.Mech.Indus.Chem.ArchComp. 1Tabuk KAU Northern Boarder Um Alqura KFU Najran Jazan KSU Taif KKU KFUPM Albaha Hail Total per Discipline Total =

عدد الطلاب حسب الجامعة No. of students according to University 37

عدد المختبرين حسب التخصص NO. of students according to discipline 38

أداء المختبرين في الاختبار العام حسب التخصص Performance of graduates on General Test according to their Major عدد المختبرين متوسط درجة الاختبار العام الانحراف المعياري هندسة كيميائية هندسة ميكانيكية هندسة كهربائية هندسة صناعية هندسة مدنية هندسة معمارية هندسة حاسب الإجمالي

General test according to University 40

نتائج اختبار الهندسة الكهربائية Electrical Engineering 41

نتائج اختبار الهندسة الكيميائية Chemical Engineering 42

نتائج اختبار الهندسة الميكانيكية Mechanical Engineering 43

نتائج اختبار هندسة الحاسب Computer Engineering 44

نتائج اختبار الهندسة الصناعية Industrial Engineering 45

العلاقة بين درجة الاختبار العام ودرجة الاختبار التخصصي correlation between general and major test التخصص Major معامل الارتباط R عدد العينة sample الهندسة المدنية CE الهندسة الكهربائية EE الهندسة الميكانيكية ME الهندسة الصناعية IE الهندسة الكيميائية CHE الهندسة المعمارية ARCE هندسة الحاسب compE

التطبيق الفعلي شهر Second Administration(2015) التخصصالعدد الهندسة المدنية866 الهندسة الكهربائية1018 الهندسة الكيميائية376 الهندسة الميكانيكية697 الهندسة الصناعية293 الهندسة المعمارية214 هندسة الحاسب آلي772 المجموع المجموع

 Identification of Top Competencies Required from Engineering Graduates: A Case Study of Saudi Arabia. International Journal of Engineering Education Vol. 29, No. 4, pp. 1–7,  Assessing learning outcomes in electrical engineering education: a case study from Saudi Arabia. International Journal of Electrical Engineering Education, Volume 51, Number 4 (October 2014). الدراسات والتقارير الفنية لمشروع نواتج التعلم( المرحلة الأولى) Published Research 48

49