מערכת לשליטה קולית ברובוט נייד מגיש : ליאור בן - יוסף מנחה : כוחיי קובי

בפרויקט זה בניתי מערכת לשליטה ברובוט נייד באמצעות מתן פקודות קול. בפרויקט זה בניתי מערכת לשליטה ברובוט נייד באמצעות מתן פקודות קול. התוצר המוגמר של הפרויקט הוא מערכת המורכבת משני חלקים עיקריים, כמפורט בעמוד הבא. התוצר המוגמר של הפרויקט הוא מערכת המורכבת משני חלקים עיקריים, כמפורט בעמוד הבא.

חלק ראשון : כרטיס זיהוי קול המתוכנת לזהות מלים מסוימות של דובר, ולשלוח מידע על המילה שזוהתה לאפליקציה הרצה על מחשב מארח. חלק שני : אפליקציה הרצה על מחשב מארח, ומסוגלת לקרוא מידע המועבר אל המחשב המארח מכרטיס זיהוי הקול ע " ג כבל טורי מסוג 232RS, ולתת פקודות תנועה לרובוט ע " פ המידע הנ " ל.

החלק הראשון זיהוי פקודות הקול של המשתמש בעזרת כרטיס זיהוי הקול

להלן סקירה קצרה על הכרטיס עמו עבדתי ( כרטיס Voice Extreme): מבנה הכרטיס : מבנה הכרטיס : הכרטיס מכיל מספר חלקים עיקריים, המתוארים בתמונה שבעמוד הבא, וביניהם : הכרטיס מכיל מספר חלקים עיקריים, המתוארים בתמונה שבעמוד הבא, וביניהם : כפתורי שליטה – Download, Reset, A, B, C חיבורי תקשורת – עבור 232RS, ועבור כבל IO מקבילי סטנדרטי של 20 פינים. כמו " כ יש שקע לספק הכוח, שקעים לחיבור מיקרופון ורמקול חיצוניים, ורמקול פנימי קטן של הכרטיס.

להלן תמונה של הכרטיס עמו עבדתי :

על הכרטיס מתלבש מודול במודול זה מתבצעת רוב העבודה בכרטיס. במודול זה מתבצעת רוב העבודה בכרטיס. המודול כולל יחידה לעיבוד הקול, ROM המכיל את התוכנה הצרובה בכרטיס וזיכרון פלאש בנפח של MB2 לתוכו נטענות האפליקציות. המודול כולל יחידה לעיבוד הקול, ROM המכיל את התוכנה הצרובה בכרטיס וזיכרון פלאש בנפח של MB2 לתוכו נטענות האפליקציות. המודול ניתן לפירוק מהכרטיס עליו מתבצע הפיתוח ועבודה כרכיב עצמאי, כאשר הוא מחובר למערכת אחרת. המודול ניתן לפירוק מהכרטיס עליו מתבצע הפיתוח ועבודה כרכיב עצמאי, כאשר הוא מחובר למערכת אחרת. בעמוד הבא מצורפת תמונתו של מודול ה - VE. בעמוד הבא מצורפת תמונתו של מודול ה - VE.

להלן תמונתו של המודול :

יכולות הכרטיס : לכרטיס יכולות שונות בתחום עיבוד קול וזיהויו, להלן תיאור של היכולות השונות של הכרטיס : לכרטיס יכולות שונות בתחום עיבוד קול וזיהויו, להלן תיאור של היכולות השונות של הכרטיס : זיהוי קול : תלוי משתמש ( דורש אימון הכרטיס לזהות את קולו של משתמש ספציפי ), ולא תלוי משתמש ( דורש יצירת קבצי משקלות פונטיים, שאין כרגע כלים ליצירתם, ולכן לא מעשי מבחינתי ). זיהוי קול : תלוי משתמש ( דורש אימון הכרטיס לזהות את קולו של משתמש ספציפי ), ולא תלוי משתמש ( דורש יצירת קבצי משקלות פונטיים, שאין כרגע כלים ליצירתם, ולכן לא מעשי מבחינתי ). וידוא משתמש : מאפשר לזהות משתמש ע " פ קולו. וידוא משתמש : מאפשר לזהות משתמש ע " פ קולו. האזנה רציפה : מאפשר האזנה עד שתאמר מלה או רצף מלים מסוים. דורש אימון הכרטיס. האזנה רציפה : מאפשר האזנה עד שתאמר מלה או רצף מלים מסוים. דורש אימון הכרטיס.

יכולות הכרטיס ( המשך ): זיהוי מלה : טכנולוגיה זו מאפשרת לכרטיס לזהות הגייתה של מלה מסוימת בתוך רצף דיבור. זיהוי מלה : טכנולוגיה זו מאפשרת לכרטיס לזהות הגייתה של מלה מסוימת בתוך רצף דיבור. סינתזת דיבור : טכנולוגיה זו מאפשרת לכרטיס להגות מלים מתוך טבלה של מלים שנאגרו בזיכרונו. סינתזת דיבור : טכנולוגיה זו מאפשרת לכרטיס להגות מלים מתוך טבלה של מלים שנאגרו בזיכרונו. DTMF: טכנולוגיה זו מאפשרת לכרטיס להשמיע צלילים המתאימים לחיוג צלילים טלפוני. DTMF: טכנולוגיה זו מאפשרת לכרטיס להשמיע צלילים המתאימים לחיוג צלילים טלפוני. הקלטה והשמעה : טכנולוגיה זו מאפשרת לכרטיס להקליט ולהשמיע לאחר מכן קולות וצלילים שונים. הקלטה והשמעה : טכנולוגיה זו מאפשרת לכרטיס להקליט ולהשמיע לאחר מכן קולות וצלילים שונים.

הטכנולוגיות בהן השתמשתי : מן הטכנולוגיות שהוצגו בעמוד הקודם השתמשתי בטכנולוגיית זיהוי הדיבור תלוי המשתמש ובטכנולוגיית סינתזת הדיבור. מן הטכנולוגיות שהוצגו בעמוד הקודם השתמשתי בטכנולוגיית זיהוי הדיבור תלוי המשתמש ובטכנולוגיית סינתזת הדיבור. טכנולוגיות אלו נבחרו מבין שאר הטכנולוגיות כיוון שרק הן התאימו למימוש המשימה שלי והיו גם אפשריות טכנית לשימוש מבחינתי. טכנולוגיות אלו נבחרו מבין שאר הטכנולוגיות כיוון שרק הן התאימו למימוש המשימה שלי והיו גם אפשריות טכנית לשימוש מבחינתי. הסבר מעמיק יותר על הסיבות לבחירת טכנולוגיות אלו מופיע בספר הפרויקט. הסבר מעמיק יותר על הסיבות לבחירת טכנולוגיות אלו מופיע בספר הפרויקט.

הפיתוח : הפיתוח של חלק זה של המערכת הורכב ממספר שלבים עיקריים : הפיתוח של חלק זה של המערכת הורכב ממספר שלבים עיקריים : יצירת קבצי קול לצורך מתן הנחיות קוליות למשתמש. יצירת קבצי קול לצורך מתן הנחיות קוליות למשתמש. קבצים אלו נוצרו באמצעות כלי המופיע כחלק מהתקנת מערכות ההפעלה חלונות בגרסאותיהן השונות, ומכונה רשם הקול, והוקלטו בקולי האישי. קבצים אלו נוצרו באמצעות כלי המופיע כחלק מהתקנת מערכות ההפעלה חלונות בגרסאותיהן השונות, ומכונה רשם הקול, והוקלטו בקולי האישי. יצירת קבצי דיבור מקבצי הקול יצירת קבצי דיבור מקבצי הקול קבצים אלו נוצרו באמצעות כלי פיתוח המכונה QuickSynthesis ומגיע עם הכרטיס. קבצים אלו נוצרו באמצעות כלי פיתוח המכונה QuickSynthesis ומגיע עם הכרטיס.

שלבי הפיתוח ( המשך ): השלב האחרון של הפיתוח הוא כתיבת אפליקציה בסביבת הפיתוח הייעודית VE IDE. השלב האחרון של הפיתוח הוא כתיבת אפליקציה בסביבת הפיתוח הייעודית VE IDE. סביבה זו היא קומפיילר ייעודי לפיתוח עבור הכרטיס. סביבה זו היא קומפיילר ייעודי לפיתוח עבור הכרטיס. השפה בה נכתבים היישומים היא גרסה של שפת C. השפה בה נכתבים היישומים היא גרסה של שפת C. בסיום הפיתוח מאפשרת סביבת העבודה הנ " ל את טעינת האפליקציה שנכתבה לזיכרון הכרטיס. בסיום הפיתוח מאפשרת סביבת העבודה הנ " ל את טעינת האפליקציה שנכתבה לזיכרון הכרטיס.

האפליקציה : בחלק זה של הפרויקט נכתבה אפליקציה הנטענת לזיכרון הכרטיס. בחלק זה של הפרויקט נכתבה אפליקציה הנטענת לזיכרון הכרטיס. האפליקציה נותנת הוראות קוליות למשתמשים. האפליקציה נותנת הוראות קוליות למשתמשים. האפליקציה מאפשרת הגעה לשלב אימון, לצורך אימון המערכת לזהות את קולו של משתמש חדש במערכת, או דילוג על שלב זה. האפליקציה מאפשרת הגעה לשלב אימון, לצורך אימון המערכת לזהות את קולו של משתמש חדש במערכת, או דילוג על שלב זה.

האפליקציה – המשך : לאחר מכן האפליקציה מחכה לנצח שהמשתמש יהגה אחת מן המלים אותן אומנה המערכת לזהות. מלים אלו מתארות צורות גיאומטריות שונות, כגון : ריבוע, משולש, מעגל ועוד. לאחר מכן האפליקציה מחכה לנצח שהמשתמש יהגה אחת מן המלים אותן אומנה המערכת לזהות. מלים אלו מתארות צורות גיאומטריות שונות, כגון : ריבוע, משולש, מעגל ועוד. בעת הגיית מלה כנ " ל, יישלח קוד מתאים עבור המלה באמצעות כבל תקשורת מסוג RS232 אל אפליקציה הרצה על מחשב מארח. בעת הגיית מלה כנ " ל, יישלח קוד מתאים עבור המלה באמצעות כבל תקשורת מסוג RS232 אל אפליקציה הרצה על מחשב מארח. האפליקציה שעל המחשב המארח נוצרה בחלק השני של הפרויקט, אותו אתאר בשקפים הבאים. האפליקציה שעל המחשב המארח נוצרה בחלק השני של הפרויקט, אותו אתאר בשקפים הבאים.

החלק השני של הפרויקט : בחלק זה כתבתי אפליקציה בשפת C. בחלק זה כתבתי אפליקציה בשפת C. אפליקציה זו אחראית לקרוא מידע שהועבר מכרטיס זיהוי הקול באמצעות כבל תקשורת אל המחשב עליו רצה האפליקציה. אפליקציה זו אחראית לקרוא מידע שהועבר מכרטיס זיהוי הקול באמצעות כבל תקשורת אל המחשב עליו רצה האפליקציה. עם קליטת העברה של מידע כנ " ל, האפליקציה גורמת לתנועה של רובוט עליו היא שולטת, כך שתנועתו תתאר צורה גיאומטרית מסוימת שאותה מתאר המידע. עם קליטת העברה של מידע כנ " ל, האפליקציה גורמת לתנועה של רובוט עליו היא שולטת, כך שתנועתו תתאר צורה גיאומטרית מסוימת שאותה מתאר המידע.

הרובוט ויכולותיו : בחלק זה של הפרויקט עבדתי עם רובוט מתוצרת Saphira, לרובוט זה יכולות שונות כגון : בחלק זה של הפרויקט עבדתי עם רובוט מתוצרת Saphira, לרובוט זה יכולות שונות כגון : תנועה עצמאית באמצעות מנועים המותקנים בו. תנועה עצמאית באמצעות מנועים המותקנים בו. מערכת סונאר המסוגלת לזהות את המרחב ולהתחמק ממכשולים. מערכת סונאר המסוגלת לזהות את המרחב ולהתחמק ממכשולים. יכולת לקבל קבצי מפה המתארים תאי שטח ולנוע לפיהם. יכולת לקבל קבצי מפה המתארים תאי שטח ולנוע לפיהם. יכולת לעקוב אחרי אובייקט נע. יכולת לעקוב אחרי אובייקט נע.

הפעלת הרובוט : הרובוט ניתן לשליטה באמצעות כבל חיבור ישיר או באמצעות חיבור של מקלט / משדר, כפי שביצעתי אני. הרובוט ניתן לשליטה באמצעות כבל חיבור ישיר או באמצעות חיבור של מקלט / משדר, כפי שביצעתי אני. לרובוט מערכת הפעלה, אליה ניתן להתממשק ישירות באמצעות פקודות מדרגה נמוכה הניתנות לצד השרת, המכונה Pioneer או באמצעות פקודות מרמה גבוהה המתממשקות מול צד הלקוח – ה -Saphira. לרובוט מערכת הפעלה, אליה ניתן להתממשק ישירות באמצעות פקודות מדרגה נמוכה הניתנות לצד השרת, המכונה Pioneer או באמצעות פקודות מרמה גבוהה המתממשקות מול צד הלקוח – ה -Saphira.

פיתוח אפליקציה עבור הרובוט : פיתוח של אפליקציה של הרובוט יכול להיעשות באופנים שונים : פיתוח של אפליקציה של הרובוט יכול להיעשות באופנים שונים : שימוש בשפה המכונה P-Logo ודומה לשפת Logo המאפשרת כתיבת תוכניות להנעת הרובוט. שימוש בשפה המכונה P-Logo ודומה לשפת Logo המאפשרת כתיבת תוכניות להנעת הרובוט. שימוש בשפת Script המכונה Colbert ומאפשרת כתיבת תוכניות להנעת הרובוט ותסריטי פעולה עבורו. שימוש בשפת Script המכונה Colbert ומאפשרת כתיבת תוכניות להנעת הרובוט ותסריטי פעולה עבורו. פיתוח בשפת C, תוך שילוב אפשרי עם Colbert. פיתוח בשפת C, תוך שילוב אפשרי עם Colbert. פיתוח בשפה אחרת כלשהי כגון Lisp או Prolog. פיתוח בשפה אחרת כלשהי כגון Lisp או Prolog.

הפיתוח : מבין הכלים שתוארו בעמוד הקודם, בחרתי בסופו של דבר לפתח בשפת C, וזאת ע " מ להקל על ההתממשקות עם קוד בשפת C שעובד מול ה - WINDOWS API ואחראי לקרוא מידע מכניסת התקשורת, בו השתמשתי. מבין הכלים שתוארו בעמוד הקודם, בחרתי בסופו של דבר לפתח בשפת C, וזאת ע " מ להקל על ההתממשקות עם קוד בשפת C שעובד מול ה - WINDOWS API ואחראי לקרוא מידע מכניסת התקשורת, בו השתמשתי. האפליקציה שכתבתי היא מסוג Stand-Alone, למרות שיש גם אפשרות ליצור אפליקציה נטענת תוך שימוש בקבצי dll ( בחלונות ) או so ( ב -Unix). האפליקציה שכתבתי היא מסוג Stand-Alone, למרות שיש גם אפשרות ליצור אפליקציה נטענת תוך שימוש בקבצי dll ( בחלונות ) או so ( ב -Unix).

הפיתוח – המשך : את הפיתוח ביצעתי כאמור בשפת C והשתמשתי בסביבת הפיתוח Microsoft Visual Studio שנתמכת בצורה הטובה ביותר ע " י ה - Saphira- הן בעבודה והן מבחינת תיעוד. את הפיתוח ביצעתי כאמור בשפת C והשתמשתי בסביבת הפיתוח Microsoft Visual Studio שנתמכת בצורה הטובה ביותר ע " י ה - Saphira- הן בעבודה והן מבחינת תיעוד. הקוד האחראי לתקשורת עם הכרטיס לזיהוי הקול וקריאת המידע ממנו נכתב בשפת C גם הוא. הקוד האחראי לתקשורת עם הכרטיס לזיהוי הקול וקריאת המידע ממנו נכתב בשפת C גם הוא. האפליקציה עובדת במערכת חלונות. האפליקציה עובדת במערכת חלונות.

סיכום : בפרויקט זה למדתי להכיר שתי מערכות : בפרויקט זה למדתי להכיר שתי מערכות : כרטיס זיהוי הקול VE כרטיס זיהוי הקול VE רובוט מתוצרת Saphira רובוט מתוצרת Saphira בניתי אפליקציות המשלבות יכולות שונות של שתי המערכות הללו וממשקתי אותן. בניתי אפליקציות המשלבות יכולות שונות של שתי המערכות הללו וממשקתי אותן. במהלך הפיתוח והאינטגרציה נתקלתי בבעיות שונות, עליהן היה עלי להתגבר, חלקן הגדול נבע מתיעוד לקוי או חסר שהגיע עם המערכות הנ " ל. במהלך הפיתוח והאינטגרציה נתקלתי בבעיות שונות, עליהן היה עלי להתגבר, חלקן הגדול נבע מתיעוד לקוי או חסר שהגיע עם המערכות הנ " ל. בספר הפרויקט התייחסתי לבעיות אלו ולפתרונן, ואני מקווה שעבודתי תעזור לבאים אחרי. בספר הפרויקט התייחסתי לבעיות אלו ולפתרונן, ואני מקווה שעבודתי תעזור לבאים אחרי.