שלבי עיבוד המידע

 

לאחר שליפת המידע עברנו למיזוגו ושיפורו:

עיבוד המידע לDataBase:

לאחר שליפת הנתונים מDBpedia ושליפת הנתונים מViaf עברנו למיזוג של הנתונים על מנת ליצור DataBase ראשי.

תחילה תייגנו כל שליפה מDBpedia לפי ז'אנר. השליפות נעשו לפי ז'אנר לכן לפני האיחוד הוספנו תיוג לכל שורת נתונים של הז'אנר אליו היא שייכת.

כתבנו תכנית Python הממזגת את הנתונים של DBpedia ו-Viaf.

קיבלנו קובץ CSV המכיל את כל הנתונים שהתקבלו מהשאילתות. 

חלק מהתווים המיוחדים (למשל תווים בשמות של שפות), היו לא קריאים בקובץ הCSV, לכן פתחנו את קובץ CSV בOpenRefine ועדכנו את התווים לUTF-8. 

עיבוד נוסף למידע נעשה באתר Caspio, שם הגדרנו את המפתחות הראשיים והייחודיים של כל שורה בDataBase.

​

עיבוד המידע ליצירת המפות:

נקודות הציון שהתקבלו מהשאילתות היו במבנה שהקשה בניית מפות באופן הנ"ל. 

לכן, כתבנו תכנית Python ששינתה את הצגת נקודות הציון.

לאחר מכן, כתבנו תכנית Python נוספת המבצעת שינוי קל של נקודות הציון במטרה למנוע חפיפות של נקודות ציון על המפה.

​

​