מנסה לכתוב קוד שיוציא מאתר כמו אמזון או KSP מחירים ושמות של מוצרים.
אני משתמש במודול beauteful soup
אני נתקל בבעיה כשאני מנסה לחפש חלקים בקוד הHTML, אופציית הfind או findAll kt לא מוצאת לי רכיבים שאני מחפש לפי class או id.
אם מישהו מבין בזה קצת , אשמח לעזרה להבין איפה אני טועה
יש מצב שהעניין מתרנדר ב־JS אחרי שהדף נטען. אתה יכול לראות מה פייתון מקבל כשהוא מבקש את הדף אם תלחץ CTRL+U. מה שאתה רואה ב־Inspect element זה אחרי הטעינה של ה־JS.
פתרון אפשרי לעניין הוא להשתמש ב־Selenium ודומיו.
זה קצת מאתגר, כי יש הרבה אתרים, ולדעתי גם אמזון, שמגבילים scraping ורובוטים.
לשימוש אישי בניתי סקרייפר “מפגר-מתוחכם” לאינסטגרם בעזרת Selenium - מה שאני בעצם עושה זה נותן לדף להיטען (אם צריך מכניס את הלוגין עם כל התהליך) ואז עובר על האלמנטים בדף עם XPATH כדי להוציא את הלייקים והתגובות של פוסטים לפרופילים. זה קצת מתקדם, אבל זה עובד תמיד, כי ניגשים לדף כיוזר רגיל, והאתר לא יודע להגדיר אותך כרובוט או סקרייפר, בתנאי שלא עושים את זה בתדירות מוגזמת ומדמים התנהגות של יוזר.
אופציה נוספת, זה לנסות בשיטה שלך אבל ללכת על XPATH, זה אמור לעבוד.