Jump to content









Photo

Sharepoint Crawling Errors


  • Please log in to reply
3 replies to this topic

#1 ekarafilis

ekarafilis

    Junior IT

  • Members
  • PipPip
  • 16 posts

Posted 09 September 2011 - 08:11 PM

Καλησπέρα σε όλους,

Αντιμετωπίζω το εξής πρόβλημα στον Search Server eXpress 2008 ενός πελάτη μου: Μία από τις λίστες του συστήματος δεν γίνεται πλέον index με μήνυμα λάθους Error in the Site Data Web Service. (Exception of type
'System.OutOfMemoryException' was thrown.). 

Ο server είναι Windows 2003 R2 STD x86 με 4G RAM, Search Server eXpress 2008 SP2 και η λίστα είναι μεγάλη (περίπου 12500 εγγραφές). Οι ενέργειες που έχω ακολουθήσει έως τώρα είναι οι εξής:
  1. Έλεγχος παραμέτρων συστήματος και εφαρμογή του /3GB switch στο boot.ini
  2. Αλλαγή παραμέτρων Antivirus να κάνει exclude τα processes του Sharepoint & SQL
  3. Αλλαγή στις παραμέτρους των Application Pools του Search Web Application και του Site που φιλοξενεί την προβληματική λίστα προκειμένου να τα κάνει recycle (512MB Max VM)

Γνωρίζω ότι ή λίστα είναι εκτός guidelines από Microsoft (2000 items) αν και υποτίθεται ότι έχει να κάνει μόνο με performance. Οι επόμενες προγραμματισμένες μου ενέργειες είναι ένας έλεγχος όσον αφορά το patch status του συστήματος (Windows Update). 

Οποιαδήποτε βοήθεια είναι ευπρόσδεκτη.

Ευχαριστώ!!

Lefteris Karafilis
Solutions Architect
-------------------------------------------
MCSE,MCTS,Security+
WEB: www.itbully.com/ideas/ekarafilis
MAIL: lefteris@karafilis.net

#2 pkanavos

pkanavos

    IT Pro

  • Members
  • PipPipPip
  • 385 posts

Posted 09 September 2011 - 08:42 PM

Το Site Data Web Service τρέχει στο SharePoint, όχι στον Search Server. Τί έκδοση του SharePoint έχεις και τί Service Pack έχει? Το SharePoint και ο Search Server είναι στο ίδιο μηχάνημα? Ο SQL Server πού είναι και τί έκδοση είναι?

 Ο Search Server είναι το search κομμάτι του SharePoint απομονωμένο και δεν αποθηκεύει ο ίδιος λίστες. Πού είναι αποθηκευμένες οι λίστες που λες? Αν έχεις SharePoint Server έχεις ήδη το ίδιο search με αυτό που σου δίνει και ο Search Server. Ακόμα και με το WSS 3.0 μπορείς α κάνεις αναζήτηση στις λίστες των site σου.

Όσον αφορά τη μνήμη, το OutOfMemoryException δεν σημαίνει πάντα ότι δεν επαρκούν τα 4 GB, αλλά ότι κάποιο bug στον κώδικα (π.χ. memory leak) το οποίο εξαντλεί τη μνήμη που είναι διαθέσιμη στο thread, στο app pool ή στο stack (ή κάμποσες άλλες περιπτώσεις). Θα πρέπει να ελέγξεις τη μνήμη που χρησιμοποιείται από το σύστημα πριν αρχίσεις να πειράζεις τα /3GB και των application pools. Σε αυτή την περίπτωση δεν πρόκειται να σε βοηθήσει η επιπλέον μνήμη στο μηχάνημα.

Από την άλλη, η λίστα είναι μεγάλη. Tί σας έπιασε και βάλατε τόσες εγγραφές στο Sharepoint? Το SharePoint δεν είναι βάση και ΔΕΝ μπορείς να το χρησιμοποιήσεις έτσι χωρίς σοβαρά προβλήματα. Το "μόνο performance" σημαίνει ότι το crawl στις μεγάλες λίστες θα πάρει πολύ χρόνο και θα χρησιμοποιήσει πολύ μνήμη για κάθε εγγραφή η οποία δεν προλαβαίνει να αδειάσει. Τί δείχνει το Performance Tab του Task Manager? Πόσο ψηλά είναι το CPU, πόσο ψηλά είναι η μνήμη, πόσο είναι το Kernel Time?

Όσον αφορά το πρόβλημα το ίδιο, θα πρέπει να βεβαιωθείς ότι το SharePoint έχει και αυτό το SP2 και ότι έχεις εγκαταστήσει το τελευταίο Cumulative Update (August 2011 CU). Το ίδιο θα πρέπει να κάνεις και στον Search Server. Αυτά τα updates δεν εμφανίζονται στο Windows Update γιατί απαιτούν έλεγχο και εγκατάσταση από administrator, δεν μπορούν να γίνουν αυτόματα.

Αλήθεια, αν κάνεις search από το Sharepoint, όχι τον search server, έχεις το ίδιο πρόβλημα? Αν δεν χρησιμοποιείς κάποιο από τα επιπλέον χαρακτηριστικά του Search Server ίσως θα ήταν καλύτερα να τον αφαιρέσεις γιατί ουσιαστικά απλά καταλαμβάνει χώρο και μνήμη.

Τέλος, οι προδιαγραφές είναι μικρές, και αν στο ίδιο μηχάνημα τρέχει και ο SQL Server .......... Μάλλον είναι καιρός να περάσετε σε x64 λειτουργικό και SharePoint 2010. Ακόμα και αν δεν θέλετε να γυρίσετε σε 2010, με 64bit λειτουργικό θα μπορέσεις να προσθέσεις μνήμη την οποία θα μπορέσει να χρησιμοποιήσει το SharePoint.



#3 ekarafilis

ekarafilis

    Junior IT

  • Members
  • PipPip
  • 16 posts

Posted 09 September 2011 - 09:07 PM

Καλησπέρα Παναγιώτη,

Σε ευχαριστώ για την άμεση απάντηση σου.

Ο SQL (2008 R2 Workgroup Edit) και ο Search Server είναι εγκατεστημένα στο ίδιο μηχάνημα. Ο πελάτης χρησιμοποιεί τα sharepoint services που εγκαθίστανται μαζί με τον Search Server για να ικανοποιήσει τις ανάγκες του, που αφορούν κυρίως Document Management. Τα extra πραγματάκια που παρέχει ο search server χρειάζονται στη συγκεκριμένη εγκατάσταση.

Ο Task manager κατά τη διάρκεια του Crawling δείχνει ένα CPU Usage της τάξης του 70%-75% και η μνήμη δεν φαίνεται να εξαντλείται. Οι ενέργειες έως τώρα έχουν γίνει remotely και έχω προγραμματισμένο την επόμενη εβδομάδα να δω αναλυτικότερα onsite το performance μέσω performance monitor. Όσον αφορά το patch status του μηχανήματος σίγουρα δεν έχει ενημερωθεί πέρα από το SP2 που είχα προσωπικά περάσει πριν περίπου ένα χρόνο γι'αυτό είναι και το επόμενο βήμα στη λίστα μου.

Δυστυχώς ο πελάτης είχε απορρίψει πέρσι, λόγο περιορισμένου budget, τη μετάβαση σε x64 με Search Server 2010 και φαντάζομαι ότι το ίδιο θα ισχύει και φέτος. Οπότε θα πρέπει να προσπαθήσω να βρω λύση στο συγκεκριμένο implementation, αφήνοντας σαν τελευταία επιλογή τη διαίρεση της λίστας σε περισσότερα κομμάτια, αν τελικά αποδειχτεί ότι το πρόβλημα οφείλεται στο μέγεθος της. 

Lefteris Karafilis
Solutions Architect
-------------------------------------------
MCSE,MCTS,Security+
WEB: www.itbully.com/ideas/ekarafilis
MAIL: lefteris@karafilis.net

#4 pkanavos

pkanavos

    IT Pro

  • Members
  • PipPipPip
  • 385 posts

Posted 09 September 2011 - 09:38 PM

Έχει δει πόσο κάνει ένα κουτί με 8 GB και ένα μεγαλούτσικο σκληρό? Δεν μιλάω για server αλλά για απλό κουτί - με τέτοιο φόρτωμα, η αξιοπιστία ενός x64 θα είναι ίδια και καλύτερη (υποψιάζομαι πολύ καλύτερη) από αυτό που έχει τώρα.

Όσο για το μέγεθος της λίστας, μάλλον θα πρέπει να το αντιμετωπίσεις πρώτα απ' όλα γιατί είναι το σίγουρο  ότι ΔΕΝ πρόκειται να λυθεί μόνο του. Χωρίς μνήμη και με υπερφορτωμένο το μηχάνημα, θα ξαναέχεις πρόβλημα όταν φτάσεις στις 20000 ή 30000 εγγραφές.

Τουλάχιστον βγάλτε τον SQL Server και αν γίνεται τον Search Server σε κάποιο άλλο μηχάνημα. Τέτοια εγκατάσταση είναι κατάλληλη μόνο για Demo. Πάω στοίχημα ότι το μηχάνημα θα δείχνει πιασμένα 3GB RAM το οποίο σημαίνει ότι ναι, εξαντλείται. Με τέτοιο στήσιμο έχεις από τη μία τα WSS και τον SQL Server να κονταροχτυπιούνται για τη μνήμη, από την άλλη το indexing να παλεύει με τον SQL για Disk IO.






0 user(s) are reading this topic

0 members, 0 guests, 0 anonymous users