Google (bot)

Ideeën, storingen, wijzigingen, aankondigingen, enz.

Moderator: Modgroep

Plaats reactie
Emto

Google (bot)

Bericht door Emto » zo okt 12, 2014 05:08

Edit; de vraag is verwijderd door de gebruiker.

Het ging over wie of wat is google bot, welke vaak onderaan staat, bij 'wie is er online'.
Laatst gewijzigd door Emto op do nov 13, 2014 18:01, 1 keer totaal gewijzigd.

harry
Berichten: 2273
Lid geworden op: vr jul 27, 2007 21:17

Re: Google (bot)

Bericht door harry » zo okt 12, 2014 14:51

hoi emto,

google bot is een soort robot die veel website`s/links naar zoekmachine`s
stuurt. schrijf je hier in het open gedeelte dan komt het in de zoekmachine`s. (waar ik dus niet blij mee ben) schrijf je hier in het besloten gedeelte daar kan google bot niet bij, zoals bijvoorbeeld dagboek/lotgenoten. dus alles wat je hier zonder in teloggen kunt lezen kan google bot ook zien.


hier een link van wat google bot is en doet.

https://www.karelgeenen.nl/termen/googlebot/

groet harry,

Gebruikersavatar
Wim
Berichten: 657
Lid geworden op: di jan 22, 2013 01:51

Re: Google (bot)

Bericht door Wim » zo okt 12, 2014 15:01

Harry heeft het prima verwoord!

Of we blij moeten zijn met Google bot is wel een goede discussie waard denk ik. Ik ben persoonlijk wel benieuwd wat jullie meningen hierover zijn. De voordelen zijn namelijk wel groot. Zo komen we dankzij deze bot veel hoger in de zoekmachineresultaten terecht, waardoor meer mensen dit forum kunnen vinden die het nodig hebben. Het nadeel is wel dat alles dat je in de openbare gedeelten zet geïndexeerd wordt. Ik snap het dat gebruikers daar niet zo blij mee zijn. Zelf heb ik er niet echt een mening over. Op zich vind ik de voordelen wel opwegen tegen de nadelen, ook al ben ik er ook niet echt blij mee dat google en anderen hier meelezen. Lastig punt dit.

Emto

Re: Google (bot)

Bericht door Emto » zo okt 12, 2014 19:07

:
Laatst gewijzigd door Emto op do nov 13, 2014 18:00, 1 keer totaal gewijzigd.

Gebruikersavatar
Wim
Berichten: 657
Lid geworden op: di jan 22, 2013 01:51

Re: Google (bot)

Bericht door Wim » zo okt 12, 2014 19:22

Vragen staat altijd vrij :) .

De google bot staat bij geregistreerde gebruikers omdat ik me ergens meen te herinneren dat dat beter is voor de server. Ik ga dit nog wel eens uitzoeken voor je. In ieder geval kan deze bot niet bij de berichten op het gesloten deel van de site (dus waarvoor je ingelogd moet zijn).

harry
Berichten: 2273
Lid geworden op: vr jul 27, 2007 21:17

Re: Google (bot)

Bericht door harry » wo nov 12, 2014 19:00

meschien loos alarm? maar ik zag vanmorgen vroeg google bot op het besloten gedeelte en dat was bij dagboek en lotgenoten. ik vraag mij af hoe dat kan? normaal gesproken kan google bot alleen het open gedeelte lezen. ik meld dit maar even omdat het niet de bedoeling is dat het besloten gedeelte in de zoek machine`s komt ivm de veiligheid/privecie van de mensen hier.

Gebruikersavatar
Wim
Berichten: 657
Lid geworden op: di jan 22, 2013 01:51

Re: Google (bot)

Bericht door Wim » wo nov 12, 2014 19:25

Dit zou niet moeten kunnen. Ik ga het uitzoeken. Ik dacht namelijk dat dit wel goed ingesteld is. Heb je eventueel een screenshot?

harry
Berichten: 2273
Lid geworden op: vr jul 27, 2007 21:17

Re: Google (bot)

Bericht door harry » wo nov 12, 2014 20:33

nee wim, helaas heb ik de geen print screen van gemaakt (heb daar ook niet aangedacht) maar zal dat doen als ik het weer zie. meschien dat andere mensen hier het ook gezien hebben? bedankt dat je het gaat uitzoeken hoe het zit.

Emto

Re: Google (bot)

Bericht door Emto » do nov 13, 2014 05:48

:
Laatst gewijzigd door Emto op do nov 13, 2014 17:54, 1 keer totaal gewijzigd.

Gebruikersavatar
Michael32
Berichten: 1981
Lid geworden op: ma mei 30, 2016 20:16

Wie zijn bing (bot) en google (bot) ?

Bericht door Michael32 » vr jul 08, 2016 19:06

Die twee gebruikers staan vaak online.
Maar zijn geen forum bezoekers neem ik aan gezien je ook niet op ze kan klikken.
Waanzin is, altijd hetzelfde blijven doen , maar toch een andere uitkomst verwachten. :hart:

Gebruikersavatar
Panthera
Moderator
Berichten: 3740
Lid geworden op: di mar 03, 2009 23:47
Locatie: Brabant

Re: Wie zijn bing (bot) en google (bot) ?

Bericht door Panthera » vr jul 08, 2016 20:56

De vraag is al eerder gesteld (alleen is de vraag weggehaald..). Maar hier staat in elk geval het antwoord :)
viewtopic.php?f=17&t=10457
Het zijn idd geen bezoekers.
When someone else's happiness is your happiness,
that is love

Violence
Berichten: 5487
Lid geworden op: wo sep 18, 2013 15:30

Re: Google (bot)

Bericht door Violence » vr jul 08, 2016 21:13

Dat Google mee leest is niet prettig.

Gebruikersavatar
kleintje1980
Moderator
Berichten: 5455
Lid geworden op: wo mar 06, 2013 17:35

Re: Google (bot)

Bericht door kleintje1980 » vr jul 08, 2016 23:00

dit is google bot

Googlebot


Googlebot is de webcrawlingbot van Google (soms ook wel een 'spider' genoemd). Crawlen of doorzoeken is het proces waarmee Googlebot nieuwe en geüpdatete pagina's opspoort die moeten worden toegevoegd aan de index van Google.

We gebruiken een gigantisch aantal computers om miljarden pagina's op internet te doorzoeken (of 'crawlen'). Googlebot maakt gebruik van een algoritmisch crawlproces. Computerprogramma's bepalen welke sites worden gecrawld, hoe vaak dat gebeurt en hoeveel pagina's van elke site worden opgehaald.

Het crawlproces van Googlebot begint met een lijst van URL's van webpagina's, die wordt gegenereerd aan de hand van vorige crawlprocessen en die wordt uitgebreid met sitemapgegevens die worden geleverd door webmasters. Googlebot bezoekt al deze websites. Links (SRC en HREF) die op elke pagina worden aangetroffen, worden toegevoegd aan de lijst van pagina's die moeten worden gecrawld. Nieuwe sites, wijzigingen in bestaande sites en verbroken links worden allemaal geregistreerd en worden gebruikt om de index van Google te updaten.

Voor webmasters: Googlebot en uw site

Hoe Googlebot toegang krijgt tot uw site

Voor de meeste sites geldt dat Googlebot niet vaker dan gemiddeld één keer per enkele seconden toegang heeft tot uw site. Het is echter mogelijk dat het aantal keren iets hoger ligt binnen een korte periode door vertraging op het netwerk.

Googlebot is ontworpen om op verschillende machines te worden gedistribueerd om de prestaties en schaal te verbeteren naarmate internet wordt uitgebreid. Daarnaast voeren we veel crawlers uit op computers in de buurt van de sites die ze indexeren in het netwerk om het bandbreedtegebruik te beperken. Daarom kunnen in uw logbestanden bezoeken van verschillende computers op google.com worden weergegeven, allemaal met de user-agent Googlebot. Ons doel is per bezoek zo veel mogelijk pagina's van uw site te crawlen, zonder de bandbreedte van uw server te veel te belasten. Vraag een wijziging in de crawlsnelheid aan.

Googlebot blokkeren voor inhoud op uw site

Het is bijna onmogelijk een webserver geheim te houden door geen links naar de betreffende webserver te publiceren. Zodra iemand een link van uw 'geheime' server volgt naar een andere webserver, kan uw 'geheime' URL worden weergegeven in de verwijzingstag en kan deze URL worden opgeslagen en gepubliceerd in het verwijzingslogbestand van de andere webserver. Verder bevat internet veel verouderde en verbroken links. Wanneer iemand een verkeerde link naar uw site publiceert of de links niet updatet om wijzigingen in uw server te weerspiegelen, probeert Googlebot een verkeerde link van uw site te downloaden.

Als u wilt voorkomen dat Googlebot inhoud op uw site crawlt, heeft u een aantal opties, waaronder het gebruik van robots.txt om de toegang tot bestanden en mappen op uw server te blokkeren.

Zodra u een robots.txt-bestand heeft gemaakt, kan het enige tijd duren voordat Googlebot uw wijzigingen ontdekt. Als Googlebot nog steeds inhoud crawlt die u heeft geblokkeerd in robots.txt, moet u controleren of u robots.txt op de juiste locatie heeft geplaatst. Het bestand moet in de hoofdmap van de server (bijvoorbeeld www.example.com/robots.txt) worden geplaatst. Als u het bestand in een submap plaatst, heeft dit geen enkel effect.

Als u alleen de foutberichten 'bestand niet gevonden' in uw webserverlogbestand wilt voorkomen, kunt u een leeg bestand met de naam robots.txt maken. Als u wilt voorkomen dat Googlebot links op een pagina van uw site volgt, kunt u de nofollow-metatag gebruiken. Als u wilt voorkomen dat Googlebot een afzonderlijke link volgt, voegt u het kenmerk rel="nofollow" aan de link zelf toe.

Hier volgen enkele extra tips:
•Test of uw robots.txt werkt zoals verwacht. Met de testtool voor robots.txt op de pagina Geblokkeerde URL's kunt u precies zien hoe Googlebot de inhoud van uw robots.txt-bestand interpreteert. De Google-user-agent is (toepasselijk genoeg) Googlebot.
•Met de tool Fetchen als Google in Search Console kunt u precies bekijken hoe Googlebot uw site ziet. Dit kan erg handig zijn wanneer u problemen met de inhoud of vindbaarheid van uw site in de zoekresultaten moet oplossen.

Ervoor zorgen dat uw site crawlbaar is

Met Googlebot worden sites gevonden door links van pagina naar pagina te volgen. Op de pagina Crawlfouten in Search Console worden eventuele problemen weergegeven die Googlebot heeft gevonden tijdens het crawlen van uw site. We raden u aan deze crawlfouten regelmatig te controleren om eventuele problemen met uw site te identificeren.

Als uw robots.txt-bestand werkt zoals verwacht, maar uw site geen verkeer ontvangt, volgen hier enkele mogelijk redenen waarom uw inhoud niet goed presteert voor zoekopdrachten.

Problemen met spammers en andere user-agents

De IP-adressen die door Googlebot worden gebruikt, worden soms gewijzigd. U kunt de bezoeken van Googlebot het best achterhalen via de User-agent (Googlebot). U kunt controleren of een bot die toegang tot uw server krijgt, daadwerkelijk Googlebot is door een reverse DNS-lookup uit te voeren.

Googlebot en alle betrouwbare zoekmachinebots respecteren de richtlijnen in robots.txt, maar bepaalde nogoodniks en spammers doen dit niet. Meld spam aan Google.

Google heeft verschillende andere user-agents, waaronder Feedfetcher (user-agent Feedfetcher-Google). Aangezien Feedfetcher-verzoeken afkomstig zijn van menselijke gebruikers die de feeds hebben toegevoegd aan hun Google-startpagina, en niet van geautomatiseerde crawlers, volgt Feedfetcher de richtlijnen van robots.txt niet. U kunt voorkomen dat Feedfetcher uw site crawlt door uw server zo te configureren dat een 404- of 410-bericht of een ander foutstatusbericht wordt weergegeven voor user-agent Feedfetcher-Google. Meer informatie over Feedfetcher.
it's only a crack in a castle off glass, angel with a shotgun, befor you start a war you beter know what you are fithing for

Gebruikersavatar
Summer
Site Admin
Berichten: 198
Lid geworden op: do mei 08, 2014 15:38
Locatie: Antwerpen
Contacteer:

Re: Google (bot)

Bericht door Summer » di jul 12, 2016 19:18

Violence schreef:Dat Google mee leest is niet prettig.

Google kan hier niets lezen (onderwerpen etc)... :wink:
Het wil niet zeggen omdat bots online te zien zijn in de "wie is er online" lijst dat ze hier daadwerkelijk ook kunnen lezen.
Het enige wat ze hier kunnen is de forumindex indexeren op wijzigingen, wat later gebruikt kan worden in de zoekresultaten van Google.
Als er nooit bots aanwezig zijn, zou je website ook praktisch niet gevonden worden op internet. (of het moest op pagina 50 zijn ofzo.)
En al zou je alle toegang geven aan bots dan zou nog niet alles worden opgenomen door Google, en moeten bezoekers zich alsnog registreren
op het forum.
I'll be there till the stars don't shine
Till the heavens burst and words don't rhyme
And I know when I die you'll be on my mind
And I'll love you always

Plaats reactie