Alustame kohe põhiskripti koodiga:
#!/usr/bin/perl
# what-forum.pl skript
# (c) 2010 Alexandr A Aleksejev, http://site/
kasutada ranget;
# kommenteeritud rida – ranguse huvides
# kui ülesanne on koguda mootori statistikat, jätke see nii nagu on
# kui teete foorumite nimekirja - tühistage kommentaar
minu $andmed ;
$data .= $_while (<>
)
;
# kontrollige, kui palju oli Powered by phpBB ilma lingita jaluses Selle ja teised postituses mainitud skriptid leiate sellest arhiivist. Skript milline-foorum.pl uurib HTML-lehe koodi, et näha, kas see sisaldab foorumimootori allkirju. Kasutasime WordPressi ja Joomla määratlemisel sarnast tehnikat, kuid sellel on paar erinevust. Esiteks ei laadi skript ise lehe koodi, vaid loeb seda stdinist või argumendina edastatud failist. See võimaldab teil lehe üks kord alla laadida, näiteks kasutades wget, ja seejärel käivitada see läbi mitme analüsaatori, kui meil on rohkem kui üks. Teiseks on selles skriptis allkirja olemasolu 100% mootori märk. Eelmisel korral andis signatuuri olemasolu vastavale mootorile vaid kaalu juurde ja “võitis” suurima massiga mootor. Otsustasin, et antud juhul muudaks selline lähenemine koodi asjatult keeruliseks. Skripti testimiseks tegin veidi uurimistööd. Koostasin mitme tuhande foorumi loendi ja käivitasin neist kõik oma skripti kaudu, määrates seeläbi programmi vastuste protsendi ja erinevate mootorite populaarsuse. Foorumite loendi saamiseks kasutasin oma Google'i parserit. Sellised päringud saadeti otsingumootorisse site:forum.*.ru ja nii edasi. Täieliku päringugeneraatori koodi leiate failist gen-forumsearch-urls.pl. Lisaks zone.ru-le kasutati ka .su .ua .kz ja .by. Eelmisel korral oli sellist uuringut keeruline läbi viia, kuna WordPressi ja Joomla saitidel pole URL-is selliseid allkirju. Kataloogid, nagu cmsmagazine.ru/catalogue/, ei paku piisavat valimi suurust. Mis on 600 Drupali saiti? Pean tunnistama, et katse tulemused valmistasid mulle pettumuse. 12 590 uuritud kohast tuvastati mootor edukalt vaid 7083-l, see tähendab ainult 56% juhtudest. Äkki ma ei arvestanud mõne mootoriga? Kas oli tõesti tõsi, et pooltel foorumitel oli Bitrix installitud? Või oleksin pidanud allkirjade otsimisele rohkem aega kulutama? Üldiselt on siin vaja täiendavaid uuringuid. 56% edukalt tuvastatud mootorite hulgas olid ootuspäraselt populaarseimad IPB (31%), phpBB (26,6%) ja vBulletin (26,5%) Neile järgnevad suure mahajäämusega SMF (5,8%) ja DLEForum (5,3%). Minu lemmik punBB oli alles 6. kohal (1,64%). Ma ei soovitaks nendesse numbritesse eriti uskuda (nad ütlevad, et iga kolmas RuNeti foorum töötab IPB-ga), kuid teatud järeldusi saab muidugi teha. Näiteks kui kavatsete luua saidi foorumimootoris ja plaanite foorumit muuta, näiteks maksta kasutajatele iga sõnumi eest 0,01 dollarit kord nädalas automaatse raha väljavõtmisega, peaksite valima ühe kolmest populaarseimast mootorist. Mida populaarsem on foorum, seda suurem on võimalus leida programmeerija, kes on sellega hästi kursis. Kui mootoris pole oodata olulisi muudatusi, siis võib olla mõttekas valida vähem populaarne mootor, näiteks SMF või punBB. See vähendab teie foorumi vastu suunatud häkkerite rünnakute arvu ja sellele automaatselt saadetava rämpsposti hulka. Foorumite otsimiseks/tuvastamiseks mõeldud skriptid võivad leida ka palju praktilisi rakendusi. Esimese asjana tuli mulle meelde, et sorteerida tuvastatud foorumid TIC-i järgi ja postitada esimesele sajale postitusele koos linkidega ühele minu saidile. Kuid sajad foorumi dofollow lingid ei mõjutanud TCI-d kuidagi (2 uuendust on möödas), seega on parem mitte siin aega raisata, välja arvatud juhul, kui teid üleminekud ei huvita. On selge, et mainitud skriptide kasutamine pole kaugeltki ainus. Ma arvan, et saate hõlpsalt aru, kuidas saate neid veel kasutada. Tere, kallid ajaveebisaidi lugejad. Niisiis, jätkame selleteemalises postituses alustatud foorumimootori nimega SMF seadistamise teemat. Seal me pole veel foorumit venekeelseks muutnud, mis puudutab ingliskeelsest liidesest tõlkimist. Hetkel see väga esinduslik välja ei näe, aga peale venestamist (kui seda pole juba tehtud) ja vastavate sektsioonide loomist paraneb välimus oluliselt. Täna vaatame disainiteemasid ja muudame selle venekeelseks ning installime ka JFusioni komponendi, mis võib töötada mõlema mootoriga (Jumla ja SMF), mis võimaldab meil kahele ühise kasutajabaasi ja nende jaoks ainult ühe vormi. registreerimine ja sisselogimine. Simple Machines Forumi mootor toetab teemade muutmise võimalust ja neid saab muuta nii kogu foorumi kui ka selle üksikute jaotiste jaoks. Isiklikult kasutasin vaiketeemat, kuid tegin selles üsna palju muudatusi käsitsi. Eelkõige muutsin tausta, mõne elemendi värve, lisasin mälupulgale kella, raadio ja palju muud, millest räägin selle jaotise järgmistes postitustes. Miks ma ei kasutanud foorumi loomisel ühtegi lisateemat? Tõenäoliselt on asi minu laiskuses. Ei, ma ei olnud laisk uusi teemasid otsima ja alla laadima, õnneks on palju kohti, kus seda teha saab. Minu laiskus peitub mujal. Fakt on see, et kogu selle mootori modifikatsioonide valik, mis on loodud selle võimaluste laiendamiseks, on keskendunud konkreetselt vaiketeemale. Las ma seletan. Kui teil on vaiketeema, siis SMF-i modi lisamine toimub mõne sekundiga ja reeglina ei nõua koodi käsitsi redigeerimist. Kui installite modifikatsiooni, mille kujundusteema erineb vaiketeemast, peate, nagu öeldakse, töötlema kõik töötlemata osad failiga. Teisisõnu peate kasutama FileZillat (alla laadima ja konfigureerima; saate saidile FTP kaudu juurde pääseda ja avada oma foorumimootori failide redigeerimiseks, mida see mod muudab. Seejärel otsige koodis õige koht ja tehke vajalikud toimingud: kas asendage kood või kustutage või lisage koodiosa enne või pärast vajalikku fragmenti. Kui arvate, et faile, mida tuleb muuta, võib olla kümmekond, võite ette kujutada, kui tülikas see on. Sel juhul tuleb olla väga ettevaatlik ja mitte teha vigu, sest muidu ei pruugi foorum üldse avaneda. Kui kõik ülaltoodud probleemid mittevaiketeema kasutamisega ei hirmuta teid, saate need siit alla laadida. Sealsed teemad on sorteeritud sektsioonidesse (minimalism, klassikalähedane, modernne jne) ning igaühe kohta on näha sellest ekraanitõmmis täisekraanil. Ma räägin teile, kuidas neid samu teemasid installida veidi hiljem. Kui te ei venestanud foorumit mootorifailide hostimisse üleslaadimise etapis, nagu kirjeldati selle oopuse esimeses osas (vt linki artikli alguses), saate seda nüüd teha. Eelnevalt sellelt lehelt alla laaditud vene keele pakett koos vajalikuga tuleb lahti pakkida ja seejärel kopeerida kaust Teemad juurkausta, kus on juba samanimeline kataloog. Pärast kopeerimise lõpetamist peate foorumisse sisse logima administraatori kasutajanime ja parooliga. Valige ülemisest menüüst "Administraator" ja seejärel klõpsake vasakpoolses veerus "Serveri sätted". Avanevas aknas leidke üksus "Foorumi vaikekeel" ja valige ripploendist vene keel ning seejärel klõpsake lehe allosas nuppu "Salvesta". See on kõik, nüüd on teie konverents täiesti vene keeles. Pange tähele, et tulevikus, kui lisate SMF-i modifikatsioone, millel pole venekeelset tõlget, võib teil mõnikord tekkida probleeme modi sätete kuvamisega administraatoripaneelil. Tegelikult neid samu sätteid administraatoripaneelil lihtsalt ei kuvata, sest... venestamisfaile nende kohta ei tule. Seetõttu on teil selle probleemi lahendamiseks kaks võimalust. Esimene võimalus on minna üle kogu foorumi inglise keelele. Näete, kuidas seda saab teha paar lõiku eespool. Seetõttu peate pärast nende seadetega vajalike toimingute tegemist uuesti vene keelde tagasi pöörduma. Teine meetod on keerulisem, kuid see võimaldab meil näha installitud modifikatsioonide sätteid administraatoripaneelil alati ja mitte ainult siis, kui inglise keel on aktiveeritud. Ma peatun sellel punktil nii üksikasjalikult, sest küsimus, et keegi installis modi ja ei leia selle seadeid oma konverentsi administraatoripaneelilt, on väga levinud. Niisiis, teine meetod on äsja lisatud modifikatsioonide venestamisfailidesse tõlkestringide lisamine. Ma räägin teile hiljem, kuidas teha kindlaks, milliseid venestamisfaile tuleb muuta ja kust neid hankida. Vahepeal saate ajutiselt kasutada esimest meetodit. Kõigepealt peate alla laadima JFusioni ja selle venestamise. Pärast Joomla administraatoripaneeli sisenemist teostame tavatoiminguid: vali administraatori paneeli ülamenüüst üksused “Laiendused” - “Install/Desinstalli” - “Laadi paketifail alla” - nupp “Sirvi” – leidke fail koos komponent jfusion_package.zip arvutis - klõpsake nuppu " Laadi fail üles ja installi>". Pärast seda kuvatakse aken, mis teavitab teid komponendi edukast installimisest. Probleemide ilmnemisel saate mõnele neist lahendustega tutvuda ülaltoodud lingil. Nüüd on käes venestamise aeg, mis lisatakse täpselt samamoodi nagu komponent ise. Need. korrake toimingute jada: "Laiendused" - "Installi/desinstalli" - "Laadi paketifail alla" - "Sirvi" - nupp "Sirvi" - leidke oma arvutist JFusion Russificationi fail - klõpsake nuppu "Laadi fail alla ja installi". Nüüd saame minna seadete juurde tee "Kompponentid" - "JFusion" kaudu ja veenduda, et venestamine on edukalt lisatud ja töötab. Edu sulle! Kohtumiseni ajaveebisaidi lehtedel Võib-olla olete huvitatud Korraldab Botmaster Labs, pole plaanis. Mul pole aega, videot on võistluseks vaja kui uudset trendi, kuigi heade ekraanipiltidega (minu IMHO) saab kõike lihtsamini seletada ja ma ei taha tegelikult midagi pildistada. Kasumlikke teemasid on jäänud väga vähe, loll rämpspost ei valitse enam üldse, siin tuleb mõelda ja keegi ei hakka teemasid tulistama, kui just aegunud teemasid ilusasse ümbrisesse ei proovi panna ja veidi puuderdada. :) Aga see ei puuduta meid. Üldiselt arvan, et need 3 "ei tohi" takistasid enamiku potentsiaalsete osalejate jaoks konkursil osalemist. See on nagu auto remont kolmest: odav, kvaliteetne, kiire – teenus suudab korraga täita vaid 2 tingimust. istuge ja valige, mis on teile lähemal. :) Konkursiga on samamoodi: mul on aega, ma tean, kuidas videot teha, aga pole teemat või ma tean, kuidas videot teha, on teema, aga mul pole aega kl. kõik, või mul on vaba aega ja on väike teema, aga video on hirmus. Aga see on hea, kui 2 tingimust on korraga täidetud. Noh, olgu, jätame laulusõnad kõrvale. Jätkan endale. Ma ei planeerinud, mis tähendab, et osalesin konkursil, valisin isegi, millise artikli poolt hääletan. Mida iganes sa ütled, Doz tunneb tarkvara väga hästi ja oskab seda väga arukalt kasutada. Aga täna sain teada, et konkursil on tekkinud intriig. Selgus, et ma ei saa hääletada ja seda saavad teha ainult uued tulijad, kes ostsid tarkvara 2011. aastal ja konkurss on mõeldud neile. Olin veidi üllatunud, aga omanik on härrasmees. Võistlus on reklaamikampaania ja Aleksander teab paremini, kuidas seda läbi viia. Üldiselt otsustasin siis artikli postitada, mõnevõrra lihtsam on kirjutada, kui on selge, kelle jaoks on kogu kolhoosi jaoks seda tegelikult võimatu teha. Toiteallikaks on php-Fusion Versioonis Khroomer 7.07 on programmi koolitatud mitme uue mootoriga: forumi.biz, forumb.biz, 1forum.biz, 7forum.biz jne. phpBB-fr.com, Solarise phpBB teema Ja uute asjade õppimise protsess on pidev. "Toidab SMF 1.1.2" "Toidab SMF 1.1.3" "Toidab SMF 1.1 RC2" "Toidab SMF 1.1.4" "Toidab SMF 1.1.8" "Toidab SMF 1.1.7" "2006-2008, Simple Machines LLC" Ja see pole veel kõik. Mootoriversioone kogudes leiame mõne SMF-i foorumi jaluses pealkirja “2001-2006, Lewis Media”. Kontrollime seda taotlust, see rahuldab meid samuti täielikult. Leiame sarnase päringu: "2001-2005, Lewis Media". Jalusi lähemalt vaadates leiame järgmise päringu: "SMFone design by A.M.A, ported to SMF 1.1". Kontrollime – suurepärane. Ja nii edasi. Pool tundi tööd ja teil on mootori jaoks imeline päringute andmebaas ning Google keelab teid nende päringute puhul palju harvemini kui siis, kui kasutate neis operaatoreid. Ja samal ajal on teie andmebaas palju puhtam kui siis, kui kasutate päringuid nagu "index.php?topic=", sest siin ei anna Google mitte ainult meile vajalikke foorumeid, vaid ka palju vasakpoolseid ressursse, kus see oli võimalik jäta link foorumi teemale. Võite vastu vaielda, mis selles valesti on? Teised jätsid lingi, nii et ka meie saame. Aga! Lingid võivad jätta mitte ainult Khrumer, vaid ka muud programmid. Lisaks saab neid kohandada spetsiaalselt teatud ressursi, nn kõrgelt spetsialiseerunud tarkvara kohta kommentaaride jätmiseks, lisaks võib selliseid linke käsitsi jätta. Kordan veel kord, et meie jaoks pole oluline mitte prügi kogus, vaid kvaliteet, õigete päringutega kogume andmebaasi kokku. Selle meetodi eeliseks on see, et te ei pea praktiliselt konfigureerima sõel -filter
伟哥 - Viagra 吉他 - kitarr 其他 - puhka 保险公司 – kindlustus Pange need asenduskoodid Wordsi faili: %E4%BC%9F%E5%93%A5 %E5%90%89%E4%BB%96 %E5%85%B6%E4%BB%96 %E4%BF%9D%E9%99%A9%E5%85%AC%E5%8F%B8 Kui reklaamite kindlustuse veebisaiti, siis lisades oma profiilile lingi temaatilisele (!) isegi Hiina foorumile, mis leiti taotluse alusel " SMF foorum" 保险公司 see saab olema väga hea.
printida "phpbb \n"
if ($andmed =~ /
# $data =~ /viewforum\.php\?[^""]*f=\d+/i või
$andmed =~ /phpBB\-SEO/i või
$andmed =~ /)
;
printida "ipb \n"
if ($andmed =~ /
$andmed =~ /
$andmed =~ /
$andmed =~ /index\.php\?[^""]*showforum=\d+/i)
;
print "vbülletään \n"
if ($andmed =~ /Toidab:?[^<]+vBulletin[^<]+(?:Version)?/i
või
$andmed =~ /)
;
print "smf \n"
if ($andmed =~ /
$andmed =~ /index\.php\?[^""]*board=\d+\.0/i)
;
print "punbb \n"
if ($andmed =~ /
# $andmed =~ /viewforum\.php\?[^""]*id=\d+/i);
print "fluxbb \n"
# if($data =~ /viewtopic\.php\?id=\d+/i või
if ( $andmed =~ /
print "exbb \n"
if ($andmed =~ /
# $andmed =~ /foorumid\.php\?[^""]*foorum=\d+/i);
print "yabb \n"
if ($andmed =~ /
$andmed =~ /YaBB\.pl\?[^""]*num=\d+/i ) ;
print "dleforum \n"
if ($andmed =~ /\(Toidab DLE foorum\)<\/title>/i või
$andmed =~ /
print "ikonboard \n"
if ($andmed =~ /
$andmed =~ /\n"
if ($andmed =~ /\n"
# if($data =~ /foorumid\.php\?fid=\d+/i või
# $andmed =~ /topic\.php\?fid=\d+/i või
if ($andmed =~ /
print "Stokesit \n"
# if($andmed =~ /foorum\.php\?f=\d+/i või
if ($andmed =~ /
print "poodiumil \n"
# if($andmed =~ /teema\.php\?t=\d+/i või
if ($andmed =~ /
print "usebb \n"
# if($data =~ /foorum\.php\?id=\d+/i või
if ($andmed =~ /
print "wrforum \n"
# if($data =~ /index\.php\?fid=\d+/i või
if ($andmed =~ /
print "veel üks foorum \n"
if ($data =~ /Yet Another Foorum\.net/i või
$andmed =~ /default\.aspx\?g=postitused&t=\d+/i)
;
site:talk.*.ru
site:board.*.ru
site:smf.*.ru
site:phpbb.*.ru
....Vene keele paketi teemad ja installimine
Probleemide lahendamine vene keelt mittetoetavate modifikatsioonide installimisel
JFusioni installimine veebisaidi ja foorumi integreerimiseks
JFusioni seadistamine SMF-foorumi ja Joomla saidi ühendamiseks 
JFusion moodulid foorumi sõnumite kuvamiseks veebisaidil, samuti nupu loomiseks SMF-is Joomlasse naasmiseks 
Menüüelemendi loomine Joomlas foorumisse sisenemiseks ja kasutaja registreerimise ülekandmine SMF-ist saidile 
SMF-foorumi installimine – Joomla 1.5 ja Simple Machines Forumi integreerimine JFusioni komponendi abil 
Joomla laiendused – mis need on ja kust Joomla komponente, mooduleid ja pistikprogramme alla laadida, kuidas neid installida ja eemaldada 
K2 komponent blogide, kataloogide ja portaalide loomiseks Joomlas - funktsioonid, installimine ja venestamine Joomla fotogalerii – 3. osa – Joomla 1.5-s galeriide loomine Phoca Gallery komponendi abil – kategooriate lisamine ja piltide üleslaadimine fotogaleriisse 
ARTIO JoomSEF – CNC (SEF) linkide ja pealkirja seadistamine Joomlas, samuti 404 vealehe loomine selle laienduse abil 
Akeeba Backup (endine JoomlaPack) – Joomla saidi varukoopia loomine ja varukoopiast taastamine kahe klõpsuga
Pikk sissejuhatus on läbi, nüüd asja juurde.
Mida vajab algaja, kui ta on ostnud sellise superkombaini, milleks on kompleks Xrumer + Hrefer? See on õige, õppige sellega töötama ja loobuge illusioonist, et saate rämpsposti saatmisega raha teenida. Kui arvate nii, annetage oma raha kohe heategevuseks. Peate õppima kasutama kompleksi tööriistu, eelistatavalt seda ise teritama. “Võta rohkem – viska kaugemale” aeg on möödas. Kvantiteet annab teed kvaliteedile. See tähendab, et paneme endale aluse kokku; kui sa seda tegema ei õpi, jääd rongist maha. Loomulikult aitab Khrefer meid selles. Kui kavatsete oma ressursse Google'is reklaamida, peame otsima ka Google'i kaudu doonori saite. Ma arvan, et see on arusaadav ja loogiline. Kuid Google, nagu vasemäe armuke, ei anna oma rikkust igaühele ära. Teil on vaja lähenemist sellele. Tahaksin kohe öelda, et ärge lootke, et avalikkuses leitud märkide põhjal saate midagi koguda. Põhjus, miks need on avalikult kättesaadavad, on see, et nad on väärtusetud. Ma ei hakka teemat edasi arendama. Parem on öelda, kuidas seda õigesti kokku panna, et saaksite tulemust näha, ülejäänu saate ise välja töötada, peamine on põhimõttest aru saada. Peame koguma õigeid konkreetsete meile vajalike mootorite omaduste, mitte foorumite omaduste põhjal üldiselt. See on algajate peamine viga – ei keskenduta konkreetsele asjale, vaid püütakse kõike tervikuna katta. Ja ka, kui soovite sõeluda enam-vähem tavalist andmebaasi, lõpetage operaatorite kasutamine päringutes. Ei mingeid "inurl:", "site:", "title" jne. Google keelab teiesugused otsijad koheselt. Seetõttu uurime hoolikalt mootoreid, millega Khrumer praegu töötab:
Üldiselt peame Hreferi parsimiseks ette valmistama õiged päringud. Võtame näiteks foorum dizhok. SMF-foorumid. Ja alustame selle parsimiseks varuosadeks lahtivõtmist. Meie armastatud Google aitab meid selles. Sisestage Google'isse päring SMF-foorumid- otsingutulemustes on palju prügi, kerime tagasi mingile 13. lehele ja valime suvalise lingi. Leidsin selle: http://www.volcanohost.com/forum/index.php?topic=11.0. Avame selle ja uurime seda. Peame lehelt leidma midagi iseloomulikku, mida saaks kasutada selle mootori teiste lehtede otsimisel. Jaluses märkame järgmist kirja Toiteallikaks on SMF 1.1.14, tsiteerige seda ja sisestage see Google'isse, näitab see meile, et selle päringu jaoks on tal teada umbes 59 miljonit valikut. Vaatame kiiresti lingid läbi, lisame sellele märksõnale veel paar võimalust, näiteks "Toiteallikaks on SMF 1.1.14" pappel või "Toidab SMF 1.1.14" viagra. Veendume, et taotlus on suurepärane, tulemused on ainult foorumid ja peaaegu pole prügi.
Lisaks ei huvita meid mitte kvantiteet, vaid kvaliteet, nagu eespool ütlesin. Lase käia. Samast foorumist võtame jalusest teise fraasi: , tsiteerime seda ka ja edastame Google'ile. Vastuseks avaldab ta, et teab rohkem kui 13 miljonit tulemust. Jällegi vaatame tulemused kiiresti läbi, lisame lisasõnu ja kontrollime nendega tulemusi. Jälgime, et taotlus oleks suurepärane ja prügi pole peaaegu üldse. Üldiselt on juba 2 rauataotlust. Soovitan jätta esimene foorum esialgu rahule ja jätkata taotluste kogumist teistest foorumitest. Õnneks on meil Google soovi korral avatud. 2006-2008, Simple Machines LLC. Otsingutulemustest võtame näiteks need foorumid: http://www.snowlinks.ru/forum/index.php?topic=1062.0 ja http://litputnik.ru/forum/index.php?action=printpage ;topic=380.0 jalustes võtame neilt järgmised päringud: "Powered by SMF 1.1.7" ja "Powered by SMF 1.1.10" (soovitan alati sisestada päringud Hreferi jaoks jutumärkidesse, kuna vajame kõigepealt kvaliteeti kõik). Arvan, et on selge, mida me teeme, lõpuks on meil SMF-mootoris foorumite otsimiseks teatud päringute andmebaas (see valiti näiteks, sama ka teiste mootoritega).
See näeb välja umbes selline: 
Arvan, et Hrumeri õige kasutamise õppimine algfaasis on väga oluline, sest kui olete selle selgeks õppinud, leiate Hrumerile alati kasutuse, olenemata olukorra muutumisest. Kaitse on muutumas keerulisemaks ja kui teatud tüüpi mootoritel on kaitset tugevdatud ja Khrumer ei saa sellega hetkel hakkama, siis pole mõtet kulutada ressursse nende linkide kogumisele ja siis Khroomeriga nende kallal töötamisele. parem on koondada jõud sellele, mis annab tulemusi. Ja samal ajal, kui Botmaster Labsi meeskond õpetas Khroomerile midagi uut, saate kiiresti uut patsienti lahata ja Khroomeri jaoks aluse valmistada, kui patsient on veel soe. Aeg on raha; ressurss ei pruugi baasi ostmisel enam asjakohane olla. kellegi poolt kogutud. Lisaks laiendab enda jaoks korrektne aluste kogumine oluliselt Khrumeri “valget” kasutamist. Ja see on just see koht, kus kõik liigub, meeldib see meile või mitte, ning valgenemise või halliks muutumise protsess kestab. Mustad linad on igal võimalikul viisil saamas minevikku.
Kõiki muid tehnilisi aspekte Hreferiga töötamisel saab vaadata spikrist ja nendel pole mõtet pikemalt peatuda, kõik eesmärgid, punktid, sekundid määratakse katseliselt igale autole eraldi.
Boonusena postitan siia malli Hiina otsingumootori Baidu sõelumiseks, teisel päeval nad küsisid minult selle kohta, nii et ma tegin seda juhuslikult, vabandage sõnamängu. :)
Hostinimi=http://www.baidu.com
Query=s?wd=
LinksMask=
Lehekülgi kokku = 100
Järgmine leht=
Järgmine leht2=
CaptchaURL=
CaptchaImage=
CaptchaField=
Proovisin neid testida parsimisega, keeldu ei olnud, Khrefer kogus ressursse kiiresti, kõik parsimise päringud olid sarnased Google'i päringutega, kuid seal oli palju Hiina ressursse, kõrge PR-ga ja pealegi oli palju kohti, kus ei Eurooplane oli kunagi oma jalga tõstnud. Parem on sõeluda hiina päringuid. Google'i tõlge aitab selles, tippige vene keeles märksõnade loend ja tõlgige see hiina keelde. Tõde raamatus Sõnad"Hiina keeles ei saa lisada sõnu, need tuleb ümber kodeerida.
Hiina keele asemel: 
Kokkuvõtteks tahaksin öelda, et ma ei mõistnud kunagi inimesi, kes kaebasid, et Khrefers küpsetati halvasti või halvasti; vastuseks sellele tahtsin alati öelda, et te lihtsalt ei tea, kuidas neid küpsetada. Ükski parser ei saa koguda paremaid tulemusi kui referents; päringud peavad lihtsalt olema õiged. Hrefer on auto: korralik, soliidne, tehtud saksa keeles, aga juhib inimene ja kõik oleneb sellest, kui hästi see on juhitud, autot ei saa sundida korraga nii paremale kui vasakule sõitma.
Eraldi teema on andmebaaside puhastamine, kunagi tegin seda 3 aastat tagasi eelmise konkursi jaoks. Enamasti on seal kõik endiselt asjakohane, kuid nüüd võite keelduda 200 OK kontrollimisest, mulle see protsess väga ei meeldinud, esinesid väga suured vead, palju ebavajalikku kraami filtreeriti välja. Nüüd saab seda teha peaaegu automaatselt Khrumeri töötamise ajal, kuigi see protsess ei ole täielik analoog "200 OK" kontrollimiseks. Igatahes asja juurde: mitte kaua aega tagasi ilmus Khrumeris suurepärane võimalus – röövida projekti elluviimise ajal teavet ressurssidest. See näeb välja selline. Sisestate malli, mida töötamise ajal töödeldakse ja mallist kogutud teave sisestatakse kausta Logid faili xgrabbed.txt. Seda funktsiooni saab kasutada ükskõik mille jaoks, kujutlusvõime lend on tohutu. Kasutan seda funktsiooni kord nädalas linkide eemaldamiseks oma töötavast "aegunud" andmebaasist. Pole saladus, et foorumid surevad iga päev välja, et meie andmebaas sellistest ressurssidest puhastada, ja tööriist "Automaatne haaramine" aitab meid sel juhul.
Peate ju tunnistama, et kui me tihti kirjutame näiteks http://www.laptopace.com/index.php, siis näeme, et see domeen on juba näiteks hea mees, kes müüb raha, aga seda pole. foorum seal. Nii et selleks, et see räbu alusest välja visata, me röövime. :) Ava lehe lähtekood ja vaata seda kirjet seal:
Nüüd tunneme kõiki goudaddi "surnud mehi" nimepidi.
Siin on väike valik automaatse haaramise tööriista jaoks, kui soovite kustutada andmebaasi erinevatest "aegunud" domeenidest: