ક્લાઉડફ્લેર દ્વારા કરવામાં આવેલા નવા અહેવાલ મુજબ, વેબસાઇટ્સ પર પરસ્પરતા દ્વારા તૈનાત વેબ ક્રોલ્ટ્સ વેબસાઇટ્સ માટે પ્રતિબંધો બંધ કરી રહ્યા છે. ખાસ કરીને, અહેવાલમાં દાવો કરવામાં આવ્યો છે કે રોબોટ્સ.ટીક્સ્ટ ફાઇલો અને ફાયરવ alls લ્સ મેળવવા માટે કંપનીના બ ots ટો તેમની ઓળખ છુપાવીને “ગુપ્ત વિસર્જન” સાઇટ્સ દેખાય છે.
રોબોટ્સ.ટીક્સ્ટ એ એક સરળ ફાઇલ વેબસાઇટ છે જે હોસ્ટને હોસ્ટ કરે છે જે વેબ ક્રોલરને જણાવે છે કે તેઓ વેબસાઇટ્સની સામગ્રી મેળવી શકે છે કે નહીં. પરપ્લેક્સિટીના સત્તાવાર વેબ ક્રોલિંગ બ ots ટો “પરપ્લેક્સીબોટ” અને “પરપ્લેક્સી-યુઝર” છે. ક્લાઉડફ્લેર પરીક્ષણોમાં, ગભરાટ હજી પણ નવી, અકારણ વેબસાઇટની સામગ્રી પ્રદર્શિત કરવામાં સક્ષમ હતી, પછી ભલે તે ચોક્કસ બ ots ટો રોબોટ્સ દ્વારા અવરોધિત કરવામાં આવી હતી. વર્તણૂક વિશિષ્ટ વેબ એપ્લિકેશનને ફાયરવ (લ (ડબ્લ્યુએએફ) ના નિયમોવાળી વેબસાઇટ્સ પર વિસ્તૃત કરવામાં આવી છે જે વેબ ક્રોલરને પ્રતિબંધિત કરે છે, તેમજ.
ક્લાઉડફ્લેર માને છે કે “સામાન્ય બ્રાઉઝરનો ઉપયોગ તે અવરોધોની આસપાસ ઘૃણાસ્પદ છે જ્યારે રોબોટ્સ.ટી.ટી.ટી.ટી.ટી. તેના સામાન્ય બ ots ટોને પ્રતિબંધિત કરે છે. ક્લાઉડફેર પરીક્ષણોમાં, કંપનીનો અઘોષિત ક્રાઉલર પણ આઇપી સરનામાં દ્વારા ફેરવી શકે છે, જે ફાયરવ lext ક્ટ દ્વારા સૂચિબદ્ધ ન હોય તેવા (ઓટિનસ) ની સાથે મેળવે છે. આઇપી સરનામું -રન આઇપી સરનામું – તે લખવું કે “હજારો ડોમેન્સ અને દિવસ દીઠ લાખો વિનંતીઓ પર સ્વિચ કરવું.”
એન્ગેજેટ ક્લાઉડફ્લેરનો અહેવાલ ટિપ્પણી માટે ગડબડ પર પહોંચ્યો છે. જો આપણે પાછા સાંભળીશું, તો અમે આ લેખને અપડેટ કરીશું.
એ.આઇ. મોડેલો દ્વારા પ્રશિક્ષિત કંપનીઓ માટે વેબસાઇટ્સની અદ્યતન માહિતી મહત્વપૂર્ણ છે, ખાસ કરીને જેમ કે સેવા જેવી જેવી શોધ એન્જિનોના રિપ્લેસમેન્ટ તરીકે કરવામાં આવે છે. ભૂતકાળમાં, અદ્યતન રહેવાના નિયમોને બાયપાસ કરીને, તે ભૂતકાળમાં પણ અટવાયું છે. 2024 માં, ઘણી વેબસાઇટ્સે અહેવાલ આપ્યો કે ગભરાટ હજી પણ તેમની સામગ્રી પર પહોંચી રહ્યો છે, તેમ છતાં, તેઓને રોબોટ્સમાં ના પાડી દેવામાં આવ્યા. પાછળથી તેમની સામગ્રી સાથે પ્રદર્શિત જાહેરાતોથી મેળવેલી આવકને વહેંચવા માટે ઘણા પ્રકાશકો સાથે ભાગ લીધો, તે તેના પાછલા વર્તન માટે સારું લાગે છે.
સામગ્રીને વેબમાંથી ઘટકોને સ્ક્રેપ કરતા અટકાવતી કંપનીઓ કદાચ એક વ્હિકરી રમત રહેશે. દરમિયાન, ક્લાઉડફ્લેરે તેની ચકાસણી બ ots ટોની સૂચિમાંથી ગભરાટના બ ots ટોને દૂર કર્યા છે અને તેના ગ્રાહકોના સમાવિષ્ટો સુધી પહોંચીને સ્ટીલ્થ ક્રોલરને ઓળખવા અને અવરોધિત કરવાની રીત લાગુ કરી છે.
यह.
