ByteDance’s webskrapa samlar in enorma mängder data i rekordfart

ByteDance, moderbolaget bakom TikTok, har lanserat en ny webskrapa kallad Bytespider som samlar in data från internet i en takt som vida överträffar andra stora teknikföretag. Detta väcker frågor kring företagets AI-ambitioner och potentiella påverkan på sökmarknaden.

Bytespider överträffar konkurrenterna

Enligt en rapport från Fortune som citerar forskning från bothanteringsföretaget Kasada, samlar Bytespider in webbdata ungefär 25 gånger snabbare än GPTbot, den skrapa som används av OpenAI för ChatGPT-plattformen. Bytespider överträffar även liknande verktyg från Google, Meta, Amazon och Anthropic – den samlar in data 3000 gånger snabbare än Anthropics ClaudeBot.

Kasadas VD Sam Crowther berättade för Fortune att Bytespiders aktivitet har intensifierats kraftigt de senaste sex veckorna, med betydande toppar i datainsamlingen. Ett oroande faktum är att Bytespider inte respekterar robots.txt-filer, som webbplatsägare använder för att signalera att deras data inte bör samlas in av skrapor.

ByteDances AI-ambitioner

Den aggressiva datainsamlingen tyder på att ByteDance trappar upp sina ansträngningar för att utveckla sina AI-förmågor. Tidigare i år rapporterades det att företaget planerar att använda Huawei-chip för att utveckla en ny AI-modell, i linje med Kinas satsningar på att minska beroendet av amerikansk teknologi.

ByteDance har redan lanserat Doubao, en chatbaserad stor språkmodell (LLM). Enligt branschkällor som Fortune talat med är det troligt att företaget nu utvecklar en ny, mer avancerad LLM.

Potentiell påverkan på sökmarknaden

En möjlig användning för den insamlade datan och AI-teknologin är att förbättra TikToks sökfunktion. Plattformen uppdaterade nyligen sina sökmöjligheter för annonsörer, vilket gör det möjligt att identifiera trendande nyckelord i realtid för annonsriktning.

En förbättrad AI-modell med aktuell data om internettrender skulle kunna ytterligare expandera TikToks sökmiljö. Detta skulle potentiellt kunna utmana Googles dominans inom digital annonsering genom att erbjuda ett “helt budgivningsbart utrymme med nyckelord och ämnen” inom TikToks populära plattform.

Förändrade sökmönster bland yngre användare

Nyligen genomförd forskning av Forbes Advisor och Talker Research visar på en förändring i sökbeteendet online, särskilt bland Generation Z. Många väljer att göra “sociala sökningar” på plattformar som TikTok och Instagram istället för att använda traditionella sökmotorer som Google.

Enligt studien är 45% av Gen Z mer benägna att använda sociala medier för sökningar, jämfört med cirka 35% av millennials, 20% av Gen X och mindre än 10% av Boomers. Detta skifte i sökbeteende kan potentiellt ge TikTok en fördel om de lyckas optimera sin sökfunktion med hjälp av den insamlade datan och AI-teknologin.

Oro kring datainsamling och integritet

ByteDances aggressiva datainsamling väcker frågor kring användarnas integritet och datasäkerhet. Företaget står redan inför utmaningar på den amerikanska marknaden, där nyligen antagen lagstiftning kräver att ByteDance säljer TikTok eller möter ett förbud i USA, med hänvisning till nationella säkerhetsproblem.

Dessutom har flera stora nyhetsorganisationer nyligen använt robots.txt-filer för att blockera Apples datainsamlingsförsök för AI-träning. Att Bytespider inte respekterar dessa filer kan leda till ytterligare oro och potentiella juridiska utmaningar för ByteDance.

Slutsats

ByteDances aggressiva datainsamling med Bytespider signalerar företagets ambitioner inom AI och sökteknik. Medan detta kan leda till innovativa lösningar och förbättrade användarupplevelser på plattformar som TikTok, väcker det också viktiga frågor kring dataintegritet, konkurrens och reglering i den digitala sfären.

Det återstår att se hur denna utveckling kommer att påverka den bredare tech-industrin och hur andra aktörer kommer att reagera på ByteDances framsteg. En sak är säker – kampen om data och AI-dominans intensifieras, och ByteDance positionerar sig som en betydande spelare i denna arena.