驚くべき展開として、 TikTok の親会社である ByteDance が、データ収集競争で競合他社を急速に追い抜くウェブスクレイピングボットを unleash しました。 Bytespider と名付けられたこのボットは、 OpenAI の GPTbot の25倍、さらに Anthropic の ClaudeBot の驚異的な3,000倍の速度でインターネットをスクレイピングしていると報告されています。
Bytespider の台頭
2024年4月に立ち上げられた Bytespider は、急速にインターネット上で最も積極的なデータ収集ツールの1つとなりました。ボット管理会社 Kasada とモニタリングサービス Dark Visitors の調査によると、 ByteDance のスクレイパーは、 Google 、 Meta 、 Amazon 、 OpenAI 、 Anthropic などのテックジャイアントが使用する同様のツールと比較して、前例のない速度で動作しているとのことです。
AI 開発への影響
この積極的なデータ収集戦略は、 ByteDance が AI 競争に追いつくための集中的な努力をしていることを示唆しています。昨年、 OpenAI の技術を使用して独自の大規模言語モデル（LLM）を構築していたと報じられた同社は、 AI イニシアチブのための膨大な量のトレーニングデータを収集することに決意を固めているようです。
物議を醸す慣行
Bytespider のアプローチは、テックコミュニティで一部の眉をひそめさせています。一部の競合他社と同様に、このボットは、ウェブサイト所有者がサイトのどの部分をスクレイピングすべきでないかを示すために使用する robots.txt ファイルを無視していると報告されています。この慣行は違法ではありませんが、データ権利と AI トレーニングに関する進行中の議論において議論の的となっています。
潜在的な応用
ByteDance の野心に精通している情報筋によると、同社は新しい LLM を開発している可能性があり、潜在的に TikTok の検索機能を強化するためのものだと示唆しています。 AI を活用した改良された検索環境は、現在 Google などのプラットフォームに多額の広告費を費やしている広告主にとって、 TikTok をより魅力的なものにする可能性があります。
将来への影響
ByteDance がデータ収集の取り組みを強化し続ける中、 AI 開発とデータ使用の将来について疑問が生じています。同社の積極的なアプローチは、データ権利、 AI 倫理、そして急速に進化する人工知能の分野における規制フレームワークの必要性についてさらなる議論を喚起する可能性があります。
ByteDance の Bytespider は、同社が AI 能力を向上させることへのコミットメントを示す一方で、テック業界における競争の激化と、 AI 軍拡競争におけるデータの重要性の高まりも浮き彫りにしています。