分析：Twitterのクラウドソーシングによるファクトチェック実験で問題が明らかに

Poynterの分析によると、Birdwatchユーザーの半数未満が情報源を含み、多くのファクトチェックノートには党派的なレトリックが含まれています。

TwitterのBirdwatchアルゴリズムの2月14日バージョンは、誤解を招く情報でいくつかのメモを増幅しました。

2月5日、Twitterはフラグを立てました 物議を醸しているYouTuberのTimPoolからの投稿 それは2020年の米国大統領選挙が不正に行われたと言った。プラットフォームは、「暴力のリスクがあるため」、申し立てが争われ、婚約を取りやめたことに留意した。

しかし、 バードウォッチ 、ソーシャルメディアプラットフォームの クラウドソーシングによるファクトチェックの実験 、Twitterデータの2月14日の分析によると、ユーザーはツイートが誤解を招くものではないと圧倒的に言った。そして、ほとんどのBirdwatchユーザーは、ツールで、暴かれた主張を裏付けるこれらのメモが有用で有益であると感じたことを示しました。

「TIMEの公式（原文のまま）の情報源によると、ジョー・バイデンを支持して選挙を揺るがすために協力したカバールのように聞こえる影の組織に秘密の参加者のよく組織されたグループがありました」とあるメモを読みます。ユーザーがへのリンクを含めている間 タイム誌の記事 それは確かに「カバール」や「陰謀」のような言葉を使用しており、選挙の完全性を保護するために強力なグループが舞台裏で働いていたという作品の文脈は失われています。

ザ バードウォッチアルゴリズム は、有用なメモを表示することを目的としており、有用性スコア0.68を「ファクトチェック」に割り当てました。これは、ツイートのメモの中で最も高く、アルゴリズムによって「有用と評価された」と見なされたメモの上位10％のすぐ外にあります。 2月14日。この分析では、役立つ評価のメモが2,695の約7％を占め、そのうちの3分の2未満に別のツイートではないソースリンクが含まれています。

2月17日Twitter アルゴリズムを変更しました プールのツイートに関するメモは、役に立ったとは評価されなくなりましたが、 まだ投稿の下にリストされています 。この変更の前は、役立つと見なされるしきい値が低く、新しい0.84カットオフと比較してわずか0.5でした。メモは、役立つと見なされ、優先順位が付けられ、青いメモでマークされるために、実行中の3つの評価のみが必要でした。

今、メモはそのツイートをにプッシュするために5つの評価を獲得する必要があります Birdwatchの新しい「評価された役立つ」タブ 。そして、プラットフォームのデータベースにある約2,700のメモのうち、126が新しいしきい値を満たしました。これは5％未満です。新しい「評価された役立つ」メモの4分の3には、Twitter以外のソースが含まれていました。

これは、Birdwatchモデルが直面している問題の1つをタイムリーに示しています。一見ランダムに見える人々のグループによって提供されるアルゴリズムは、真実を正確に「評価」できるでしょうか。

Birdwatchは、1,000人を少し超えるユーザーがいるパイロット段階で、参加者がツイートに誤解を招くものとしてフラグを付け、ソースを引用したり、誤解を招く可能性がある理由のコンテキストを説明したりするメモを追加できるようにします。次に、Birdwatchユーザーは、有用性に基づいてこれらのメモをランク付けできます（その後、アルゴリズムが引き継ぎます）。

最終的には、すべてのTwitterユーザーは、表面上はツイートのすぐ下にこれらのメモを表示できるようになりますが、今のところ、これらのメモは次のように制限されています。 サイトの特定のセクション 。 Birdwatchユーザーは、最終的に、有用性アルゴリズムにフィードするレピュテーションスコアを作成します。

「Birdwatchパイロットの目標は、誰もが貢献できるシステムを構築することであり、人々が役立つと思う情報を自然に高めることです」と、製品のTwitter副社長であるKeithColemanは電子メールで述べています。 「誰が貢献できるかについてのオープン性が重要であり、多様なグループからのインプットを通じて、最も役立つメモを高めることができると私たちは信じています。」

しかし、現在のシステムを見ると、ファクトチェッカーがBirdwatchに関して提起した課題が明らかになります。ユーザー間のファクトチェックの専門知識の欠如、最も評判の良いユーザーの役立つメモを何らかの形で明らかにするアルゴリズムの作成の難しさ、ユーザーの党派的な動機についての質問。

「ソーシャルメディアプラットフォームの二極化した性質と、プラットフォームによって提供されるそのような問い合わせにフィードバックを提供することを躊躇する主流のユーザーを考えると、これらの調査結果に驚かされることはありません。その他」と、国際ファクトチェックネットワークのディレクターであるBaybarsÖrsekは述べています。

最も多作なBirdwatchユーザーのメモの大部分は、右に批判的なツイートを「誤解を招く」とマークし、左に批判的なツイートを「誤解を招かない」とマークしています。 （たとえば、ユーザーは「 チームバイデンは中国にやさしい 」テッド・クルーズ上院議員とプールのツイートから「誤解を招くものではない」とのこと。その間 ニューズウィークの記事 極右過激派とGameStopの物語と ツイート ドナルド・トランプ大統領を国会議事堂の暴動に結びつけることは、「誤解を招く」および「有害」とマークされました。）そして、ユーザーの82のメモの5分の1未満が情報源を含み、そのいくつかは他のツイートです。 （このBirdwatchユーザーはインタビューのリクエストに応答しませんでした。）

コールマン氏は、バードウォッチは「多様な貢献者」からのメモを検討するように動機付けられる可能性があると述べた。さらに、評価システムはプラットフォームの背後にある主要な推進力です

「これらは、多くの人々が価値があると考える貢献に報い、インセンティブを与え、特定のグループまたはイデオロギーがバードウォッチを引き継ぐリスクに対処すると信じています」とコールマンは述べています。 「これは、パイロット全体で積極的に取り組んでいくものです。」

実際、2月17日の変更後に最も役立つとランク付けされたアルゴリズムは、前日の反復よりも堅実な調達と党派的なレトリックが少ないことを示しています。ただし、1,000ユーザーで2,700ノート未満のパイロットプログラムのアルゴリズムを変更することと、Birdwatchがすべてのユーザーに利用可能になったらアルゴリズムを変更することは別のことです。そして、ユーザーが注ぎ始めてもアルゴリズムの有効性が維持されるかどうかは誰にもわかりません。プラットフォームに、おそらく最も多作なパイロット参加者の行動を複製します。

「パイロットが小さい間、可能な限り多くのことを学び、反復するように取り組んでいるため、現在、スケーリングの具体的なタイムラインはありません」とColeman氏は述べています。 「安全にスケールアップできるようになり、それが学習の改善に役立つ場合は、スケールアップする予定です。」

それでも、プールツイートの下のメモと同様に、 パーティザンの例 また 誤解を招く情報 通常のメモとして引き続き表示されます。

全体のメモの10％以上を占める、最もアクティブな5人のユーザーのうち4人は、最も多作なユーザーと同様のアクティビティを持っています。そのうちの1人は、ジェフリーエプスタインの死が自殺の判決を受けたことは一度もないと主張しています。ただし、2番目に多作なBirdwatcherは、世界保健機関からのリンクを含む、すべてのメモ内の情報源を引用しています。 FactCheck.org 。

Twitterの経歴によると、上位10人のユーザーはいずれもプロのファクトチェッカーやジャーナリストではありません。

「ファクトチェックは、精神的に厳しいという点で実際には大変な作業です」と、PolitiFact編集長のAngieHolanはメールで述べています。 「あなたは本当に集中して精神的な慣性を押し通して主張を特定し、それからそれらを暴くか検証する手段をブレインストーミングする必要があります。次に、調査結果を検索して書き留める必要があります。率直に言って、それはビーチでの日ではありません。そして、ファクトチェッカーが党派的な動機を持っている場合、それは徹底的で公平な努力をさらに困難にします。」

その問題にもかかわらず、Birdwatchは、従来のファクトチェッカーが危害を加える可能性があるために見逃したりチェックしないことを選択したりする可能性のある誤った情報にフラグを立てます。これは、デジタルの誤った情報のギャップを埋めるのに役立ちます。間に ゲームストップサガ 、その会社の株式に関する誤った情報は、プラットフォーム間で急速に広がりました。

スノープス と ポリティファクト GameStopに関するクレームを評価しませんでしたが 評価されたリードストーリー 1つのReddit投稿。しかし、Birdwatchでは、最も評価の高いメモ（有用性スコア1.00）は、株式についての会話が行われていたRedditについての誤解を招くツイートにフラグを立てました。 Reddit、GameStop、Robinhood投資アプリについては、今月初めに大量の取引が行われた約50件のメモがありました。

そして、Birdwatchユーザーは、バージニア州上院議員アマンダ・チェイスに所属していると主張するアカウントに、その後、偽物として正しくフラグを立てました。 ツイート 、「…バージニア州では麻薬の問題があり、マリファナを合法化すると、マリファナの過剰摂取と死亡が増えるだけです…」

クラウドソーシングは、誤った情報を検出することで、プロのファクトチェッカーの生活を楽にすることができると、オルセック氏は述べています。

コールマン氏によると、Twitterは透明性を維持し（この分析を可能にした）、プラットフォームの将来に関する専門家からの意見を取り入れることに取り組んでいるという。

「 シカゴ大学RISCセンター 記者や研究者とのフィードバックセッションを主催するために、Twitter以外にも存在する膨大な量の専門知識と知識を活用するよう取り組んでいます」と彼は言いました。

HolanとÖrsekは、Birdwatchユーザーにインセンティブとトレーニングを推奨しているほか、プロのファクトチェッカーを採用して上位のメモを精査しています。

「しかし、ユーザーが無料でコンテンツをモデレートすると信じているテクノロジー企業にはかなり疑問があります」とHolan氏は述べています。 「ほとんどのユーザーは、プラットフォームが独自のビジネスを運営するのを支援することが自分の仕事だとは考えていません。」