こんにちは、mixiスタッフです。

第3回は、mixi の運営に欠かせない「健全化活動」のご紹介と、その活動の一環として2018年に導入した「機械学習による規約違反投稿の検出」の取り組みについてお話ししたいと思います。

mixi の「健全化活動」とは

mixi では、ユーザーの皆さまにサービスを安心してお使いいただけるよう、「利用規約に違反する投稿の監視（パトロール）」「通報への対応」や「不正ログインの検知」などさまざまな活動を行っています。

捜査機関と連携し、事件性のある事案について通報や照会に応じたり、定期的な情報交換を行って、インターネット犯罪や被害発生を防ぐ活動にも継続的に取り組んでいます。

より詳しくは、弊社コーポレートサイトにある「ミクシィの健全化活動」をあわせてご覧ください。

利用規約に違反する投稿の監視

mixi は「日記」「メッセージ」「コミュニティ」をはじめとした多様なコミュニケーション手段を提供しています。投稿のなかで、誹謗中傷や違法行為など利用規約に違反している不適切な投稿は、迅速に削除したり、投稿者の方に警告をだして修正を促すといった対応をさせていただいています。

不適切な単語が含まれた投稿について、利用規約に違反していないかどうか、スタッフが文脈や状況をきめ細かに確認しながら判断しています。

膨大な投稿のなかから違反投稿を検出するむずかしさ

規約に違反する投稿は、これまで運営してきた経験上「数は非常に少ないものの毎日確実に存在する」ため、監視をするスタッフは「数件の違反投稿を発見するために数万件の問題ない投稿に目を通す」といった作業を実施しています。不適切な単語を事前に登録しておき、フィルタリングにより検出する方法が長年適用されてきましたが精度は十分でなく、検出には多くの時間と労力が必要でした。

違反投稿のなかには犯罪につながりかねない危険なものもあり、かかる時間が膨大であっても安易に作業を削ることはできません。一方で、毎日数件の違反のために膨大な投稿を監視しつづけるには、運営上の困難があります。

投稿監視にかかる時間と労力は、通報対応やお問い合わせへの回答に貢献できる力を削ぐもので、その負担軽減は長年にわたって課題とされてきました。

「機械学習による規約違反投稿の検出」の取り組み

監視にかかる負担軽減のため、2018年春頃から「機械学習による規約違反投稿の検出」の取り組みを行なってきました。いわゆる「AI化」の取り組みで、大きな負担となってきた投稿監視の大部分を機械にまかせ、スタッフはより複雑な仕事に注力できるようにするものです。

機械学習によって「投稿内容の危険度判定モデル」を生成し、「人の目に代わって違反投稿かどうか判断し、危険度に応じて自動処理する」ことを目指しました。


スタッフが長年行ってきた判断の積み重ねは記録しており、それを教師データとして、機械に投稿の危険性を学ばせることができました。

たとえば次のような一連の投稿です。


不適切ワードや隠語を用いて接触機会を持とうとするこうしたやり取りは、犯罪へとつながりかねない危険な投稿です。例にある「苺／いちご」そのものは全く問題のない単語ですが、「お金欲しい」からの一連の文脈によって、危険な投稿と判断することができます。

こうした投稿の文脈データを機械に与え、機械がスタッフと同様の判断ができるように学ばせました。

「機械学習による規約違反投稿の検出」取り組みの成果

さまざまな工夫を経て、機械学習により生成された「危険度判定モデル」は十分な精度を出すことができるようになりました。

「人の目に代わって違反投稿かどうか判断し、危険度に応じて自動処理する」仕組みは、数か月の試験を経て、現在運用されています。これまで監視していた投稿の 80% 以上の判断を機械に任せることができ、スタッフは残り20%の投稿の監視や通報対応などに、より丁寧に対応できるようになりました。

技術的な詳細は 弊社エンジニアブログ にも掲載していますので、ご興味のある方はぜひご覧ください。

「健全化活動」これからの取り組み

機械による判断が適切かどうかは、今後もモニタリングをして改善を続けていきます。時代が変われば投稿内容も変わっていきますし、導入された仕組みも時代に合わせて変える必要があります。

通報対応でも、より早く適切な判断をするためには技術的な課題があります。スタッフがきめ細かな対応をするために、できることはまだたくさんあると考えています。

直接ユーザーと接するスタッフの力が最大限発揮できるよう、ひきつづき取り組みを続けていきます。

おわりに

mixi は開始からまもなく15年を迎え、仕組みが古くなっている部分をたくさん抱えています。そうした仕組みの更新、現代化は mixi の現実的な課題です。

「健全化活動」にかかわる仕組みの改善はその一環で、そのほか広い領域にわたって仕組みの更新が行われています。当ブログの記事を通して、こうした取り組みを適宜ご紹介できればと思っています。

mixi が、みなさまにとって心地よく過ごせる場となるよう、ひきつづき運営の改善に取り組んでまいります。今後とも応援よろしくお願いいたします。