Эта статья является частью серии материалов об основах безопасности, посвященных внутренней работе команд безопасности TikTok.

Тысячи сотрудников TikTok работают над обеспечением безопасности всех членов сообщества, чтобы каждый мог получать позитивный опыт и творчески самовыражаться на платформе. Команда по обеспечению доверия и безопасности (Trust and Safety) в TikTok выполняет множество задач, чтобы защищать наше огромное сообщество. Мы продолжаем работу по созданию безопасной среды на платформе и стремимся выстраивать открытые и прозрачные взаимоотношения с каждым членом сообщества,  поэтому в этом материале поделимся тонкостями нашей работы.

Разработка и обновление Правил сообщества

Правила сообщества определяют нормы и общий кодекс поведения на платформе TikTok, а также дают представление о разрешенных и запрещенных действиях, которые способствуют поддержанию дружественной атмосферы. Наши специалисты по разработке политики регулярно пересматривают эти Правила, чтобы определить, каким образом мы можем обеспечить пользователям безопасное пространство для творческого самовыражения. 

Наши эксперты - это в основном профильные специалисты. Некоторые из них имеют опыт работы в технологической отрасли, другие пришли в нашу команду из некоммерческих организаций или правительства. В их обязанности входит решение сложных вопросов — например, как определить потенциально опасный контент, связанный  с расстройствами пищевого поведения. Благодаря работе со сторонними экспертами, мы знаем, что контент, связанный с расстройством пищевого поведения, может быть опасным. А контент, посвященный восстановлению после подобных проблем со здоровьем, наоборот, может оказать существенное положительное влияние. Для нас очень важно продолжать учитывать такие нюансы при работе над совершенствованием наших политик.

Обнаружение потенциально опасного контента  и приведение в исполнение наших политик 

Команды по продукту и процессам (Product and Process teams) разрабатывают стратегии и методы, позволяющие более эффективно обнаруживать потенциально опасный контент  и обеспечивать соблюдение наших Правил сообщества. Один  из примеров -  это технология  «хеширования», которая используется для того, чтобы идентифицировать изображения или видео. В соответствии с отраслевыми стандартами это позволяет нам помечать обнаруженный вредоносный контент как нарушающий Правила и удалять его в любом масштабе. Например, если определенный контент должен удаляться за нарушение нашей политики, которая защищает от распространения на платформе изображений сексуальной эксплуатации детей, уникальный идентификатор поможет найти и удалить соответствующий контент, а также предотвратить его повторные загрузки в TikTok.

В нашем последнем Отчете о прозрачности мы рассказали, что более 80% видеороликов с нарушениями Правил были удалены до того, как они стали доступны к просмотру. Мы стремимся и дальше повышать эффективность нашей работы по обнаружению вредоносного контента. Так, несмотря на то, что автоматическая модерация  помогает нам устранять явные нарушения, важной частью регулирования контента является также и ручная модерация. Наши команды в любое время суток готовы помочь сообществу TikTok и принять соответствующие меры, если поступает жалоба на тот или иной контент. С помощью дополнительной ручной проверки мы также улучшаем работу систем машинного обучения, поскольку модераторы предоставляют обратную связь, которая помогает системам определять новые тенденции создания и появления опасного контента и эффективнее обнаруживать такие действия на платформе в будущем.

Еще одной важной задачей нашей команды является выявление и анализ контента для постоянного повышения уровня точности процессов модерации. Например, если видео становится популярным, наши системы могут повторно изучить его, чтобы снизить вероятность распространения в TikTok контента, нарушающего Правила. Кроме того, мы регулярно анализируем нашу работу, чтобы понять, почему контент, нарушающий Правила, не был обнаружен ранее, и определить тенденции создания и появления опасного контента на платформе. Например, мы можем понять, что нам нужно проделать дополнительную работу для разработки технологии, которая сможет автоматически обнаруживать определенные типы  потенциальных нарушений. Также мы можем понять, что нам необходимо организовать дополнительные тренинги на определенную тему для наших групп модераторов, чтобы помочь им глубже изучить определенные политики и нюансы и принимать в  дальнейшем  более правильные решения при проверке контента.

Забота о  благополучии сотрудников 

Главный приоритет для команды TikTok - это создание и поддержание безопасной и благополучной атмосферы для всех членов нашего сообщества. В некоторых случаях нашим модераторам, проверяющим потенциально опасный контент, самим может потребоваться поддержка и помощь. Мы осознаем эту проблему и уделяем особое внимание здоровью, безопасности и психическому состоянию наших сотрудников. Мы предоставляем нашим командам доступ к различным программам по улучшению благосостояния, включая тренинги, доступ к ресурсам, основанным на научных данных, и консультации профессионалов. Кроме того, мы проводим регулярные исследования, чтобы определить возможности для улучшения условий работы наших сотрудников, а также надеемся, что сможем стать лидерами в нашей отрасли, предоставляя своим командам наиболее инновационные и эффективные способы поддержки.

Мы продолжаем работать над поддержанием безопасной среды на платформе TikTok, которая приносит пользователям позитивные эмоции и помогает им раскрыть свой творческий потенциал, а также надеемся, что в ближайшее время у нас будет возможность рассказать больше о работе наших команд по обеспечению доверия и безопасности.