Изменения

= Polina Latypova из Evocargo. Как мы столкнулись с тщеславной метрикой и победили её. История из мира беспилотной логистики =

Метрика disengagement rate — число вмешательств оператора на км. И это метрика, в которой соревнуются компании. Был график с сайта therobotreport.com — в Калифорнии публикация этих данных обязательна. И они тоже начали собирать эту метрику. Однако, в исходном виде — число вмешательств на км — ничего не говорит. Уменьшение значения — не говорит, что технология стала лучше. Кроме того, автомобили — в разных погодных условиях, поэтому сравнение этих метрик по разным складам или разным дням тоже не информативно. Потребовалась дополнительная аналитика, в частности деление по причинам вмешательства: ошибка автопилота, физическая неисправность, изменение задачи уже в процессе движения и внешние обстоятельства, например, полная блокировка разрешенного участка дороги. При этом есть нюанс квалификации. Машины умеют объезжать препятствия. Но могут быть тупики, когда автомобиль окружили фуры, и проехать реально нельзя. Далее Обогащение данных: время вмешательства, в какой режим из автоматического переключаешься, что использовал оператор для вмешательства, версия релиза и так далее, и не только из автопилота, но и из других систем. И на обогащенных данных получилась возможность ловить реальные проблемы и разбираться. В докладе было несколько примеров, связанных с частыми остановками или ручными вмешательствами в определенном месте. И дальше выявляется и устраняется причина. В одном случае это был маленький человечек на разметке, которого автопилот принимал за человека, в другом — после обновления автопилот перестал доезжать несколько сантиметров до гейта, а на конкретном складе это было важно и потребовалось дообучить, и так далее. В целом это аналогично любому анализу инцидентов, но сама предметная область — интересная.