В. В. Власов, О.Ю. Реброва, В.А. Аксёнов
МОО “Общество специалистов доказательной медицины”
05.02.2021
Авторы заявляют об отсутствии конфликта интересов в отношении всех вакцин от COVID-19.
Несмотря на объявление предварительных результатов рандомизированного двойного слепого испытания (РКИ) первой российской вакцины в ноябре 2020 г. и объявления будущей полной публикации в международном журнале в ноябре, публикация состоялась лишь 2 февраля 2021 г. (https://doi.org/10.1016/ S0140-6736(21)00234-8). Ввиду большой общественной значимости этой разработки и решений в отношении граждан страны мы сочли необходимым опубликовать нижеследующий комментарий к этой статье.
Необходимо напомнить, что вакцина была в особом порядке допущена к применению в России после сокращенных испытаний 1-2 фазы с участием неприемлемо малого количества здоровых молодых добровольцев. Публикация результатов этого испытания вызвала сомнения в качестве исследования у специалистов в России и за рубежом (1). Опубликованные исправления к статье, не сопровождающиеся пояснениями происхождения ошибок в тексте, лишь усугубили недоверие к отчету (2). Поэтому результаты РКИ третьей фазы давно ожидались российским обществом.
Важно подчеркнуть, что другие разработчики вакцин, получившие временное одобрение на их применение примерно одновременно с разработчиками Спутник-V, не только уже обнародовали результаты предварительного анализ РКИ 3-й фазы, но и обнародовали протоколы испытания. Разработчики российской вакцины ограничивались пресс-релизами от спонсора испытания, и кратко комментируемый нами отчет является единственным источником информации, помимо ограниченных данных регистрации РКИ на clinicaltrials.gov.
Лишь из этой статьи мы узнаем, что протокол, отраженный в кратком описании РКИ на сайте clinicaltrials.gov (NCT04530396), был исправлен 5 ноября 2020, что не отражено в этом регистре. Нам сообщается лишь, что тогда было принято решение провести три промежуточных анализа данных. В эту статью включены результаты анализа на 24 ноября 2020 г.
Из рис. 1 (flow chart) мы узнаем, что по разным не вполне понятным причинам из числа получивших первую дозу в группе вакцины исключено 74/16501 (0,45%), а в группе плацебо 41/5476 (0,75%) пациентов. Количество исключенных на этом этапе невелико и не может оказать существенного влияния на результат. Однако надо иметь в виду, что общее количество участников запланированное, обследованное, включенное в исследование и в данный анализ очень различаются. Так, планировалось к включению в исследование 40000, обследовано 35963, фактически включено 33758 (сообщено на clinicaltrials.gov, “actual enrollment”), рандомизировано 21977, анализируется по основному исходу (названному таковым в регистре) и серьезным нежелательным явлениям 21862, по еще одному исходу (названному в статье основным) — 19866, по нежелательным явлениям — 12296. Таким образом, публикуемые результаты получены на селективных группах, и имеются признаки необоснованного исключения случаев.
В статье приводятся данные об иммуногенности вакцины. Они получены при анализе проб крови от участников РКИ, которых можно назвать «выборкой удобства». Авторы не приводят доказательств того, что эта выборка репрезентативна по отношению ко всем участникам РКИ. Соответственно, мы воздерживаемся от рассмотрения этих результатов.
Обсуждая ограничения проводимого РКИ, авторы отмечают, что случаи заболевания COVID-19 выявлялись путем самонаблюдения пациентов, оценивались врачом и подтверждались ПЦР. Таким образом, бессимптомные случаи заболевания не выявлялись. Можно предполагать, что таких случаев было больше в группе вакцинированных, чем в группе плацебо. Результатом такого измерения заболеваемости может быть занижение инциденса в группе вакцинированных в большей степени, чем в группе получивших плацебо и, таким образом, завышение защитного действия вакцины. Размер этого смещения в оценке эффективности вакцины невозможно оценить. Проблема с выбором первичного исхода в виде клинически выявляемого заболевания присутствует не только в данном испытании, но и в испытаниях других вакцин против COVID-19. Это не только лишь проблема точности оценки. Если вакцинация приводит к существенному сокращению тяжести болезни, то вакцинированные люди, переносящие инфекцию легко, и бессимптомные могут быть активными переносчиками инфекции. Иными словами, вакцинация может не замедлять, а ускорять распространение инфекции. Во всяком случае, данное РКИ, так же, как и РКИ других вакцин, уже разрешенных на временных условиях к применению, не ставили своей задачей оценить влияние вакцинации на распространение инфекции.
Случаи простудных заболеваний, классифицированные врачами как COVID-19, признавались таковыми и включались в статистику данного РКИ как основные исходы только в случае подтверждения тестом ПЦР. В статье нет указания на то, какие тесты для этих целей использовались и каковы их операционные характеристики.
Анализ результатов выполнен с отступлением от протокола, в той части, в какой мы знакомы с ним по сообщению в clinicaltrials.gov. В протоколе был предусмотрен анализ исходов в течение 6 месяцев после введения первой дозы. При анализе в срок с введения первой дозы эффективность вакцины составляет 73,1% (расчет авторов статьи). Заявленная и вынесенная в заключение статьи как основной результат эффективность 91,6% получается в случае исключения дней до получения второй дозы из анализа. Для этого варианта анализа есть основания, но эти основания были хорошо известны и в период разработки протокола. Основной анализ должен выполняться в соответствии с протоколом. Отклонение от протокола в ходе анализа допустимо, но результаты такого анализа обычно рассматриваются как поисковые, требующие дополнительного подтверждения в отдельном эксперименте.
В данном исследовании сроки наблюдения за участниками существенно варьируют. Поэтому только анализ времени до события может считаться правильным, но его результаты в статье не приведены. Предъявлен только рисунок 2. Наша реконструкция данных показывает статистически значимое различие групп в лог-ранговом тесте (Р<0,001). Мерой величины эффекта в этом случае должен являться показатель относительной опасности (Hazard ratio). Приведенный в статье расчет эффективности представляется некорректным.
Вакцина представлена как безопасная. Приведенная статистика говорит о примерно одинаковой частоте серьезных нежелательных явлений (СНЯ) при введении вакцины и плацебо. Частота серьезных НЯ (0,3%) всего в 10 раз ниже частоты заболеваний (2%), что нельзя признать не заслуживающим внимания, но не следует и переоценивать, поскольку 2% — это накопленная частота за период анализа. В перспективе года количество заболевших должно умножиться и можно ожидать улучшения этого соотношения.
Из анализа безопасности исключены 34% случаев. Авторы объясняют это задержкой получения информации, что не представляется вполне убедительным, учитывая применявшиеся информационные технологии и важность вопроса.
Данные об умерших недостаточны. В частности, не указан возраст двух умерших от COVID-19 пациентов в группе вакцинации. Эти случаи расценены авторами как включенные в инкубационном периоде заболевания. На наш взгляд, такая простая интерпретация недостаточна. Требуется гораздо более подробное описание этих двух случаев.
Длительность наблюдения за участниками испытания очень коротка — медиана 48 дней. При ничтожном по объему испытании 1-2 фазы и фактическом завершении РКИ 3-й фазы это означает, что безопасность вакцины за пределами полутора месяцев не известна. До настоящей эпидемии в мире не было одобрено аденовирусных векторных вакцин и сокращенное испытание принципиально новой технологии, предназначенной для массового применения, не может не вызывать озабоченности.
При оценке риска систематического смещения результатов с использованием Кокрановского инструмента ROB мы получаем, что вследствие наличия пропусков в данных об исходах и выраженного конфликта интересов у авторов риск систематических смещений результатов исследования высокий.
В тексте статьи также имеются многочисленные другие ошибки, неясности текста, возможные опечатки, которые здесь нами не обсуждаются. Например, на рис. 2 количество людей, наблюдаемых в группе вакцинации, на 20-й день больше, чем на 10-й день (15717 и 15338). Это невозможно, как невозможно стать двадцатилетним, не быв ранее десятилетним.
Авторы выполнили условие журнала и заявили о готовности предоставить доступ к исходным данным. Однако в этот раз они обставили доступ к исходным данным таким количеством условий, в том числе одобрением “отделом безопасности”, что, вероятно, никто за исходными данными к ним обращаться не станет. Это весьма досадно, поскольку неготовность к конструктивному взаимодействию с научной общественностью дает основания для самых серьезных подозрений. Вплоть до подозрений в фальсификации данных при необъяснимых расхождениях или несообщении важных методов или результатов.
Авторы предлагают читателям промежуточный отчет на 24 ноября, создавая иллюзию того, что испытание продолжается и в запланированные сроки появится заключительный отчет. Между тем, уже по крайней мере 50 дней известно, что испытание фактически прервано, группа плацебо частично демаскирована. Это означает, что никаких сравнительных данных между группами вакцинированных и невакцинированных уже не будет получено. Следующий отчет может содержать только сведения о заболеваемости вакцинированных. Эти сведения будут полезны, конечно, но следует понимать, что настоящий промежуточный отчет фактически есть заключительный отчет о РКИ 3-й фазы вакцины Спутник-V.
Заключение
Целесообразность использования любого медицинского вмешательства определяется балансом пользы и вреда от его применения, т.е. соотношением эффективности и безопасности. Анализ сведений об испытании 3-й фазы вакцины, представленных в публикации и регистре РКИ, оставляет оба эти аспекта данного вмешательства в высокой степени неопределенными.
