<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.3 20210610//EN" "JATS-journalpublishing1-3.dtd">
<article article-type="research-article" dtd-version="1.3" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml:lang="ru"><front><journal-meta><journal-id journal-id-type="publisher-id">safetyrisk</journal-id><journal-title-group><journal-title xml:lang="ru">Безопасность и риск фармакотерапии</journal-title><trans-title-group xml:lang="en"><trans-title>Safety and Risk of Pharmacotherapy</trans-title></trans-title-group></journal-title-group><issn pub-type="ppub">2312-7821</issn><issn pub-type="epub">2619-1164</issn><publisher><publisher-name>Federal State Budgetary Institution ‘Scientific Centre for Expert Evaluation of Medicinal Products’ of the Ministry of Health of the Russian Federation (FSBI ‘SCEEMP’)</publisher-name></publisher></journal-meta><article-meta><article-id pub-id-type="doi">10.30895/2312-7821-2023-374</article-id><article-id custom-type="elpub" pub-id-type="custom">safetyrisk-374</article-id><article-categories><subj-group subj-group-type="heading"><subject>Research Article</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="ru"><subject>ГЛАВНАЯ ТЕМА: АКТУАЛЬНЫЕ ВОПРОСЫ ФАРМАКОНАДЗОРА</subject></subj-group><subj-group subj-group-type="section-heading" xml:lang="en"><subject>MAIN TOPIC: CURRENT ISSUES IN PHARMACOVIGILANCE</subject></subj-group></article-categories><title-group><article-title>Оптимизация подходов к анализу нежелательных явлений при проведении клинических исследований биоэквивалентности</article-title><trans-title-group xml:lang="en"><trans-title>Optimisation of Approaches to Adverse Event Analysis in Bioequivalence Clinical Trials</trans-title></trans-title-group></title-group><contrib-group><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-4029-3170</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Верведа</surname><given-names>А. Б.</given-names></name><name name-style="western" xml:lang="en"><surname>Verveda</surname><given-names>A. B.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Верведа Алексей Борисович, канд. мед. наук, вед. науч. сотр.</p><p>пр-т Юрия Гагарина, д. 65, Санкт-Петербург, 196143</p></bio><bio xml:lang="en"><p>Aleksey B. Verveda, Cand. Sci. (Med.), Leading Researcher</p><p>65 Yu. Gagarin Ave, St Petersburg 196143</p></bio><email xlink:type="simple">aleksivan02@rambler.ru</email><xref ref-type="aff" rid="aff-1"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-2503-4402</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Василюк</surname><given-names>В. Б.</given-names></name><name name-style="western" xml:lang="en"><surname>Vasilyuk</surname><given-names>V. B.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Василюк Василий Богданович, д-р мед. наук, профессор</p><p>пр-т Юрия Гагарина, д. 65, Санкт-Петербург, 196143;ул. Кирочная, д. 41, Санкт-Петербург, 191015</p></bio><bio xml:lang="en"><p>Vasiliy B. Vasilyuk, Dr. Sci. (Med.), Professor</p><p>65 Yu. Gagarin Ave, St Petersburg 196143;41 Kirochnaya St., St Petersburg 191015</p></bio><email xlink:type="simple">vasilyuk_vb@ecosafety.ru</email><xref ref-type="aff" rid="aff-2"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0001-6635-9786</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Сыраева</surname><given-names>Г. И.</given-names></name><name name-style="western" xml:lang="en"><surname>Syraeva</surname><given-names>G. I.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Сыраева Гульнара Ислямовна</p><p>пр-т Юрия Гагарина, д. 65, Санкт-Петербург, 196143;ул. Льва Толстого, д. 6–8, Санкт-Петербург, 197022</p></bio><bio xml:lang="en"><p>Gulnara I. Syraeva</p><p>65 Yu. Gagarin Ave, St Petersburg 196143; 6–8 Lev Tolstoy St., St Petersburg 197022</p></bio><email xlink:type="simple">syraevagulnara@gmail.com</email><xref ref-type="aff" rid="aff-3"/></contrib><contrib contrib-type="author" corresp="yes"><contrib-id contrib-id-type="orcid">https://orcid.org/0000-0003-4212-5453</contrib-id><name-alternatives><name name-style="eastern" xml:lang="ru"><surname>Фарапонова</surname><given-names>М. В.</given-names></name><name name-style="western" xml:lang="en"><surname>Faraponova</surname><given-names>M. V.</given-names></name></name-alternatives><bio xml:lang="ru"><p>Фарапонова Мария Валерьевна</p><p>пр-т Юрия Гагарина, д. 65, Санкт-Петербург, 196143</p></bio><bio xml:lang="en"><p>Mariia V. Faraponova</p><p>65 Yu. Gagarin Ave, St Petersburg 196143</p></bio><email xlink:type="simple">faraponova_mv@ecosafety.ru</email><xref ref-type="aff" rid="aff-1"/></contrib></contrib-group><aff-alternatives id="aff-1"><aff xml:lang="ru">Общество с ограниченной ответственностью «Научно-исследовательский центр Эко-безопасность»<country>Россия</country></aff><aff xml:lang="en">Eco-Safety Research Center LLC<country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-2"><aff xml:lang="ru">Общество с ограниченной ответственностью «Научно-исследовательский центр Эко-безопасность»; Федеральное государственное бюджетное образовательное учреждение высшего образования «Северо-Западный государственный медицинский университет имени И.И. Мечникова» Министерства здравоохранения Российской Федерации<country>Россия</country></aff><aff xml:lang="en">Eco-Safety Research Center LLC; North-Western State Medical University named after I.I. Mechnikov<country>Russian Federation</country></aff></aff-alternatives><aff-alternatives id="aff-3"><aff xml:lang="ru">Общество с ограниченной ответственностью «Научно-исследовательский центр Эко-безопасность»; Федеральное государственное бюджетное образовательное учреждение высшего образования «Первый Санкт-Петербургский государственный медицинский университет имени академика И.П. Павлова» Министерства здравоохранения Российской Федерации<country>Россия</country></aff><aff xml:lang="en">Eco-Safety Research Center LLC; Academician I.P. Pavlov First Saint Petersburg State Medical University<country>Russian Federation</country></aff></aff-alternatives><pub-date pub-type="collection"><year>2024</year></pub-date><pub-date pub-type="epub"><day>20</day><month>12</month><year>2023</year></pub-date><volume>12</volume><issue>1</issue><fpage>24</fpage><lpage>34</lpage><permissions><copyright-statement>Copyright &amp;#x00A9; Верведа А.Б., Василюк В.Б., Сыраева Г.И., Фарапонова М.В., 2024</copyright-statement><copyright-year>2024</copyright-year><copyright-holder xml:lang="ru">Верведа А.Б., Василюк В.Б., Сыраева Г.И., Фарапонова М.В.</copyright-holder><copyright-holder xml:lang="en">Verveda A.B., Vasilyuk V.B., Syraeva G.I., Faraponova M.V.</copyright-holder><license license-type="creative-commons-attribution" xlink:href="https://creativecommons.org/licenses/by/4.0/" xlink:type="simple"><license-p>This work is licensed under a Creative Commons Attribution 4.0 License.</license-p></license></permissions><self-uri xlink:href="https://www.risksafety.ru/jour/article/view/374">https://www.risksafety.ru/jour/article/view/374</self-uri><abstract><sec><title>АКТУАЛЬНОСТЬ</title><p>АКТУАЛЬНОСТЬ. Оценка безопасности разрабатываемых лекарственных средств является обязательным этапом при проведении клинического исследования, независимо от его фазы, в том числе исследований биоэквивалентности. Однако подходы к индивидуализированной оценке нежелательных реакций, влияющей на качество принимаемых решений по безопасности фармакотерапии, не разработаны.</p></sec><sec><title>ЦЕЛЬ</title><p>ЦЕЛЬ. Разработка и обоснование подходов к индивидуальной оценке безопасности фармакотерапии на основе количественного интегрального анализа нежелательных явлений.</p></sec><sec><title>МАТЕРИАЛЫ И МЕТОДЫ</title><p>МАТЕРИАЛЫ И МЕТОДЫ. На основании системного анализа открытых источников литературы проведена адаптация методов количественного интегрального анализа для использования при оценке безопасности фармакотерапии в клинических исследованиях с участием здоровых добровольцев. Разработанная методика представляет собой поэтапную индивидуализированную оценку нежелательных реакций, в рамках которой каждому из событий присваивается определенный балл, весовой коэффициент с последующей агрегацией данных для получения интегрального показателя на системно-органном и организменном уровнях.</p></sec><sec><title>РЕЗУЛЬТАТЫ</title><p>РЕЗУЛЬТАТЫ. Разработана пятиэтапная методика оценки безопасности фармакотерапии на основе количественного интегрального анализа нежелательных реакций, включающая балльную оценку нежелательного явления, преобразование баллов с использованием функций принадлежности, определение весовых коэффициентов, агрегацию данных для получения интегрального показателя, интерпретацию индивидуальных и групповых показателей. Последовательное выполнение этапов анализа в соответствии с предложенной методикой позволяет отнести каждого добровольца (субъекта исследования) к определенной группе в соответствии с вероятностью развития у него нежелательных явлений. В дополнение к индивидуальной оценке представлен алгоритм интерпретации показателей для когорт субъектов исследования; в зависимости от группы терапии — исследуемый препарат или препарат сравнения.</p></sec><sec><title>ВЫВОДЫ</title><p>ВЫВОДЫ. Разработанный алгоритм преобразования и представления интегральной оценки нежелательных явлений лекарственных средств позволит повысить надежность и достоверность выводов о безопасности лекарственных препаратов, что имеет важное значение для принятия решения по планированию и реализации дальнейшей программы клинической разработки лекарственных средств.</p></sec></abstract><trans-abstract xml:lang="en"><sec><title>SCIENTIFIC RELEVANCE</title><p>SCIENTIFIC RELEVANCE. The safety assessment of investigational medicinal products is a mandatory step in clinical trials of all phases, including bioequivalence studies. However, there are no approaches providing for the individualised assessment of adverse drug reactions (ADRs), which contributes to the quality of decisions on the safety of pharmacotherapy.</p></sec><sec><title>AIM</title><p>AIM. The study aimed to develop and justify approaches to the individualised assessment of the safety of pharmacotherapy based on quantitative integrative analysis of adverse events (AEs).</p></sec><sec><title>MATERIALS AND METHODS</title><p>MATERIALS AND METHODS. The authors carried out a systematic review of open-access publications and adapted quantitative integrative analysis methods for assessing the safety of pharmacotherapy in clinical trials involving healthy volunteers. The developed methodology is a step-by-step individualised assessment of ADRs, where each case is assigned a certain score and a weight, with subsequent data aggregation to obtain an integrated indicator at the system/organ and organism levels.</p></sec><sec><title>RESULTS</title><p>RESULTS. The authors developed a five-step procedure for assessing the safety of pharmacotherapy based on quantitative integrative ADR analysis. This procedure involves scoring an AE, converting the score using membership functions, assigning weights, aggregating data to obtain an integrated indicator, and interpreting individual and group indicators. The sequential implementation of the analysis steps in accordance with the proposed procedure makes it possible to assign each volunteer (study subject) to a specific group in accordance with the likelihood of developing AEs. In addition to individual assessment, the article presents an algorithm for interpreting indicators for groups of study subjects, depending on the treatment group (study or comparator medicinal product).</p></sec><sec><title>CONCLUSIONS</title><p>CONCLUSIONS. The described algorithm for converting and presenting integrative AE assessments will improve the reliability and validity of conclusions on the safety of medicinal products, which is important for planning and implementing further clinical development programmes.</p></sec></trans-abstract><kwd-group xml:lang="ru"><kwd>нежелательные явления</kwd><kwd>нежелательные реакции</kwd><kwd>фармаконадзор</kwd><kwd>клинические исследования</kwd><kwd>биоэквивалентность</kwd><kwd>статистический анализ</kwd><kwd>безопасность лекарственных средств</kwd><kwd>интегральные оценки</kwd><kwd>индивидуализация</kwd></kwd-group><kwd-group xml:lang="en"><kwd>adverse event</kwd><kwd>adverse drug reaction</kwd><kwd>pharmacovigilance</kwd><kwd>clinical trial</kwd><kwd>bioequivalence</kwd><kwd>statistical analysis</kwd><kwd>drug safety</kwd><kwd>integrative estimates</kwd><kwd>individualisation</kwd></kwd-group><funding-group xml:lang="ru"><funding-statement>Работа выполнена без спонсорской поддержки</funding-statement></funding-group><funding-group xml:lang="en"><funding-statement>The study was performed without external funding</funding-statement></funding-group></article-meta></front><body><sec><title>Введение</title><p>Безопасность применения является одной из базовых характеристик лекарственных препаратов (ЛП), необходимых для получения разрешения к применению у пациентов. Оценка параметров безопасности фармакотерапии начинается с доклинического этапа, подразумевающего проведение исследований общетоксических свойств, изучение репродуктивной токсичности, генотоксичности и других характеристик на лабораторных животных и других биологических объектах1.</p><p>При проведении клинических исследований (КИ) продолжается оценка параметров безопасности и переносимости ЛП. Особенно важна качественная реализация этой задачи на I–II фазах КИ c участием здоровых добровольцев, неблагоприятные изменения состояния организма которых, включая возникновение нежелательных явлений (НЯ), можно со значительной долей уверенности связать с возможными побочными эффектами исследуемого препарата. Следует дополнительно подчеркнуть, что при инициации любого КИ, независимо от его фазы, необходимо реализовывать риск-ориентированный подход для идентификации и минимизации всех потенциальных факторов, которые могут сказаться на благополучии субъектов исследования [<xref ref-type="bibr" rid="cit1">1</xref>]. НЯ при проведении КИ могут быть вызваны не только назначаемыми в рамках исследования лекарственными средствами, но также ассоциированы с процедурами исследования (например, частые заборы крови, инвазивные методики обследования) или с внешними факторами (например, неблагоприятной эпидемиологической обстановкой).</p><p>На данный момент бóльшую часть проводимых исследований в Российской Федерации составляют исследования биоэквивалентности2. Целью этих КИ является в первую очередь оценка степени подобия фармацевтически эквивалентного лекарственного средства (воспроизведенного, исследуемого препарата, ИП) по отношению к референтному препарату (оригинальному препарату, препарату сравнения, ПС). Не менее важной задачей также является мониторинг безопасности исследуемых лекарственных средств, и, конечно, в фокусе внимания исследователей должен находиться воспроизведенный препарат ввиду того, что оригинальное ЛС находится уже на пострегистрационном этапе исследования и его профиль безопасности определен как «благоприятный».</p><p>Риск развития возможных нежелательных реакций при применении воспроизведенного препарата существенно зависит от индивидуальных особенностей субъекта исследования [<xref ref-type="bibr" rid="cit2">2</xref>]. Для обоснованной интерпретации результатов изучения безопасности, по мнению авторов настоящей публикации, необходима интегральная количественная индивидуальная оценка состояния организма каждого добровольца (субъекта исследования), которая на основе сопоставления с обоснованными критериями может свидетельствовать о наличии/отсутствии признаков побочного влияния ИП. Оценка различий только групповых показателей может нивелировать отдельные существенные отклонения, являющиеся признаками индивидуальной чувствительности к препарату. Получение и интерпретация интегральных оценок широко используется в различных областях, в том числе в сфере машиностроения, в бизнес-моделировании, экономике, данная методология нашла свое применение и в медицине [3–5].</p><p>Принимая во внимание, что исходные данные КИ могут быть представлены в шкалах различной размерности и качества, для последующего анализа и интерпретации необходимо приведение их к единой шкале (нормализация). Для этой цели широко используются различные функции принадлежности (ФП), являющиеся элементами нечеткой логики [<xref ref-type="bibr" rid="cit6">6</xref>]. Качественные данные, к которым относятся основные характеристики безопасности — НЯ, наиболее сложны для преобразования и интеграции, поэтому при проведении медико-биологических исследований широко используются балльные оценки, которые являются своеобразным «мостиком» между качественными и количественными шкалами [<xref ref-type="bibr" rid="cit7">7</xref>][<xref ref-type="bibr" rid="cit8">8</xref>]. Рядом авторов описаны подходы, позволяющие перевести балльные оценки в количественную безразмерную шкалу от 0 до 1, что решает проблему интеграции исходных данных независимо от их размерности [<xref ref-type="bibr" rid="cit9">9</xref>][<xref ref-type="bibr" rid="cit10">10</xref>].</p><p>Цель работы — разработка и обоснование подходов к индивидуальной оценке безопасности фармакотерапии на основе количественного интегрального анализа нежелательных явлений.</p></sec><sec><title>Материалы и методы</title><p>Предложена методика единого подхода к оценке безопасности на основе количественного интегрального анализа НЯ. Разработанная процедура основана на подходах, сформулированных в работах Е.С. Каган и соавт. [<xref ref-type="bibr" rid="cit10">10</xref>], И.В. Георгицы и соавт. [<xref ref-type="bibr" rid="cit11">11</xref>], и представляет собой адаптацию этих подходов к оценке безопасности применения лекарственных средств при проведении КИ c участием здоровых добровольцев. Методика включает в себя поэтапную индивидуализированную оценку НЯ, в рамках которой каждому из событий присваивается определенный балл (весовой коэффициент) с последующей агрегацией данных для получения интегрального показателя на системно-органном и организменном уровнях.</p></sec><sec><title>Результаты и обсуждение</title></sec><sec><title>Основные этапы проведения исследования методом количественного интегрального анализа</title><p>Безопасность фармакотерапии, как правило, оценивают по частоте возникновения НЯ, а также по их клиническим проявлениям: отклонениям в данных физикального обследования, функций жизненно важных органов, изменениям лабораторных и инструментальных исследований. К основным характеристикам НЯ относятся: критерии серьезности, степень тяжести, связь с приемом исследуемого препарата, доза лекарственного препарата, предпринятые действия в отношении НЯ, исход НЯ и др. Порядок определения каждой из указанных характеристик подробно описан в соответствующих нормативных и методических документах3.</p><p>Как правило, после регистрации НЯ в клинических исследованиях проводится сравнительный анализ и статистическая оценка различий отдельных характеристик НЯ между группами ИП и ПС. Вместе с тем ни обобщение отдельных характеристик НЯ на групповом уровне (то есть интегральных показателей), ни оценка выраженности индивидуальных отклонений в состоянии здоровья субъектов исследований, проявляющихся в виде НЯ, требованиями нормативно-методических документов не предусмотрены.</p><p>Оценка безопасности фармакотерапии методом индивидуального количественного интегрального анализа состоит из нескольких этапов [<xref ref-type="bibr" rid="cit4">4</xref>].</p><p>1 этап — присвоение каждой из характеристик НЯ балльной оценки. Эта оценка обязательно унифицируется независимо от количества уровней градации шкалы. Унификация балльной шкалы заключается в том, что максимальный уровень (например, 4 балла в 4-балльной шкале степени тяжести) соответствует отсутствию отклонений (НЯ), 3 балла соответствует легкой степени тяжести, 2 балла — умеренной степени и 1 балл (минимальный уровень) — тяжелой степени (при отсутствии других характеристик).</p><p>2 этап — каждая из балльных оценок каждой характеристики НЯ нормируется в диапазоне от 0 до 1, где отсутствие НЯ и нарушения легкой степени тяжести будут соответствовать значениям, близким к 1, а более тяжелые НЯ — значениям, близким к 0. Данный подход позволяет преобразовать качественную шкалу в количественную. Аналогичный подход используется для преобразования всех характеристик основных параметров НЯ. Унификация необходима для однозначной интерпретации положительных и отрицательных оценок и последующего нормирования.</p><p>3 этап — определение весовых коэффициентов характеристик НЯ.</p><p>4 этап — агрегация данных для получения интегрального показателя на системно-органном и организменном уровнях.</p><p>5 этап — интерпретация результатов для принятия решения на основе разработанных критериев и полученного уровня интегрального показателя.</p></sec><sec><title>Присвоение балльных оценок параметрам нежелательного явления (1 этап)</title><p>Каждая характеристика НЯ относится к качественным переменным, поэтому в рутинной практике для их анализа используют частотные показатели, позволяющие как описать явления, так и сравнить отдельные группы [<xref ref-type="bibr" rid="cit12">12</xref>].</p><p>Порядковые шкалы разделяют на два типа: ранговая шкала, где числа служат только для ранжирования по местам (уровням), и балльная шкала. Основным отличием балльных шкал от ранговых является то, что каждому баллу соответствует определенная качественная характеристика. В случае отсутствия точного соотнесения балла с такой характеристикой может пострадать корректность оценки. Порядковые шкалы не обладают свойством аддитивности, присущим цифрам, поэтому показатель «средний балл» с точки зрения метода количественного интегрального анализа не корректен. Допустимыми преобразованиями порядковой шкалы являются любые возрастающие преобразования, которые не меняют порядок шкалы [<xref ref-type="bibr" rid="cit13">13</xref>].</p><p>Каждая характеристика НЯ оценивается по балльной шкале. Для большинства характеристик НЯ существуют устоявшиеся либо нормативно установленные уровни градации и оценки4: степень серьезности НЯ (НЯ, серьезное нежелательное явление (СНЯ)), степень тяжести (легкая, умеренная, тяжелая, жизнеугрожающая, фатальная), причинно-следственная связь с применением препарата (определенная, вероятная, возможная, сомнительная; оценивается по алгоритму Наранжо), наличие или отсутствие лечения и др.</p><p>Баллы, полученные в разных системах, нормируются по единой шкале в диапазоне от 0 до 1. Максимальное значение показателя будет соответствовать значениям, близким к 1, минимальное — к 0. Для каждой шкалы могут быть выполнены определенные допустимые преобразования. Однако следует учесть тот факт, что в рамках допустимого преобразования не должно изменяться соотношение между измеряемыми объектами (шкалами) и, следовательно, не должно изменяться заключение, выполненное по результатам преобразования5.</p></sec><sec><title>Преобразование балльных оценок с использованием функций принадлежности (2 этап)</title><p>Использование балльных оценок имеет как преимущества, так и недостатки. К плюсам применения балльных оценок можно отнести возможность их преобразования и использования в качестве как количественных, так и качественных показателей. В данном контексте балльные шкалы могут быть представлены следующим образом: номинальные — цифры или символы служат условными обозначениями для идентификации объектов или их свойств (например, визуально-аналоговая шкала для оценки уровня боли); порядковые — цифрами обозначают последовательность объектов или свойств по степени их важности (например, степени тяжести в НЯ в системе общих терминологических критериев побочных реакций (Common Terminology Criteria for Adverse Events, CTCAE))6, интервальные — обозначают степень различий между объектами или свойствами (например, диапазоны показателей жизненно важных функций, таких как температура тела), рациональные — так же как и интервальные, отражают соотношение размеров объекта при наличии нулевой точки отсчета7. К минусам применения можно отнести погрешности в оценке колебаний того или иного показателя, что может привести к ошибке интерпретации (недопустимое преобразование).</p><p>В работе А.Н. Горбач и соавт. [<xref ref-type="bibr" rid="cit14">14</xref>] предложен способ использования процентной шкалы вместо балльной, что позволило перевести данные из порядковой шкалы в количественную. С нашей точки зрения, решение проблемы интеграции балльных оценок — это перевод порядковых признаков в нечеткое число с помощью аппарата теории нечетких множеств и применение функций принадлежности (ФП) нечетких множеств [<xref ref-type="bibr" rid="cit10">10</xref>][<xref ref-type="bibr" rid="cit15">15</xref>]. ФП устанавливает соответствие между элементами универсального множества U = {u1, u2,..., un} и числовыми значениями их степеней принадлежности некоторому новому множеству A µA(u) на отрезке (0, 1). Если степени принадлежности µA(u) принимают только два значения — 0 или 1, — то множество A является четким, в противном случае это множество является нечетким (степени принадлежности могут принимать любые значения на отрезке (0, 1), например 0,2 или 0,8)8.</p><p>Балльные оценки характеристик основных параметров НЯ отражают степень выраженности возможных отклонений, измеренную в порядковой шкале. Каждому из баллов можно поставить в соответствие терм-множество (term set) лингвистической переменной. Так, например, для 5-балльной шкалы, использующейся при анализе НЯ, такими переменными могут быть: «выраженные изменения», «умеренные изменения», «легкие изменения», «минимальные изменения», «нет изменений». Такие же переменные могут быть получены и для балльных шкал любой размерности. Каждый из баллов можно сопоставить с треугольным или трапециевидным нечетким числом, которое будет считаться нечеткой оценкой показателя.</p><p>Ширину интервала можно определить по-разному в зависимости от решаемых задач и исходных данных. Если отсутствует какая-либо исходная информация, возможно установление равных интервалов (вариант 1). Вариант 2, характеризуемый широким центральным интервалом с уменьшением к краям диапазона, наиболее универсален. При варианте 3 отношение длин соседних интервалов стремится к золотому сечению. Вариант 4 удобен в случае сосредоточения основной части оценок по краям диапазона [<xref ref-type="bibr" rid="cit11">11</xref>].</p><p>Для построения ФП термов можно использовать апостериорный подход [<xref ref-type="bibr" rid="cit16">16</xref>]:</p><p>Таким образом, после преобразования балльных оценок получаем треугольную или трапециевидную ФП. Трапециевидная ФП как наиболее универсальный вариант описывается четырьмя точками: µ(х) = (k1, k2, k3, k4), где k2 и k3 — граничные значения интервала, на котором ФП принимает значение, равное 1, а точки k1 и k4 — левый и правый нуль функции соответственно.</p><p>В качестве примера построения ФП представим порядок получения трапециевидных функций для трехбалльной оценки, которую можно использовать при анализе серьезности НЯ. Этот пример взят из работы, посвященной построению комплексных нечетких оценок эффективности деятельности вуза [<xref ref-type="bibr" rid="cit10">10</xref>], но, на наш взгляд, может быть экстраполирован и на клинические исследования в том числе. Оценка уровня серьезности НЯ соответствует терм-множеству из трех термов: Т1 — «низкий (наличие СНЯ)» (1 балл), Т2 — «средний (наличие НЯ)» (2 балла) и Т3 — «высокий (отсутствие НЯ)» (3 балла). Если через fi обозначить частоты встречаемости каждого терма (балла) в выборке (где f1 — 1 балл, … f3 — 3 балла), то расчет точек (k1, k2, k3, k4) для терма «низкий» (1 балл) осуществляют по формулам (1), (2):</p><p>если f1≤ f2, то</p><p>µ1(х) = (0; 0; f1/2;3f1/2), (1)</p><p>если f1&gt; f2, то</p><p>µ1(х) = (0; 0; f1–f2/2; f1+f2/2). (2)</p><p>Расчет точек (k1, k2, k3, k4) для терма «средний» (2 балла) осуществляют по формулам (3)–(6):</p><p>если f2≤ min(f1. f3), то</p><p>µ2(х)=(f1–f2/2; f1+f2/2;1–f3–f2/2; 1–f3+f2/2), (3)</p><p>если f1&lt;f2&lt;f3, то</p><p>µ2(х)=(f1/2; 3f2/2;1–f3–f2/2; 1–f3+f2/2), (4)</p><p>если f3&lt;f2&lt;f1, то</p><p>µ2(х)=(f1–f2/2; f1+f2/2;1–3f3/2; 1–f3/2), (5)</p><p>если f2≥ max(f1. f3) , то</p><p>µ2(х)=(f1/2; 3f1/2;1–3f3/2; 1–f3/2). (6)</p><p>Расчет точек (k1, k2, k3, k4) для терма «высокий» (3 балла) осуществляют по формулам (7), (8):</p><p>если f3&gt; f2, то</p><p>µ3(х) = (1–f3–f2/2; 1–f3+f2/2; 1; 1), (7)</p><p>если f3≤ f2, то</p><p>µ3(х) = (1–3f3/2; 1–f3/2; 1;1). (8)</p><p>Для получения четкой оценки балла проводится процедура дефаззификации центроидным способом по формуле (9):</p><p>. (9)</p><p>По аналогии строятся ФП для балльных систем, содержащих 4, 5 и более термов [<xref ref-type="bibr" rid="cit17">17</xref>].</p><p>В последующем четкие оценки нормализуют одним из множества способов: десятичное масштабирование, минимаксная нормализация, нормализация средними (Z-нормализация), отношение и др. [<xref ref-type="bibr" rid="cit18">18</xref>].</p><p>Таким образом, с использованием представленного выше алгоритма баллы, с которыми нельзя проводить арифметических действий, преобразовываются в четкую нормированную числовую оценку 0 или 1, которую можно использовать для получения интегральных показателей состояния организма, в частности оценку безопасности на основе НЯ.</p></sec><sec><title>Определение весовых коэффициентов (3 этап)</title><p>Каждый параметр НЯ характеризуется двумя компонентами: выраженностью (степенью выраженности) и важностью (весовой коэффициент). На третьем этапе исследования определяют весовые коэффициенты показателей, подлежащих интеграции. Для оценки степени выраженности показателя, который может быть представлен любой из шкал, как количественной, так и качественной, может быть использован аппарат теории нечетких множеств.</p><p>Существуют множество подходов для оценки весового коэффициента (важности), наиболее часто применяемым из которых является экспертная оценка9. Для получения достоверных выводов необходима правильная организация процедуры проведения экспертного оценивания [<xref ref-type="bibr" rid="cit19">19</xref>]. К числу основных процедур оценки критериев, получаемых с участием экспертов, необходимо отнести методы ранжирования, парных сравнений (метод анализа иерархий) и формулы Фишберна [<xref ref-type="bibr" rid="cit20">20</xref>].</p><p>Одним из наиболее приемлемых способов ранжирования показателей является использование априорной информации о вероятности выявления отклонений со стороны отдельных органов или систем по данным о безопасности референтного лекарственного препарата. Частота выявления нежелательных реакций применения лекарственных препаратов по данным Всемирной организации здравоохранения классифицируется следующим образом: очень частые (&gt;1/10); частые (&gt;1/100 — &lt;1/10); нечастые (&gt;1/1000 — &lt;1/100); редкие (&gt;1/10000 — &lt;1/1000); очень редкие (&lt;1/10000). Соответственно, весовые коэффициенты для установления общих побочных эффектов на основе установленных признаков органоспецифических побочных эффектов (НЯ в зависимости от системно-органного класса) могут быть получены путем нормирования в диапазоне (0, 1) априорной частоты для анализируемых систем препарата сравнения.</p><p>К числу доступных способов установления весовых коэффициентов для ФП без использования экспертных оценок является подход, представленный Л.И. Маруцак и соавт. [<xref ref-type="bibr" rid="cit15">15</xref>]. За основу берут эталонный вариант, имеющий, например, равномерное распределение по всей шкале. Для каждого балла находят отношение площади пересечения графиков эталонной и рассматриваемой функции принадлежности µi(x) к площади их объединения.</p><p>Для формирования эталонной ФП может быть взята не только равномерно распределенная по частоте встречаемость баллов, но и значения, полученные при анализе большого массива данных. Данные такого типа собираются и аккумулируются на национальном уровне, примером такого типа базы данных является автоматизированная информационная система «Фармаконадзор 2.0» АИС Росздравнадзора [<xref ref-type="bibr" rid="cit21">21</xref>].</p></sec><sec><title>Агрегация показателей (4 этап)</title><p>Одной из основных процедур в процессе интеграции данных является агрегация показателей, которая позволяет перейти к этапу интерпретации полученных результатов и принятию решений. Важно отметить, что агрегации подлежат нормированные значения показателей. Наиболее часто используемыми способами агрегации являются метод аддитивной свертки и метод мультипликативной свертки [<xref ref-type="bibr" rid="cit22">22</xref>].</p><p>Необходимо подчеркнуть целесообразность использования нескольких направлений интеграции исходных данных независимо от способов их агрегации. Исходя из задач, решаемых при проведении клинических исследований, на основе первичной информации следует проводить интеграцию соответствующих переменных как минимум в двух направлениях:</p><p>При оценке органоспецифических побочных эффектов проводят агрегацию всех характеристик одного НЯ по каждой из систем организма у одного добровольца, независимо от количества НЯ по анализируемой системе у этого добровольца. При наличии нескольких НЯ по анализируемой системе для последующего анализа оставляют наиболее неблагоприятные характеристики — наличие критериев серьезности, тяжелая степень тяжести, установленная связь с приемом препарата, лечение НЯ и др.</p><p>Для получения системного индивидуального интегрального показателя (WS) балльных оценок всех параметров НЯ проводят интеграцию взвешенных (ωi ) четких оценок балла (Ei), соответствующих установленной характеристике параметра НЯ, по формуле (10), где i — число измерений:</p><p>. (10)</p><p>Для получения общего индивидуального интегрального показателя (WI), характеризующего побочные действия анализируемых препаратов на организменном уровне, проводят интеграцию взвешенных (ωi ) системных показателей (WSi) по всем установленным системам по формуле (11):</p><p>. (11)</p></sec><sec><title>Интерпретация результатов (5 этап)</title><p>На основе разработки критериев для конкретного исследования или группы исследований и интерпретации полученных результатов делается вывод в соответствии с целью работы (принимается решение). Под критерием понимается оценочная функция, с помощью которой измеряется степень соответствия фактического состояния объекта установленным требованиям (желаемому состоянию), что подразумевает предварительное определение границ классов (уровней) показателя лицом, принимающим решение. Таким лицом, как правило, является независимый эксперт, приглашенный стороной, планирующей и инициирующей клиническое исследование. Одним из способов установления границ классов (уровней) показателя без участия лица, принимающего решение, и экспертного оценивания является использование готовых шкал, например шкалы желательности Харрингтона [<xref ref-type="bibr" rid="cit15">15</xref>]. Для примера приведена трехуровневая шкала желательности Харрингтона (табл. 1).</p><table-wrap id="table-1"><caption><p>Таблица 1. Соответствие диапазонов шкалы Харрингтона уровням интегральных и системных показателей и заключений о вероятности развития нежелательных явлений по каждому добровольцу</p><p>Table 1. Correspondence of Harrington scale ranges to integral and systemic indicators and conclusions about the likelihood of developing adverse events for each volunteer</p><p>Таблица составлена авторами на основе пятиуровневой шкалы Харрингтона по данным источника [15] / The table was prepared by the authors based on the five-level Harrington scale according to [15]</p><p>Примечание. D — интегральный индивидуальный показатель.Note. D, integrated individual indicator.</p></caption><table><tbody><tr><td>1,00 ≥ D ≥ 0,37</td><td>Отсутствие отклонений в состоянии здоровья
No health issues</td><td>Низкая вероятность развития нежелательных явлений
Low probability of adverse events</td></tr><tr><td>0,37 &gt; D ≥ 0,20</td><td>Умеренные отклонения в состоянии здоровья
Moderate health issues</td><td>Возможно развитие нежелательных явлений
Possibility of adverse events</td></tr><tr><td>D &lt; 0,20</td><td>Выраженные отклонения в состоянии здоровья
Pronounced health issues</td><td>Высокая вероятность развития нежелательных явлений
High probability of adverse events</td></tr></tbody></table></table-wrap><p>Основным этапом разработки критериев является формулирование правил, позволяющих на основе сопоставления установленных граничных уровней показателя и полученных по результатам КИ значений интегральных показателей интерпретировать полученные результаты и принимать решения. Одним из возможных подходов к интерпретации совокупности полученных интегральных параметров является двухэтапная оценка индивидуальных и групповых системных и интегральных показателей.</p><p>Интерпретация индивидуальных показателей. Обязательность выявления добровольцев с наличием неблагоприятных индивидуальных отклонений в состоянии здоровья — принципиальная особенность и преимущество подхода, основанного на интеграции индивидуальных параметров НЯ.</p><p>Предполагая многообразие возможных путей решения поставленной задачи на организменном (общие нарушения, ОбщН) и системно-органном (органоспецифические нарушения, ОргН) уровнях, в качестве одного из возможных способов, на наш взгляд, целесообразно использовать подходы, применяющиеся при оценке острой токсичности в ходе доклинических исследований лекарственных средств10. Критерием отнесения субъекта исследования в одну из групп с различной вероятностью возникновения НЯ будет являться численность добровольцев с выраженными неблагоприятными отклонениями в состоянии организма. Таким образом может быть рассчитана частота встречаемости добровольцев (доля, %) с определенными значениями интегральных показателей (ОбщН) и системно-органных показателей (ОргН). При последующем анализе данный показатель доли может быть отнесен в соответствующую группу в зависимости от вероятности развития НЯ.</p><p>Заключение о вероятности развития НЯ может быть сделано на основании заключений по отдельным группам добровольцев, получающих исследуемый препарат (ИП) и препарат сравнения (ПС).</p><p>1. «НЯ не выявлены», если:</p><p>а) у 100% субъектов исследования в обоих группах — низкая вероятность развития НЯ;</p><p>б) у 100% субъектов исследования в группе ИП — низкая вероятность развития НЯ, до 40% в группе ПС — развитие НЯ возможно.</p><p>2. «НЯ выявлены», если:</p><p>а) более 40% субъектов исследования в обоих группах имеют высокую вероятность развития НЯ;</p><p>б) более 40% субъектов исследования в группе ИП имеют высокую вероятность развития НЯ независимо от количества добровольцев с высокой вероятностью развития НЯ в группе ПС;</p><p>в) более 40% субъектов исследования в группах ИП или ПС имеют высокую вероятность развития НЯ.</p><p>3. «Неопределенный результат»: если не соблюдены условия для случаев «НЯ не выявлены» и «НЯ выявлены».</p><p>Критерии и диапазоны нормализованной шкалы могут быть изменены с учетом целей исследования и экспертного мнения.</p><p>В случае однозначного заключения «НЯ выявлены» по данным индивидуальных показателей групповая оценка может не проводиться. Во всех остальных случаях она обязательна, и итоговое заключение выносится по результатам индивидуальной и групповой оценок.</p><p>Интерпретация групповых показателей. Порядок интерпретации групповых показателей на основе статистической обработки системных и интегральных показателей (нормализованных в диапазоне (0, 1)) определяется с учетом цели проводимых исследований. Статистические характеристики определяют с учетом характера распределения нормализованных показателей.</p><p>В качестве примера представлены критерии принятия решений по оценке результатов КИ для усредненных показателей каждой из групп — ИП и ПС. Для установления граничных уровней использована трехуровневая шкала желательности Харрингтона (табл. 2).</p><table-wrap id="table-2"><caption><p>Таблица 2. Соответствие диапазонов шкалы Харрингтона уровням групповой оценки интегральных и системных показателей и заключений о вероятности развития нежелательного явления по группе добровольцев</p><p>Table 2. Correspondence of Harrington scale ranges to group assessments of integral and systemic indicators and conclusions about the likelihood of developing adverse events for groups of volunteers</p><p>Таблица составлена авторами на основе пятиуровневой шкалы Харрингтона по данным источника [15] / The table was prepared by the authors based on the five-level Harrington scale according to [15]</p><p>Примечание. D — интегральный групповой показатель.Note. D, integrated group indicator.</p></caption><table><tbody><tr><td>1,00 ≥ D ≥ 0,37</td><td>В пределах референсных диапазонов
Within the reference range</td><td>Низкая вероятность развития нежелательных явлений
Low probability of adverse events</td></tr><tr><td>0,37 &gt; D ≥ 0,20</td><td>Незначительно выходит за пределы референсных диапазонов
Slightly outside the reference range</td><td>Развитие нежелательных явлений возможно
Possibility of adverse events</td></tr><tr><td>D &lt; 0,20</td><td>Значительно выходит за пределы референсных диапазонов
Significantly outside the reference range</td><td>Высокая вероятность развития нежелательных явлений
High probability of adverse events</td></tr></tbody></table></table-wrap><p>Критерии при вынесении заключения для групп добровольцев следующие.</p><p>1. «НЯ не выявлены», если:</p><p>а) все группы — низкая вероятность развития НЯ;</p><p>б) группа ИП — низкая вероятность развития НЯ, группа ПС — НЯ возможны.</p><p>2. «НЯ выявлены», если:</p><p>а) все группы — высокая вероятность развития НЯ;</p><p>б) системные показатели групп ИП или ПС — высокая вероятность развития НЯ.</p><p>3. «Неопределенный результат», если:</p><p>а) все группы — НЯ возможны;</p><p>б) группа ПС — высокая вероятность развития НЯ независимо от группового заключения группы ИП.</p><p>В случае получения неопределенного результата по данным группового и индивидуального анализа целесообразна экспертная оценка или повторное проведение исследования.</p></sec><sec><title>Заключение</title><p>Разработана методика углубленного изучения безопасности фармакотерапии на основе количественного интегрального анализа НЯ, которая представляет собой пятиэтапную индивидуализированную оценку выявленных нежелательных реакций. При проведении оценки каждому из событий присваивается определенный балл (весовой коэффициент) с последующей агрегацией данных для получения интегрального показателя на системно-органном и организменном уровнях и решением вопроса об отнесении каждого добровольца (субъекта исследования) к определенной группе в соответствии с вероятностью развития у него НЯ.</p><p>Следует отметить, что в настоящей статье авторы представили общие подходы к решению задачи индивидуального количественного анализа НЯ с использованием медико-статистических методов, используемых в других отраслях науки, в том числе биомедицинских исследованиях.</p><p>Разработанная методика может быть реализована в клинических исследованиях лекарственных препаратов с последующим сопоставлением полученных результатов с данными мониторинга фармакобезопасности этих же лекарственных препаратов на пострегистрационном этапе, реализуемого в рамках национальной системы фармаконадзора.</p><p>Вклад авторов. Все авторы подтверждают соответствие своего авторства критериям ICMJE. Наибольший вклад распределен следующим образом: А.Б. Верведа — концепция исследования, написание и редактирование текста рукописи; В.Б. Василюк — концепция исследования, проведение расчетов, редактирование текста рукописи; Г.И. Сыраева — концепция исследования, проведение расчетов, написание и редактирование текста рукописи; М.В. Фарапонова — обзор литературы, написание текста рукописи.</p><p>Authors’ contributions. All the authors confirm that they meet the ICMJE criteria for authorship. The most significant contributions were as follows. Aleksey B. Verveda elaborated the study concept, drafted and edited the manuscript. Vasiliy B. Vasilyuk elaborated the study concept, carried out calculations, and edited the manuscript. Gulnara I. Syraeva elaborated the study concept, carried out calculations, drafted and edited the manuscript. Mariia V. Faraponova reviewed the literature and drafted the manuscript.</p><p>1. Миронов АН, ред. Руководство по проведению доклинических исследований лекарственных средств. Ч. 1. М.: Гриф и К; 2012.
2. Clinical trials in Russia. Q1 2022 Research report. https://across.global/wp-content/uploads/2022/08/Synergy_Orange_Paper_RUS_2022Q1.pdf
3. Решение Совета Евразийской экономической комиссии от 03.11.2016 № 79 «Об утверждении Правил надлежащей клинической практики Евразийского экономического союза». ГОСТ Р 52379-2005 Надлежащая клиническая практика. М.: Стандартинформ; 2006.
4. Определение степени достоверности причинно-следственной связи «Неблагоприятная побочная реакция — лекарственное средство» (классификация и методы). Методические рекомендации. М.: Федеральная служба по надзору в сфере здравоохранения и социального развития; 2008.
5. Кричевец АН, Корнеев АА, Рассказова ЕИ. Основы статистики для психологов. М.: Акрополь; 2019.
6. https://academy.myeloma.org.uk/wp-content/uploads/2015/04/CTCAE_v5.pdf
7. Халафян АА. Статистический анализ данных. М.: БИНОМ; 2007.
8. Лисицына ЛС. Основы теории нечетких множеств. СПб.: Университет ИТМО; 2020.
9. Халина ВГ, Черновой ГВ. Системы поддержки принятия решений: учебник и практикум для бакалавриата и магистратуры. М.: Юрайт; 2016.Подиновский ВВ. Введение в теорию важности критериев в многокритериальных задачах принятия решений. М.: Физматлит; 2007.Тинякова ВИ. Математические методы обработки экспертной информации. Учебное пособие. Воронеж: Изд-во ВГУ; 2006.Пегат А. Нечеткое моделирование и управление. М.: БИНОМ. Лаборатория знаний; 2013.
10. ГОСТ 32296-2013 Методы испытания по воздействию химической продукции на организм человека. Основные требования к проведению испытаний по оценке острой токсичности при внутрижелудочном поступлении методом фиксированной дозы.
</p></sec></body><back><ref-list><title>References</title><ref id="cit1"><label>1</label><citation-alternatives><mixed-citation xml:lang="ru">Полозова ЕА. Современные аспекты управления рисками при проведении клинических исследований. Качественная клиническая практика. 2020;(1):45–52. https://doi.org/10.37489/2588-0519-2020-1-45-52</mixed-citation><mixed-citation xml:lang="en">Polozova EA. Current aspects of risk management in clinical trials. Good Clinical Practice. 2020;(1):45–52 (In Russ.). https://doi.org/10.37489/2588-0519-2020-1-45-52</mixed-citation></citation-alternatives></ref><ref id="cit2"><label>2</label><citation-alternatives><mixed-citation xml:lang="ru">Ушкалова ЕА, Зырянов СК, Гопиенко ИА. Воспроизведенные препараты: соотношение польза/риск. Неврология, нейропсихиатрия, психосоматика. 2021;13(6):98–104. https://doi.org/10.14412/2074-2711-2021-6-98-104</mixed-citation><mixed-citation xml:lang="en">Ushkalova EA, Zyryanov SK, Gopienko IA. Generic drugs: benefit/risk ratio. Neurology, Neuropsychiatry, Psychosomatics. 2021;13(6):98–104 (In Russ.). https://doi.org/10.14412/2074-2711-2021-6-98-104</mixed-citation></citation-alternatives></ref><ref id="cit3"><label>3</label><citation-alternatives><mixed-citation xml:lang="ru">Дилигенский НВ, Дымова ЛГ, Севастьянов ПВ. Нечеткое моделирование и многокритериальная оптимизация производственных систем в условиях неопределенности: технология, экономика, экология. М.: Машиностроение; 2004.</mixed-citation><mixed-citation xml:lang="en">Diligensky NV, Dymova LG, Sevastianov PV. Fuzzy modeling and multicriteria optimization of production systems under uncertainty: technology, economics, ecology. Moscow: Mashinostroenie; 2004 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit4"><label>4</label><citation-alternatives><mixed-citation xml:lang="ru">Подиновский ВВ, Потапов МА. Метод взвешенной суммы критериев в анализе многокритериальных решений: pro et contra. Бизнес-информатика. 2013;(3):41–8. EDN: RBWNYH</mixed-citation><mixed-citation xml:lang="en">Podinovsky VV, Potapov MA. Weighted sum method in the analysis of multicriterial decisions: pro et contra. Business-Informatics. 2013;(3):41–8 (In Russ.). EDN: RBWNYH</mixed-citation></citation-alternatives></ref><ref id="cit5"><label>5</label><citation-alternatives><mixed-citation xml:lang="ru">Дмитриев ВВ. Определение интегрального показателя состояния природного объекта как сложной системы. Общество. Среда. Развитие. 2009;(4):146–65. EDN: LDGDUB</mixed-citation><mixed-citation xml:lang="en">Dmitriev VV. Determination of an integrated indicator of the state of a natural object as a complex system. Society. Environment. Development. 2009;(4):146–65 (In Russ.). EDN: LDGDUB</mixed-citation></citation-alternatives></ref><ref id="cit6"><label>6</label><citation-alternatives><mixed-citation xml:lang="ru">Заде ЛА. Роль мягких вычислений и нечеткой логики в понимании, конструировании и развитии информационных/ интеллектуальных систем. Новости искусственного интеллекта. 2001;(2–3):7–11. EDN: LHAVBC</mixed-citation><mixed-citation xml:lang="en">Zadeh LA. The role of soft computing and fuzzy logic in understanding, designing, and developing information/intelligent systems. News of Artificial Intelligence. 2001;(2–3):7–11 (In Russ.). EDN: LHAVBC</mixed-citation></citation-alternatives></ref><ref id="cit7"><label>7</label><citation-alternatives><mixed-citation xml:lang="ru">Березовская ИВ. Прогноз безопасности лекарственных средств в доклинических токсикологических исследованиях. Токсикологический вестник. 2010;(5):17–22. EDN: TQUNAB</mixed-citation><mixed-citation xml:lang="en">Berezovskaya IV. Forecasting of medicinal products safety in preclinical toxicological studies. Toxicological Review. 2010;(5):17–22 (In Russ.). EDN: TQUNAB</mixed-citation></citation-alternatives></ref><ref id="cit8"><label>8</label><citation-alternatives><mixed-citation xml:lang="ru">Еремина НВ, Колик ЛГ, Островская РУ, Дурнев АД. Доклинические исследования нейротоксических свойств новых лекарственных препаратов in vivo. Ведомости Научного центра экспертизы средств медицинского применения. 2020;10(3):164–76. https://doi.org/10.30895/1991-2919-2020-10-3-164-176</mixed-citation><mixed-citation xml:lang="en">Eremina NV, Kolik LG, Ostrovskaya RU, Durnev AD. Preclinical in vivo neurotoxicity studies of drug candidates. Bulletin of the Scientific Centre for Expert Evaluation of Medicinal Products. 2020;10(3):164–76 (In Russ.). https://doi.org/10.30895/1991-2919-2020-10-3-164-176</mixed-citation></citation-alternatives></ref><ref id="cit9"><label>9</label><citation-alternatives><mixed-citation xml:lang="ru">Полещук ОМ. О развитии систем нечеткой информации на базе полных ортогональных семантических пространств. Лесной вестник. 2003;(1):112–7. EDN: HVYQBZ</mixed-citation><mixed-citation xml:lang="en">Poleshchuk OM. About the development of fuzzy information processing systems based on the entire orthogonal semantic spaces. Forest Bulletin. 2003;(1):112–7 (In Russ.). EDN: HVYQBZ</mixed-citation></citation-alternatives></ref><ref id="cit10"><label>10</label><citation-alternatives><mixed-citation xml:lang="ru">Каган ЕС. Построение комплексных нечетких оценок эффективности деятельности вуза и публичной формализации деятельности преподавателя. Известия Алтайского государственного университета. 2015;(1–1):152–7. https://doi.org/10.14258/izvasu(2015)1.1-27</mixed-citation><mixed-citation xml:lang="en">Kagan ES. Construction of comprehensive fuzzy evaluations of university activity effectiveness and lecturer activity public formalization. Izvestiya of Altai State University. 2015;(1–1):152–7 (In Russ.). https://doi.org/10.14258/izvasu(2015)1.1-27</mixed-citation></citation-alternatives></ref><ref id="cit11"><label>11</label><citation-alternatives><mixed-citation xml:lang="ru">Георгица ИВ, Кузнецова АВ. Представление знаний для системы подбора персонала на основе нечеткой логики. Современные проблемы науки и образования. 2015;(1–1):125. EDN: VIDUVB</mixed-citation><mixed-citation xml:lang="en">Georgitsa IV, Kuznetsova AV. Knowledge representation for fuzzy logic recruitment system. Modern Problems of Science and Education. 2015;(1–1):125 (In Russ.). EDN: VIDUVB</mixed-citation></citation-alternatives></ref><ref id="cit12"><label>12</label><citation-alternatives><mixed-citation xml:lang="ru">Фомина ЕЕ. Факторный анализ и категориальный метод главных компонент: сравнительный анализ и практическое применение для обработки результатов анкетирования. Гуманитарный вестник. 2017;(10):3. https://doi.org/10.18698/2306-8477-2017-10-473</mixed-citation><mixed-citation xml:lang="en">Fomina EE. Factor analysis and categorial principal component analysis: comparative analysis and practical application for processing of questionnaire survey results. Humanities Bulletin. 2017;(10):3 (In Russ.). https://doi.org/10.18698/2306-8477-2017-10-473</mixed-citation></citation-alternatives></ref><ref id="cit13"><label>13</label><citation-alternatives><mixed-citation xml:lang="ru">Ильясов ФН. Шкалы и специфика социологического измерения. Мониторинг общественного мнения: Экономические и социальные перемены. 2014;(1):3–16. EDN: RYFKIP</mixed-citation><mixed-citation xml:lang="en">Iliassov FN. Scales and specific sociological mea surement. Monitoring of Public Opinion: Economic and Social Changes Journal. 2014;(1):3–16 (In Russ.). EDN: RYFKIP</mixed-citation></citation-alternatives></ref><ref id="cit14"><label>14</label><citation-alternatives><mixed-citation xml:lang="ru">Горбач АН, Цейтлин НА. Покупательское поведение: анализ спонтанных последовательностей и регрессионных моделей в маркетинговых исследованиях. Киев: Освiта Украiны; 2011.</mixed-citation><mixed-citation xml:lang="en">Gorbach AN, Tseytlin NA. Buying behavior: analysis of spontaneous sequences and regression models in marketing research. Kiev: Osvita Ukrainy; 2011 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit15"><label>15</label><citation-alternatives><mixed-citation xml:lang="ru">Harrington E.C. The desirability function. Industrial Quality Control. 1965;21(10):494–8.</mixed-citation><mixed-citation xml:lang="en">Harrington E.C. The desirability function. Industrial Quality Control. 1965;21(10):494–8.</mixed-citation></citation-alternatives></ref><ref id="cit16"><label>16</label><citation-alternatives><mixed-citation xml:lang="ru">Полещук ОМ. Построение интегральных моделей в рамках нечеткой экспертной информации. Лесной вестник. 2003;(5):155–9. EDN: HVGLNV</mixed-citation><mixed-citation xml:lang="en">Poleshchuk OM. Construction of integrated models within the framework of fuzzy expert information. Forest Bulletin. 2003;(5):155–9 (In Russ.). EDN: HVGLNV</mixed-citation></citation-alternatives></ref><ref id="cit17"><label>17</label><citation-alternatives><mixed-citation xml:lang="ru">Полещук ОМ. Методы представления экспертной информации в виде совокупности терм-множеств полных ортогональных семантических пространств. Лесной вестник. 2002;(5):198–216. EDN: HVYPDT</mixed-citation><mixed-citation xml:lang="en">Poleshchuk OM. Methods for presenting expert information as a set of term-sets of complete orthogonal semantic spaces. Forest Bulletin. 2002;(5):198–216 (In Russ.). EDN: HVYPDT</mixed-citation></citation-alternatives></ref><ref id="cit18"><label>18</label><citation-alternatives><mixed-citation xml:lang="ru">Адлер ЮП, Маркова ЕВ, Грановский ЮВ. Планирование эксперимента при поиске оптимальных условий. М.: Наука; 1976.</mixed-citation><mixed-citation xml:lang="en">Adler YuP, Markova EV, Granovsky YuV. Planning an experiment in the search for optimal conditions. Moscow: Nauka; 1976 (In Russ.).</mixed-citation></citation-alternatives></ref><ref id="cit19"><label>19</label><citation-alternatives><mixed-citation xml:lang="ru">Дюйзен ЕЮ. Метод экспертного оценивания: руководство к действию. Креативная экономика. 2014;(2):24–34. EDN: RXPBFD</mixed-citation><mixed-citation xml:lang="en">Dyuyzen EYu. Method of expert assessment: practical guidance. Creative Economics. 2014;(2):24–34 (In Russ.). EDN: RXPBFD</mixed-citation></citation-alternatives></ref><ref id="cit20"><label>20</label><citation-alternatives><mixed-citation xml:lang="ru">Макарова ИЛ. Анализ методов определения весовых коэффициентов в интегральном показателе общественного здоровья. Символ науки. 2015; (7–1):87–95. EDN: UCVXVR</mixed-citation><mixed-citation xml:lang="en">Makarova IL. Methods for the analysis of weight coefficients in the integral indicator of public health. Symbol of Science. 2015;(7–1):87–95 (In Russ.). EDN: UCVXVR</mixed-citation></citation-alternatives></ref><ref id="cit21"><label>21</label><citation-alternatives><mixed-citation xml:lang="ru">Сыраева ГИ, Колбин АС, Сергеева ТА, Мишинова CА. Регистрация сообщений о нежелательных лекарственных реакциях при лечении COVID-19 в Российской Федерации и США. Клиническая фармакология и терапия. 2022;31(1):91–6. EDN: YDXKLG</mixed-citation><mixed-citation xml:lang="en">Sirayeva GI, Kolbin AS, Sergeeva TA, Mishinova SA. Reporting of drug adverse reactions during treatment of COVID-19 in the Russian Federation and the United States. Clinical Pharmacology and Therapy. 2022;31(1):91–6 (In Russ.). EDN: YDXKLG</mixed-citation></citation-alternatives></ref><ref id="cit22"><label>22</label><citation-alternatives><mixed-citation xml:lang="ru">Клюшников ЕВ, Шитова ЕМ. Методические подходы к расчету интегрального показателя. Методы ранжирования. ИнноЦентр. 2016;(1):4–18. EDN: YHWMIL</mixed-citation><mixed-citation xml:lang="en">Klyushnikov EV, Shitova EM. Methodological approaches to calculation of integral index, ranking methods. InnoCentre. 2016;(1):4–18 (In Russ.). EDN: YHWMIL</mixed-citation></citation-alternatives></ref></ref-list><fn-group><fn fn-type="conflict"><p>The authors declare that there are no conflicts of interest present.</p></fn></fn-group></back></article>
