Студенти спеціальності 163 Біомедичної інженерії 3.05.2023 побували на дуже цікавому заході, подивилися на роботу «зсередини» інжинірингової компанії Esper Bionics – це hardware-стартап, який розробляє IoT-пристрої у сфері протезування. Зараз команда розробляє роборуку з інтуїтивним контролем Esper Hand.
Esper Hand (роборука) — це рухома частина протезу, яка складається з кисті з пальцями та променево-зап’ясткового суглоба. Вона точно визначає м'язову активність, розпізнає ситуації та прогнозує захоплення, яке буде відповідати певному контексту. Чим більше її використовують, тим швидше і точніше вона стає.
Коли користувач намагається рухати еспер-рукою, його мозок посилає імпульси для активації певних м'язів передпліччя, плеча чи грудей. Ця активація виявляється за допомогою м'язових датчиків (носимих, а не імплантатів). Щоб навчити протез "людським" рухам, а також для зменшення шуму, усунення проблем з пітливістю та рухом та для вивчення поведінки користувача з часом використовують математичні методи цифрової обробки сигналів (DSP), методи машинного навчання (ML), штучний інтелект (AI). Машинне навчання потрібне для більш складного, інтуїтивного управління протезом — коли девайс вивчає поведінку користувача, допомагає йому обрати потрібний хват наперед та зменшує кількість неправильних активацій.
Різноманітні дані: з м’язових сенсорів, енкодерів, сенсорів струму; дані щодо положення, прискорення; датчиків температури, сенсорів батареї тощо пакетом періодично йде на сервер. Наразі, проводяться експерименти з частотою відсилання сигналів від 100 Гц. Протез передає дані через bluetooth на додаток, з додатку вони йдуть на сервер через мобільний інтернет або wi-fi. Сервер бачить, в яких ситуаціях який хват використовувала людина, і поступово оновлює схему управління протезом.
Для кращого управління протезами застосовують сучасні технології збору даних, малопотужну електроніку та проектування легкої рухомої техніки. На цьому етапі пристрої Esper контролюються датчиками електроміографії ЕМГ і налаштовуються на моделі поведінки кожного користувача.
Всього в Esper Hand 288 унікальних компонентів, а саме 142 металевих, 130 пластикових та 16 силіконових елементів. Рука виготовляється методом лиття, фрезерування та багатострум-инного фьюжн-друку (MJF).
З чого складається розробка Ester Bionics?
Куксоприймач – потрібен для кріплення біонічної кисті до руки. Це «ковпак», який одягають на куксу (залишок руки після ампутації). Всередині куксоприймача є сенсори м’язової активності — датчики.
Міосенсори –датчики, що кріпляться до куксоприймача. Вони працюють за EMG-технологією, зчитують сигнали з м'язів руки та передають сигнали на протез.
Esper Bionics розробили власні цифрові датчики, які швидше та краще зчитують сигнал і передають його на смартфон за частки секунди
Біонічна кисть – головна "залізна" частина розробки. Усередині кисті знаходиться плата з моторчиками, які приводять руку в рух, а також металеві елементи, які роблять кисть більш міцною. Плату розробляли інженери команди. Кисть важить близько 450 г – це приблизно відповідає реальній вазі людської кисті. У новій версії руки використовується міцніший пластик, завдяки якому власник кисті зможе навіть віджиматися.
Мобільний додаток – у додаток надходить інформація з датчиків. Також з його допомогою можна налаштовувати руку: змінювати швидкість реакції, додавати та видаляти нові хвати. За замовчуванням їх кілька: щоб брати та пересувати предмети, писати, ходити вулицями тощо.
Хмарна платформа – дані із програми надходять у хмару. Рухи користувача аналізують, щоб покращувати алгоритм керування рукою, а також збирати корисні для протезистів дані. У майбутньому розробники планують збирати базу даних про рух людей та створювати більш просунуті датчики та біонічні протези.
Дмитро Газда, CEO та засновник Esper Bionics та Аня Белєванцева, COO та співзасновниця компанії*
За словами Дмитра Газди, CEO та засновника стартапу:
Біонічні протези, які є на ринку, здебільшого керуються двома великими групами м’язів — згиначами та розгиначами. Це все одно що керувати складним багатофункціональним девайсом за допомогою двох кнопок, незручно й керування перетворюється на азбуку Морзе. У Esper Hand більше м’язових сенсорів власної розробки та більш розвинуте програмне забезпечення, тому протез може виявляти скорочення окремих менших м’язів. Користувач має не дві кнопки, а 20. Відповідно керування протезом суттєво пришвидшується.
Загалом весь ринок протезування застарілий. Людям встановлюють девайси з базовим програмним забезпеченням. Це не IoT-пристрої: вони не збирають дані, не навчаються, не надсилають діагностичні дані протезисту і здебільшого не оновлюються віддалено. Це — переваги нашого програмного забезпечення, але є і переваги в самому обладнанні, в hardware-частині.
У нас є захист від води і змінний (modular) дизайн. Девайс складається з 10 модулів, тож якщо якась частина вийшла з ладу, її можна замінити. Наприклад, можна вийняти палець і поставити новий — це займе менше п’яти хвилин. Для користувачів важлива вага і сам дизайн пристрою. Роборука красиво оформлена, максимально наближена до біологічної руки людини. У минулому році Esper Hand отримала Red Dot Award: Best of the Best 2022, одну з найпрестижніших нагород у сфері дизайну у світі. Власна лабораторія проводить випробування на. спеціально створених тестових машинах, які «мучили» продукт. Це були девайси для тестування різних характеристик протезу. Тестували, наприклад, витривалість пальців (понад 100 тисяч згинань і розгинань), яку вагу може підіймати окремий палець та вся рука тощо. Оскільки у нас зростатиме кількість українських користувачів продукту, треба розбудувати повноцінний сервіс для підтримки клієнтів.
Отже, пристрої Esper – це контролери нового покоління і допоміжні пристрої, що носяться, в яких поєднання мислення і почуття призводить до точного руху, передбаченого заздалегідь.
Наразі продукція Esper Bionics затребувана кількома найбільшими протезними клініками США та у скрутні воєнні часи надається можливість встановлювати протези і в Україні.
Студенти не тільки побачили на власні очі, але й відчули, скільки знань потрібно мати, щоб стати сучасним фахівцем у біомедичній інженерії, зокрема, з мехатроніки, IoT-датчиків, сучасної електроніки, програмного забезпечення на базі машинного навчання для точного виявлення сигналу та з реалізацією алгоритму прогнозування, зокрема DSP тощо. Необхідні компетентності з Data Science, механіки, ведення бізнесу, з виробництва та складання протезів.
Для набування сучасних компетентностей слід впроваджувати такі дисципліни як штучний інтелект, штучні органи, зокрема технології протезування тощо. У цьому можуть допомогти також навчальні ресурси для самостійного набування сучасними навичками.
Українська (Україна) 
English (United Kingdom)