Speech Foundation Models Generalize to Time Series Tasks from Wearable Sensor Data

Обобщение речевых фундаментальных моделей на задачи временных рядов данных носимых датчиков В статье исследуются возможности обобщения речевых фундаментальных моделей на задачи временных рядов с использованием данных носимых датчиков. Показано, что модели, такие как HuBERT и wav2vec 2.0, предварительно обученные на речевых данных, могут достигать передовых результатов в различных задачах временных рядов, включая классификацию настроения, обнаружение аритмии и классификацию активности. Сверточные кодировщики признаков этих речевых моделей особенно эффективны для приложений носимых датчиков. Подход включает использование этих моделей в качестве экстракторов признаков и обучение проб на извлеченных признаках. Результаты показывают улучшение производительности по сравнению с моделями, обученными непосредственно на наборах данных, специфичных для конкретной модальности, особенно в сценариях с нехваткой данных. Это исследование предполагает потенциал для разработки обобщенных моделей временных рядов, которые могут объединить речевую и сенсорную модальности, улучшая вычислительную эффективность в мультимодальных системах. #Обобщение #apple отправить донаты: USDT: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 BTC: bc1q8972egrt38f5ye5klv3yye0996k2jjsz2zthpr ETH: 0xAA7B976c6A9A7ccC97A3B55B7fb353b6Cc8D1ef7 SOL: DXnz1nd6oVm7evDJk25Z2wFSstEH8mcA1dzWDCVjUj9e создано с помощью NotebookLM