عنوان مقاله فارسی: حداکثر چارچوب آنتروپی برای یادگیری نیمه نظارت و فعال با کلاسهای ناشناخته و ناچیز

عنوان مقاله لاتین: A Maximum Entropy Framework for Semisupervised and Active Learning With Unknown and Label-Scarce Classes

نویسندگان: Zhicong Qiu; David J. Miller; George Kesidis

تعداد صفحات: 16

سال انتشار: 2017

زبان: لاتین

Abstract:

We investigate semisupervised learning (SL) and pool-based active learning (AL) of a classifier for domains with label-scarce (LS) and unknown categories, i.e., defined categories for which there are initially no labeled examples. This scenario manifests, e.g., when a category is rare, or expensive to label. There are several learning issues when there are unknown categories: 1) it is a priori unknown which subset of (possibly many) measured features are needed to discriminate unknown from common classes and 2) label scarcity suggests that overtraining is a concern. Our classifier exploits the inductive bias that an unknown class consists of the subset of the unlabeled pool's samples that are atypical (relative to the common classes) with respect to certain key (albeit a priori unknown) features and feature interactions. Accordingly, we treat negative log-p-values on raw features as nonnegatively weighted derived feature inputs to our class posterior, with zero weights identifying irrelevant features. Through a hierarchical class posterior, our model accommodates multiple common classes, multiple LS classes, and unknown classes. For learning, we propose a novel semisupervised objective customized for the LS/unknown category scenarios. While several works minimize class decision uncertainty on unlabeled samples, we instead preserve this uncertainty [maximum entropy (maxEnt)] to avoid overtraining. Our experiments on a variety of UCI Machine learning (ML) domains show: 1) the use of p-value features coupled with weight constraints leads to sparse solutions and gives significant improvement over the use of raw features and 2) for LS SL and AL, unlabeled samples are helpful, and should be used to preserve decision uncertainty (maxEnt), rather than to minimize it, especially during the early stages of AL. Our AL system, leveraging a novel sample-selection scheme, discovers unknown classes and discriminates LS classes from common ones, with sparing use of oracle labeling.

ما یادگیری (SL)و یادگیری فعال مبتنی بر مخزن (AL)یک طبقه‌بندی کننده را برای دامنه‌های با نامعینی برچسب (LS)و مقوله‌های ناشناخته بررسی می‌کنیم، یعنی دسته‌بندی‌های تعریف‌شده‌ای که در ابتدا هیچ نمونه برچسب گذاری شده‌ای برای آن‌ها وجود ندارد. این سناریو، برای مثال، زمانی که یک گروه نادر است یا برچسب زدن آن گران است، آشکار می‌شود. هنگامی که دسته‌های ناشناخته وجود دارند، مسائل یادگیری متعددی وجود دارند: ۱)این یک امر بدیهی است که کدام زیرمجموعه از ویژگی‌های اندازه‌گیری شده (احتمالا بسیاری)برای تمایز ویژگی‌های ناشناخته از کلاس‌های معمول مورد نیاز هستند و ۲)کمبود برچسب نشان می‌دهد که آموزش بیش از حد یک نگرانی است. طبقه‌بندی کننده ما از اریبی القایی استفاده می‌کند که یک کلاس ناشناخته متشکل از زیرمجموعه‌ای از نمونه‌های بدون برچسب پولیو است که نسبت به کلاس‌های رایج، غیر معمول (نسبت به کلاس‌های مشترک)با توجه به ویژگی‌های کلید خاص (البته ناشناخته)و تعاملات ویژگی هستند. بر این اساس، ما مقادیر log - p منفی روی ویژگی‌های خام را به عنوان ورودی‌های ویژگی وزن دار غیر منفی به کلاس خلفی خود در نظر می‌گیریم، با وزن‌های صفر که ویژگی‌های غیر مرتبط را شناسایی می‌کنند. از طریق یک کلاس سلسله مراتبی خلفی، مدل ما کلاس‌های مشترک چندگانه، کلاس‌های LS چندگانه و کلاس‌های ناشناخته را در خود جای داده‌است. برای یادگیری، ما یک هدف جدید با دامنه پایین سفارشی شده برای سناریوهای دسته LS / ناشناخته را پیشنهاد می‌کنیم. در حالی که چندین کار عدم قطعیت تصمیم‌گیری کلاس را در نمونه‌های بدون برچسب به حداقل می‌رساند، ما در عوض این عدم قطعیت [ حداکثر آنتروپی (maxEnt)] را برای جلوگیری از آموزش بیش از حد حفظ می‌کنیم. آزمایش‌ها ما بر روی انواع حوزه‌های یادگیری ماشینی UCI (ML)نشان می‌دهد: ۱)استفاده از ویژگی‌های p - value همراه با محدودیت‌های وزنی منجر به راه‌حل‌های پراکنده می‌شود و بهبود قابل‌توجهی نسبت به استفاده از ویژگی‌های خام می‌دهد و ۲)برای LS SL و AL، نمونه‌های بدون برچسب مفید هستند و باید برای حفظ عدم قطعیت تصمیم (maxEnt)به جای به حداقل رساندن آن، به خصوص در مراحل اولیه AL استفاده شوند. سیستم AL ما، با استفاده از یک طرح انتخاب نمونه جدید، کلاس‌های ناشناخته را کشف می‌کند و کلاس‌های LS را از کلاس‌های معمول متمایز می‌کند، با استفاده از برچسب زدن ارکل.