فریم‌ورک Vision اپل، مجموعه‌ای از الگوریتم‌های یادگیری ماشینی در حوزه‌ی بینایی ماشین را فراهم می‌کند که می‌توانند تصاویر ورودی و ویدئوها را تجزیه‌‌و‌تحلیل کنند. این الگوریتم‌ها می‌توانند برای شناسایی اشیاء، چهره و «نشانه‌های چهره» مانند چشم‌ها، بینی و دهان استفاده شوند. همچنین این توابع می‌توانند به‌راحتی متن و بارکد، تصاویر مستطیل شکل برای شناسایی اسناد یا علائم و خط افق را شناسایی کنند یا برای ایجاد نقشه‌ی حرارتی مناطقی از عکس که احتمالا بیش از سایر قسمت‌ها نظر افراد را جلب می‌کند، «تجزیه‌و‌تحلیل برجستگی (saliency analysis)» را انجام دهند.

فریم‌ورک Vision می‌تواند از مدل‌های سفارشی‌شده‌ی Core ML برای انجام وظایفی مانند طبقه‌بندی یا شناسایی اجسام و جانداران، شامل تشخیص انسان یا حیوانات در یک تصویر استفاده کند. براساس توییت یکی از توسعه‌دهندگان iOS به‌نام فرانک کروگر، در فهرست API-‌های اپل برای iOS 13 ،iPadOS 13 ،tvOS 13 و macOS Catalina دو مورد جدید VNAnimalDetectorCat و VNAnimalDetectorDog دیده می‌شود که صرفا برای شناسایی سگ‌ها و گربه‌ها به‌کار می‌رود.

اپل چندین سال است که یادگیری ماشین را در اپلیکیشن Photos به‌کار می‌گیرد. این قابلیت می‌تواند طیف گسترده‌ای از اشیاء را در آلبوم عکس‌ها شناسایی کند و آن‌ها را به‌عنوان افراد، اشیاء و حیوانات شناسایی‌شده برچسب بزند. حتی می‌تواند با استفاده از هوش مصنوعی و قرار دادن عکس‌ها درکنار هم، آنچه را که در تصویر اتفاق می‌افتد، نشان دهد. برای نمونه، می‌توان به شناسایی تصاویر مربوط‌به تابستان از تصاویر مربوط‌به ناهارخوری، کنسرت، سفر، تولد، پارک‌ها، بازدید از موزه‌ها و مراسم عروسی اشاره کرد.

اپل بسیاری از قابلیت‌های داخلی یادگیری ماشین خود را در قالب فریم‌ورک‌های جدید و گسترش‌یافته، شامل Vision ،Natural Language و Speech در اختیار توسعه‌دهندگان می‌گذارد تا بدین ترتیب اپلیکیشن‌های آن‌ها نیز به‌اندازه‌ی اپلیکیشن‌های اپل هوشمند باشد.

مک به‌عنوان خالق یادگیری ماشین

با استفاده از ابزارهای توسعه Xcode 11 اپل که درحال‌حاضر روی macOS کاتالینا نیز قابل اجرا است، توسعه‌دهندگان می‌توانند با استفاده از ابزار جدید Create ML، بدون اتکا به سرور یادگیری مدل و تنها به‌کمک کتابخانه‌های نمونه‌داده روی کامپیوترشان، مدل‌های یادگیری ماشین خود را توسعه و آموزش دهند. به‌لطف پشتیبانی مک از کارت‌های گرافیک اکسترنال، اکنون می‌توان برای آموزش مدل‌های ML پیچیده حتی از GPU-‌های اکسترنال قدرتمند موجود در بازار نیز بهره برد.

به موازات ARKit و Reality Composer برای ساخت محتوای واقعیت افزوده، ابزار جدید Create ML درهای جدیدی به روی توسعه‌ی اپلیکیشن‌های خلاقانه‌ای برای مک و iOS‌ می‌گشاید؛ اپلیکیشن‌هایی هوشمند که به‌مرور زمان رشد می‌کنند و توسعه می‌یابند. اپل با macOS Catalina سعی دارد تا این ابزارها هم قدرتمند باشند و هم به آسانی مورد استفاده قرار بگیرند.

اکنون دستگاه‌های مبتنی بر iOS 13 و iPadOS 13 نه‌تنها قابلیت اجرای محلی یادگیری ماشین را دارند؛ بلکه امکان شخصی‌سازی مدل‌های یادگیری ماشین را نیز فراهم می‌کنند تا بدین ترتیب اپلیکیشن‌ها با سلایق و روزمرگی کاربران آشنا شوند و خود را با آن‌ها وفق دهند. ناگفته نماند که اپلیکیشن‌ها برای دستیابی به چنین قابلیتی از همان سازوکاری بهره می‌برند که فیس آیدی برای سازگار شدن با تغییرات ظاهری چهره‌ی کاربر استفاده می‌کند.

فرایند یادگیری محلی برای هر کاربر کاملا خصوصی است، بنابراین کاربر نگران دسترسی اپلیکیشن‌ها به اطلاعات شخصی او، جمع‌آوری و ارسال آن‌ها به سرورهای فیسبوک یا یاهو نخواهد بود.

توجه داشته باشید که خود اپل از ابزار پیشرفته‌ی ML در Siri Intelligence، اپلیکیشن Photos و اپلیکیشن‌های رسانه‌ای جدید از جمله Podcasts استفاده می‌کند. یادگیری ماشین به کاربران امکان کشف موضوعات و اپلیکیشن‌های مختلف را می‌دهد، ضمن اینکه اپلیکیشن‌های دیگری از جمله Reminders در iOS 13 و Catalina از یادگیری ماشین برای ارائه‌ی پیشنهادهای مختلف بهره می‌برند.