سلام استاد وقتتون بخیر
من نیاز دارم که از بین تعداد زیادی کلمه تشخیص بدم که کدام یک از آنها کلمه معنی دار فارسی است و کدام یک معنی ندارد. آیا برای این موضوع کتابخانه خاصی وجود دارد؟ اگر نیست لطفا من رو راهنمایی کنید که چطور میتونم این موضوع رو انجام بدم.
تشکر
سلام و خسته نباشید
اول بهتر است که تعداد زیادی کلمهی فارسی معتبر پیدا کرده و در کنار یک سری کلمهی نامعتبر به الگوریتم بدهید. در واقع اینجا الگوریتم شما دو کلاسه (دو لیبل) خواهد شد
برای این کار شاید بهتر باشد با استفاده از شبکههای عصبی عمیق (که در فصلهای جلوتر آموزش داده شده است)، هر کلمه را به کاراکترهای تشکیل دهندهی آن بشکنید و یک مجموعهای از کلمات معنادار فارسی را به صورت ترتیبی به آن بدهید. به این صورت الگوریتم یاد میگیرد که کدام کاراکترهای پشت سر هم احتمالا بتوانند تشکیل کلمهی فارسی معتبر دهند و کدامها نمیتوانند
در صورتیکه نیاز به راهنمایی بیشتر دارید بگویید تا در یک ویدیوی آموزشی این کار را برای بچهها و شما انجام دهم چون آموزش جالبی میشود