صفحه 1 از 5 1234 ... آخرينآخرين
نمايش نتايج 1 تا 10 از 47

تاپیک: داده کاوی (Data Mining)

  1. #1
    عضو فعال آواتار Kaizen
    رشته
    مهندسی صنایع
    تاريخ عضويت
    2008/3
    محل سكونت
    همدان
    امتیاز
    415
    پست ها
    97

    Star داده کاوی (Data Mining)

    معرفي دانش داده کاوی

    دانش داده کاوی یکی از ده دانش در حال توسعه ای است که دهه آینده را با انقلاب تکنولوژیک مواجه خواهد ساخت و بدین رو در سالهای اخیر در دنیا گسترش فوق العاده سریعی داشته است. امروزه در دنیای توسعه یافته مکان و موضوعی بدون بهره از دانش داده کاوی یافت نمیشود بگونه ایکه این دانش در تمامی شئون این کشور ها و در تمامی حوزه ها نقش دارد.

    دانش داده کاوی فرآیند کشف دانش پنهان درون داده ها است که با برخورداری از دامنه وسیع زیرزمینه های تخصصی با توصیف، تشریح، پیش بینی و کنترل پدیده های گوناگون پیرامونی، امروزه دارای کاربرد بسیار وسیع در حوزه های مختلف از جمله صنعتی، پزشکی، ارتباطات، کشاورزی، انرژی، علوم اجتماعی، فرهنگی، سیاسی، اقتصادی، بازرگانی، نظامی و آموزشی و ... است بگونه ایکه امروزه مرز و محدودیتی برای کاربرد این دانش در نظر گرفته نشده و زمینه های کاری این دانش را در تمامی عرصه های برخوردار از داده می دانند.

    در طول دهه گذشته حجم زیادی از داده ها در پایگاه داده ها انباشته و ذخیره شده اند و نتیجه این انباشتگی این است که سازمان ها در داده غنی ولی در کسب دانش بسیار ضعیف می باشند. امروزه میزان داده های در دسترس هر 5 سال دو برابر می شود و سازمانی توانا است که قادر باشد حداقل 7 درصد از اطلاعاتش را مدیریت نماید. تحقیقات انجام یافته نشان از آن دارد که سازمان ها امروزه کمتر از یک درصد از داده هایشان را برای تحلیل استفاده می نمایند. بعبارت دیگر امروزه سازمان ها در اطلاعات غرق شده اند در حالیکه گرسنه دانش هستند چرا که سازمان ها داده های زیادی را در تصرف خود دارند درحالیکه هنوز با فقدان دانش پنهان درون داده ها مواجه هستند.

    امروزه با توجه به تنوع زیاد مخاطبین، مشتریان، بازارها، تنوع و پیچیدگی خدمات و محیطهای کسب و کار، دسترسی به اطلاعات مناسب برای تصمیم گیری صحیح ضروری می باشد. از این‌رو استفاده از راهکار های مناسب برای طبقه بندی و تولید اطلاعات از میان انبوهی از داده ها برای سازمان ها امری ضروری و حیاتی است. علم داده کاوی پاسخی به این نیاز به منظور کشف دانش پنهان داده‌ها و تامین اطلاعات مورد نیاز مدیران می‌باشد. دانش داده کاوی ابزاری است که مدیران را قادر می سازد تا سریع تر نسبت به آینده عمل نمایند، فعال باشند بجای آنکه واکنش پذیر باشند و بدانند و مطمئن باشند بجای آنکه حدس بزنند . واضح است که با داشتن این قابلیت، سازمان ها قادر می باشند دانش ارزشمندی را از داده هایشان بدست آورند.

    دانش داده کاوی سازمانها را قادر می سازد تا از سرمایه داده هایشان بهره برداری نمایند . این ابزار برای پشتیبان فرایند تصمیم گیری استفاده می گردد. داده کاوی با پردازش جامع داده و انجام فرایند تصمیم سازی از طریق استخراج دانش با ارزش از داده، تصمیم گیری را برای مدیران سازمان تسهیل می نماید.
    Success is A Choice Not A Chance
    موفقيت يك انتخاب است ، نه يك شانس


  2. تشكرها از اين پست


  3. #2
    عضو فعال آواتار Kaizen
    رشته
    مهندسی صنایع
    تاريخ عضويت
    2008/3
    محل سكونت
    همدان
    امتیاز
    415
    پست ها
    97

    پيش فرض

    دومین کنفرانس داده کاوی ایران
    21 و 22 آبان 1387
    آدرس وب سایت : [مشاهده ی لینک ها فقط برای اعضا امکان پذیر است. ]
    Success is A Choice Not A Chance
    موفقيت يك انتخاب است ، نه يك شانس


  4. #3
    عضو فعال آواتار Kaizen
    رشته
    مهندسی صنایع
    تاريخ عضويت
    2008/3
    محل سكونت
    همدان
    امتیاز
    415
    پست ها
    97

    Heart پروژه داده کاوی برای ازدواج

    پروژه داده کاوی پیوند
    [مشاهده ی لینک ها فقط برای اعضا امکان پذیر است. ]

    » تاپیکی در همین رابطه : [مشاهده ی لینک ها فقط برای اعضا امکان پذیر است. ]
    Success is A Choice Not A Chance
    موفقيت يك انتخاب است ، نه يك شانس


  5. #4
    مدیر بازنشسته آواتار bardinova
    رشته
    مهندسی صنایع
    تاريخ عضويت
    2007/4
    محل سكونت
    Tehran
    امتیاز
    947
    پست ها
    340

    پيش فرض

    مطلب جالبی بود . چیزی در موردش نشنیده بودم . ممنون .

  6. تشكر از اين پست


  7. #5
    تازه وارد
    رشته
    غیر مهندسی
    تاريخ عضويت
    2009/6
    امتیاز
    10
    پست ها
    1

    پيش فرض

    نقل قول نوشته اصلي بوسيله Kaizen نمايش پست
    دومین کنفرانس داده کاوی ایران
    21 و 22 آبان 1387
    آدرس وب سایت : [مشاهده ی لینک ها فقط برای اعضا امکان پذیر است. ]

    من ليست مقالات دومين كنفرانس داده كاوي رو ميخوام.
    تو google، جستجو كردم، فقط ليست مقالات اولين كنفرانس رو پيدا كردم.
    لطفا كمكم كنين.

  8. #6
    عضو آواتار reza-ie
    رشته
    مهندسی صنایع
    تاريخ عضويت
    2008/5
    محل سكونت
    شیراز
    امتیاز
    69
    پست ها
    35

    پيش فرض

    گزیده ای از سخنان پروفسور نخعی زاده
    عنوان سخنرانی: Data Mining
    تاریخ سخنرانی: 5/9/86
    Why Data Mining?
    Data mining برخاسته از هوش مصنوعیست و برای تجزیه و تحلیل حجم زیاد داده ها که روشهای آماری قادر به جوابگویی آن نیستند، مورد استفاده قرار می گیرد.
    مثال1) در شرکت بنز آلمان، در بخش کنترل کیفیت، تمامی مشخصات تک تک ماشین ها ثبت می شود و بعد از مدت زمان طولانی کارمندان با تعداد زیادی داده سر و کار دارند.
    مثال 2) در علوم هم نمونه های زیادی برای به کار گیری Data Mining وجود دارد. نظیر اطلاعات بسیار کثیری که یک ماهواره از فضا مخابره می کند.
    در حقیقت لازمه ی Data mining سرمایه گذاری برای جمع آوری داده ها و دسترسی آسان به داده هاست.

    vشما می توانید با یک جستجو در اینترنت با عنوان:
    The largest Databases in the world
    به جدولی شامل 10 Database قوی در جهان دست یابید. بطور مثال: یک مورد آن مرکز هواشناسی آلمان و مورد دیگر آن مرکز داده های جهانی است. سومین مورد مربوط به علم فیزیک می باشد که دانشمندان با تعداد کثیری از داده ها، سعی در کشف نحوه ی ایجاد جهان هستی داشته و در مورد مسائلی نظیر ماده و پارا ماده در حال کاوش هستند. مورد چهارم YouTube است که گنجینه ی ویدیویی است در رابطه با انواع موضوعات. (ویدیوی کلاسهای آموزشی Data Mining هم در این سایت وجود دارد.)

    What is Data Mining?
    Data mining یک قسمت از Knowing Discovery in Database (KDD) است اما امروزه این دو به صورت موازی استفاده می شوند. در حقیقت مقصود از Data mining یافتن الگویی در اعداد و داده هاست تا با استفاده از آن قادر باشیم رفتار بقیه داده ها را نیز پیش بینی کنیم.
    این الگو می بایست 4 ویژگی داشته باشد:
    1)قابل دسترس باشد
    2)مفید باشد
    3)جدید باشد
    4)قابل درک باشد
    مثال) در یک سوپرمارکت الگویی از روی داده ها ارائه می شود که می گوید کدام دو محصول در اغلب اوقات با هم خریداری می شوند.

    Data Mining فرآیندی است که به ابزارهای زیر نیاز دارد: (ریشه های DM)
    1)Database Technology
    2)Statistics
    3)Artificial Intelligence (دانشمندان این رشته با روشهای متفاوت به تنایج یکسانی با دانشمندان آمار رسیده اند.)
    4)Visualization (که همان تصویر سازی است. این بخش برای مدیران بسیار جالب است که مثلا گزارش کل عملکردهای قسمتهای مختلف کارخانه را بصورت نمودار بر روی دیوار اتاق خود نصب کنند.)
    5)Privacy (تضاد منابع. مثلا اشخاص مایل نیستند که درآمد حقیقی خود را بگویند، در این صورت Data Miner ها، اعداد را گمنام می کنند تا کسی متوجه درآمد شخص مورد نظر نشود و در عین حال بتواند از داده های درست استفاده کند. اینکه چگونه داده ها گمنام شوند که اطلاعات زیادی از دست نرود در این قسمت بررسی می شود.)
    دو مورد دیگر Mining یا همان کاوش و تجزیه و تحلیل Text ها و Web هاست که امروزه با انفجار اطلاعات، بسیار مورد استفاده قرار می گیرد. بطور مثال سایت آمازون تمامی اطلاعات کاربرانی که به این سایت مراجعه می کنند را ثبت می کند و از این داده ها در جهت بهبود عملکرد خود بهره می گیرد که با خیل عظیم داده ها، این کار جز با web mining امکان پذیر نمی باشد.

    امروزه ترکیب Data mining، Text miningو Web mining با نام Information mining شناخته می شود.

    ويرايش شده توسط reza-ie در 2009/8/07 در ساعت 01:16 PM

  9. تشكرها از اين پست


  10. #7
    عضو آواتار reza-ie
    رشته
    مهندسی صنایع
    تاريخ عضويت
    2008/5
    محل سكونت
    شیراز
    امتیاز
    69
    پست ها
    35

    پيش فرض

    سیستم Data Mining:
    تعدادی داده در هر یک از operation system ها وجود دارد که از هم جدا هستند و شاید مکان های متفاوتی نیز باشند که روزانه قابل دسترس نیستند به همین جهت یک data warehouse (انبار داده ها) ایجاد می گردد و قبل از آن عملیاتی روی داده ها انجام می گیرند تا اعداد پاکیزه گردند و بر روی آنها تبدیلاتی انجام می گیرد. و data warehouse خود چند قسمت می شود تا داده ها طبقه بندی شوند و استفاده از آنها راحت تر شود. مثلا: Sale، Purchases، Customers.
    سیستم هایی که داده کاوی را انجام می دهند بطور مستقیم یا غیر مستقیم به data warehouse ها وصل هستند.
    شرکت بنز در بخش کنترل کیفیت خود از این سیستم استفاده می کند.

    شرکت های اماری برای data mining ابزار های مختلفی ارائه کرده اند نظیر:
    ·SPSS Clementine
    ·SAS Enterprise Miner
    ·WEKA (مجانی)
    ·Mangrove Decision Tree

    History of Data Mining
    از پیشگامان اولیه این علم Dr.Gregory Piatetsky-Shapiro است که تا کنون کنفرانس های زیادی در این زمینه برگزار نموده است.
    Data Mining Process
    می توانید اطلاعات در مورد پروسه ی کاوش داده ها را در سایت زیر مشاهده کنید:
    [مشاهده ی لینک ها فقط برای اعضا امکان پذیر است. ]

    مسئله ی مهمی که در data mining مطرح است این موضوع است که "چگونه کیفیت داده ها را بهتر کنیم تا نتایج و الگوهای حاصل از داده ها به واقعیت نزدیک تر باشند؟"
    مثلا گاهی یک داده که نیاز است وجود ندارد، در این صورت یا داده را را در نظر نمی گیریم یا با میانگین گیری داده را جایگزین می کنیم.
    یا ممکن است اعداد نادرست باشند، مثلا در بخش کیفیت بنز آلمان ممکن بود گاهی تاریخ شماره گذاری یک خودرو قبل از تاریخ ساخت آن ثبت شده باشد.
    یا دوباره کاری اتفاق افتاده باشد. مثلا دو نام داشته باشیم که یکی بصورتJohn Smith Professor و دیگری با Prof. John Smith نوشته شده باشد که در حقیقت هر دو نام متعلق به یک شخص است که اگر قرار باشد خدماتی برای اسن مشتری پست شود، دوبل خواهد شدکه این باعث اتلاف منابع می گردد.
    در شرکت بنز آلمان در بخش کنترل کیفیت
    ، پاکسازی داده ها با برازش آنها و مقایسه با داده های استاندار انجام می گیرد و با مقایسه نمودارهای حاصل از داده ها مشخص می گردد که کیفیت کم یا زیاد شده است. ابتدا آنها برای این کار از روش برازش نرمال استفاده می کردند و این کار 2 هفته به طول می انجامید ولی بعدا با استفاده از Grid computing این مدت را به دو روز رساندند.
    بطور مثال اگر ایران خودرو از Data Mining استفاده می کرد می توانست خیلی زودتر علت آتش سوزی پژوها را بیابد.

    در بخش مدل سازی یک مساله ابتدا مسئله به طور دقیق تعریف می شود سپس تبدیل به مسئله data mining می گردد. بخش مهم دیگر در فرایند مدل سازی، Task Identificationاست که در آن بطور مثال این موضوع بررسی می شود که یک مشتری بنز که اکنون از خودروی این کارخانه استفاده می کند چقدر احتمال دارد که سال آینده هم دوباره از همین شرکت ماشین بخرد.
    و دیگری مسئله پیش بینی است مثلا پیش بینی ارز یا مثلا قوانین پیوند بین کالاها در یک سوپرمارکت. بطور مثال با داده کاوی مشخص می شود بیشتر مشتریانی که قهوه می خرند حتما قند هم می خرند، پس این دو کالا در سوپر مارکت با فاصله از هم قرار داده می شود تا شخص در راه خرید این دو کالا، با کالاهای دیگری نیز برخورد کند و این احتمال میزان خرید او را افزایش می دهد.

    ويرايش شده توسط reza-ie در 2009/8/07 در ساعت 01:15 PM

  11. تشكرها از اين پست


  12. #8
    عضو آواتار reza-ie
    رشته
    مهندسی صنایع
    تاريخ عضويت
    2008/5
    محل سكونت
    شیراز
    امتیاز
    69
    پست ها
    35

    پيش فرض

    عواملی که باعث ناکارآمدی مدل می شوند:
    1)اشکال در داده ها
    2)اشتباهات خود مدل
    3)عوض شدن ساختارها
    پس نیاز به روشهای ارزیابی مدل وجود دارد:
    روش 1) اعداد را به دو قسمت Training data و Test data به نسبت مثلا 70 به 30 تقسیم بندی می کنند. در قسمت Training مدل را آموزش می دهند و در قسمت Test آن را آزمایش می کنند و دقت مدل با این قسمت سنجیده می شود. سپس مدل اصلی بعد از آزمایش تولید می شود، سپس مدل برازش شده را ارزیابی می کنند.
    روش 2)Cross Validation
    در این روش مشاهدات را مثلا 5 قسمت می کنند. ابتدا 20 درصد (1 قسمت از 5 قسمت) مشاهدات را کنار گذاشته و با 80 درصد مدل ایجاد می شود و با 20 درصد مقایسه می شود. سپس 20 درصد بعدی کنار گذاشته شده و با 80 درصد مدل ساخته شده و با این 20 درصد test می شود و این کار ادامه می یابد.
    در روش اول یکبار Training و یکبار Test داریم ولی در روش دوم این کار 5 بار صورت می گیرد و دقت در هر مرحله سنجیده می شود و سپس با محاسبه ی میانگین، دقت متوسط حساب می شود.
    روش 3)Leave-one-out
    در این روش بطور مثال اگر 1000 مشاهده داشته باشیم، یکی را کنار گذاشته با 999 تای بقیه مدل ساخته می شود و با آن یک مورد مقایسه می شود و این تا آخر ادامه می یابد. در این روش هر یک از مشاهدات شانس این را دارند که ه عنوان test کننده و trainer استفاده شوند.
    (گاهی هم data ها را به سه قسمت: Validation data، Test data و Training data تقسیم بندی می شوند.)
    مثال) می خواهیم برای مشتریان خوب یک بانک یک مدل بسازیم و از سه شاخص درآمد، داشتن ماشین و جنسیت استفاده می کنیم.
    با مقایسه مدل و حقیقت مشخص می شود که مدل تا چه حد درست پیش بینی می کند. مثلا اگر از 10 مورد مشتری 6 مورد درست پیش بینی شده باشد آنگاه ضریب درستی مدل 60% بوده و نرخ خطای آن 40% است.
    مثلا در شرکت بنز در ماشین های ارزان قیمت تر خدمات جانبی مانند سیستم های تهویه مطبوع یا صندلی های متحرک نیز ارائه می شود که مشتری باید جداگانه آنها را سفارش دهد. با کاوش داده ها آنها بررسی می کنند که چه خدماتی بطور موازی و همزمان درخواست می شوند و در بخش بازاریابی به مشتری اعلام می کنند که اگر این چند خدمات را با هم درخواست کند تخفیفی نیز شامل حال او خواهد شد و بدین ترتیب تقاضا را افزایش می دهند
    .
    مثال) در انبار داری با استفاده از Data mining میدانیم که چقدر کالا در انبار هست و با بررسی الگوهای تقاضای مشتریان می دانیم که از هر کالا و خدمات به چه نسبتی باید در انبار موجود باشد.

    فاکتورهای موفقیت در Data Mining:
    1)
    هدف به درستی شناخته شود. (هدف خود و هدف مشتری از انتخاب شرکت برای تقاضای نیاز خود)
    2)با عوض شدن مدیر نباید پروژه متوقف گردد.
    3)مدیریت از پروژه پشتیبانی کند.
    4)اعداد و داده ها پاک باشند.
    5)اعضای گروه آشنایی کامل با کار تیمی داشته باشند و ... .

    کاربرد Data Mining در شرکت بنز آلمان:

    2)Credit Risk Management
    1)Quality Management (در کشور آلمان خرید قستی ماشین رایج است بنابراین در کنار شرکت بنز یک بانک هست که اعتبار افراد برای توان مالی خرید ماشین را با data mining بررسی می کند.)
    3)Customer Relationship Management ( در این قسمت اغلب افرادی که در رشته ی Business Administration تحصیل کرده اند مشغول به کار هستند.)

    کاربرد Data Mining در سایر شرکت های خودروسازی
    BMW: این شرکت با استفاده از data mining در بخش ریخته گری فرایند تولید موتورها را بهبود داده است.
    Toyota: با استفاده از این روش توانسته است مدت زمان بین سفارش تا تحویل به مشتری را از 37 روز به 18 روز کاهش دهد و همچنین دومین جایگاه خودروسازی جهان را از آن خود کند.
    Ford: در بخشهای کیفیت و رضایت مشتری، پیش بینی هزینه هایی نظیر گارانتی از این روش برای حل مسائلش استفاده کرده است.
    Bayer: که یک شرکت بزرگ تولید دارو است با data mining توانسته است پروسه های تولیدش را بهینه کند.

    آینده Data Mining:
    بخش هایی از این روش وجود دارند که نوپا بوده و بسیار جای کار دارند. نظیر:
    1)Privacy (هم از لحاظ تئوری و هم از لحاظ کاربردی جالب است.)
    2) Data quality mining کیفیت داده ها بسیار مهم است و اینکه چگونه داده ها جمع آوری و پاکسازی شوند که دارای کیفیت مطلوب باشند.
    3)High performance Analytics رسیدن به نتیجه ی سریع. استفاده از روشهایی نظیر Grid computing . ( ژاپن با اتصال 5500 کامپیوتر به هم موفق شد کار 200 ساله را در 60 روز انجام دهد.)
    4)Data and Knowledge driven problem solving ترکیب data و knowledge برای یافتن روش حل بهینه. مانند بهره جستن از knowledge management (مدیریت دانش).
    5)Radio frequency identification and data mining (مثلا برچسب کالاها)


    اطلاعات مجانی در رابطه با data mining را می توانید از سایت زیر دریافت کنید:
    [مشاهده ی لینک ها فقط برای اعضا امکان پذیر است. ]
    ایمیل پرفسور نخعی زاده: [مشاهده ی لینک ها فقط برای اعضا امکان پذیر است. ]
    نوشته ها و کتاب های ایشان را می توانید در سایت زیر جستجو کنید:
    [مشاهده ی لینک ها فقط برای اعضا امکان پذیر است. ]

  13. تشكرها از اين پست


  14. #9
    تازه وارد
    رشته
    مهندسی کامپیوتر
    تاريخ عضويت
    2009/10
    امتیاز
    10
    پست ها
    4

    پيش فرض

    ممنون از مطالب خوبتون.پایان نامه من در باره web usage miningهست ممنون میشم اگه مقاله کاربردی در این زمینه داشتید برام بفرستید [مشاهده ی لینک ها فقط برای اعضا امکان پذیر است. ] یک دنیا تشکر

  15. #10
    تازه وارد
    رشته
    مهندسی کامپیوتر
    تاريخ عضويت
    2009/10
    امتیاز
    20
    پست ها
    15

    پيش فرض

    نقل قول نوشته اصلي بوسيله Kaizen نمايش پست
    پروژه داده کاوی پیوند
    [مشاهده ی لینک ها فقط برای اعضا امکان پذیر است. ]

    » تاپیکی در همین رابطه : [مشاهده ی لینک ها فقط برای اعضا امکان پذیر است. ]
    سلام دوست عزیز-بسیار ممنون. موضوع خیلی جالبیه و اتفاقا مربوط به پایان نامه منم هست. اما متاسفانه لینکش خرابه. وارد خود سایت هم که می شم، جواب نمی ده. لطفا راهنماییم کنین. بازم ممنون

صفحه 1 از 5 1234 ... آخرينآخرين

تاپیک های مشابه

  1. داده کاوی DATA MINING
    توسط JUMONG360 در تالار کارشناسی ارشد - دکترا
    پاسخ ها: 3
    آخرین ارسال: 2013/8/26, 12:47 PM
  2. مقاله داده کاوی (data mining)
    توسط fahimeh6667 در تالار مقالات
    پاسخ ها: 7
    آخرین ارسال: 2012/12/02, 11:40 AM
  3. پروژه داده کاوی پیوند (Data Mining)
    توسط Sir در تالار معرفی سایت های علمی ، آموزشی ، دانلود نرم افزار
    پاسخ ها: 3
    آخرین ارسال: 2010/8/14, 02:24 PM

ثبت اين صفحه

ثبت اين صفحه

قوانين ارسال

  • شما نمی‌توانيد تاپيک جديد ارسال كنيد
  • شما نمی‌توانيد پاسخ ارسال كنيد
  • شما نمی‌توانید فایل ضمیمه ارسال كنيد
  • شما نمی‌توانيدنوشته‌های خود را ويرايش كنيد
  •