تبلیغات اینترنتیclose
olap

فناوری اطلاعات لیان

robomagnetic

بسم الله الرحمن الرحيم

word Information


تبلیغات بصورت رایگان در این وبسایت پذیرفته می شود

 با عضويت درخبر نامه از مطالب به روز سايت با خبر شويد.

 آدرس های وب سایت

www.hossein.iran.sc

www.ielian.ir

 www.sendani.ir

روزهای شاد برایتان ارزومندیم

 

 

 

 

امتیاز بدهید : | امتیاز :
موضوع : | بازدید :
برچسب ها : ,
+ نوشته شده در دوشنبه 17 / 3ساعت 3:12 توسط مدير سايت |

olap

تحلیل و پردازش درست و دقیق اطلاعات عملیاتی می تواند در تولید نتایج آماری در جهت تصمیم گیریهای کلان مدیریتی موثر بوده و به مدیران کمک کند تا تصمیمات بهینه ای برای موفقیت سازمان خود بگیرند . برای آنالیز و پردازش این اطلاعات و تسهیل و سرعت بخشیدن به عملیات گزارش گیری و پرس و جوهای متنوع به جای تحلیل مستقیم داده ها از درون سیستم های عملیاتی ، از سیستم ها و پایگاه داده‌ های تحلیلی استفاده می شود که خارج از حوزه سیستم های عملیاتی قرار داشته و سرعت بسیار بالایی دارند. پایگاه داده‌ های تحلیلی نسخه های متنوعی از داده های تراکنشی را به صورت اختصاصی برای پرس و جوها و گزارش گیری ،سازمان دهی می کنند.به این ترتیب کاربرانی مانند مدیران سازمان که خارج از سیستم های عمیاتی قرار دارند می توانند گزارش ها و پرس و جوهای مورد نظر خود را تهیه کنند . پایگاه داده‌ های تحلیلی OLAP از منابع داده‌ای متفاوت یک سازمان‌ و یا حتی چندین سازمان و ارگان‌ وابسته به هم تهیه می‌شود. این پایگاه داده بستر مناسبی را فراهم می‌آورد که داده‌های بایگانی شده در سیستمهای عملیاتی و مستقل از هم سازمان، به صورت مجتمع، خلاصه شده، و یکپارچه و سازمان یافته درآمده و برای استخراج مناسب اطلاعات در دسترس مدیران باشند.

 

OLAP چیست؟

سیستم های OLAP نام خود را از عبارت (Online Analytical Process) با معنی تحت اللفظی سیستم های پردازش تحلیلی برخط گرفته اند.می‌ توان به جای OLAP از واژه پردازش سریع اطلاعات چند بعدی و یا به عبارت بهتر از " فن آوری تحلیل داده ها" استفاده کرد. این سیستمها بر اساس تکامل سیستمهای OLTP به معنی پردازش آنلاین تراکنش ها ((On Line Transaction Processing ) ایجاد شده اند .

سیستم های OLAP برای ارائه پاسخهای سریع به سوالات و جستجوهای تحلیلی روی داده های "چند بعدی" طراحی شده اند .بطور معمول اگر بخواهیم مشابه همین پرس و جوهای تحلیلی را روی سیستم های اطلاعاتی عادی OLTP اجرا کنیم ممکن است نتایج در زمانی طولانی و غیرکاربردی بازگردانده شود در حالیکه استفاده از OLAP تضمین می کند که اطلاعات و گزارشات تحلیلی با زمان پاسخ مناسبی به کاربر تحویل داده شود. کاربردهای معمول OLAP عبارتند از : گزارشات تجاری فروش ، بازاریابی ، گزارشات مالی و مواردی از این قبیل. این سیستم ها داده های خود را به نحوی خاص نگهداری می کنند که از نظر سرعت در برخورد با داده های چند بعدی بهتر از سیستمهای OLTP عمل می کنند و از این رو به آنهابانکهای اطلاعاتی سلسله مراتبی (Hierarchical) هم گفته می‌شود. OLAP و پایگاه داده های مربوطه با استفاده از یک ساختار سلسله مراتبی و یک data model چندبعدی قدرتمند جهت سازماندهی اطلاعات به ساده سازی محاسبات پرداخته وگزارشاتی بسیار سریع‌تر نسبت به روش های قبلی ارائه می دهند. بانکهای اطلاعاتی به کار رفته در OLAP که Datawarehouse یا انبار داده ها نامیده می شوند متشکل از مکعبهای اطلاعاتی چند بعدی بوده که امکان آنالیز سریع اطلاعات پایگاه داده های مختلف را فراهم می‌آورند. بعنوان مثال یک پایگاه داده چند بعدی می تواند فروش کل سالیانه را با ماه فروش ، تعداد مشتری و قیمت متقاطع سازد. حاصل این تقاطع این است که گزارشات بسیار متنوعی مثل مجموع فروش در ماه خاص یا بهترین قیمت و مشتری سال و ... از سیستم به راحتی قابل استخراج است.

 

مکعبهای OLAP با استفاده از data model جامع خودQuery های کارآمد و پر سرعتی را ارئه داده و جایگزین بهتری برای خلاصه سازی جداول هستند. محاسبات پیچیده میتوانند براحتی درون این مکعبها قرارگرفته و باعث بهبود کیفیت تحلیل برنامه های کاربردی شوند. مثلا یک مکعب OLAP می تواند شامل محاسبات مقایسه ای فروش سال جاری هر منطقه و خط تولید با همان زمان در سالهای قبل باشد.در واقع ساختار این مکعب ها برای بهینه چنین گزارشات و تحلیل هایی بهینه شده است. عمده عملیات روی Database می تواند شامل update،insert،delete و ... باشد اما Datawarehouse که یک مکعب چند بعدی با صدها برابر گنجایش یک Database است که به عنوان اصلی ترین وظیفه اش به کاربر data ارائه میدهد و میتواند اطلاعات را در قالبهای متنوع برای نیازهای مختلف نگهداری کند. پرس و جوهای کاربران در روزهای مختلف غیر قابل پیش بیش بینی هستند. به عنوان مثال شاید لازم شود فروش یک هفته را با همان هفته در چند سال پیش مقایسه کرد. با سیستمهای relational بهینه کردن چنین درخواست هایی بسیار مشکل است.برای برآوردن این نیاز Database وDBAها بصورت متناوب viewها و خلاصه جدول هایی را تولید میکنند.خروجی یک سیستم OLAP به صورت کلی یک ماتریس می‌باشد و ابعاد مختلف داده‌، ستونها و سطرهای ماتریس راتشکیل می‌هند. تکنیکهای بسیاری جهت جمع آوری ، پالایش و آنالیز داده ها نظیر OLAP، Data Mart ، Warehousing و Data Mining با هدف استخراج اطلاعات از رکوردهای عملیاتی سازمان و نظم دهی آن به منظور انجام تحلیل های مختلف وجود دارد.

تعاریف عمده فناوری OLAP

انباره داده یا Data Warehouse : انبار داده ها در اواخر دهه 80 و اوایل دهه 90، در پاسخ به نیاز روزافزون سازمانهای بزرگ برای کسب اطلاعات تحلیلی و مدیریتی از داده‌های درون سیستم های عملیاتی (OLTP)ابداع شده و به عنوان نوع خاصی از پایگاه های داده مورد توجه قرار گرفت . انبار داده ها یک پایگاه اطلاعاتی بزرگ است که به جمع آوری ، یکپارچه سازی و ذخیره‌ اطلاعات متنوع یک سازمان را با هدف تولید گزارشات چندجانبه و دقیق بر عهده دارد. این قابلیت ها در کنار امکانات پشتیبانی از فعالیتهای تحلیل و گزارش دهی آسان و انفصال از فشارهای عملیاتی به رشد روز افزون این سیستمها منجر شد. سیستم های عملیاتی به دلایل عدم طراحی اختصاصی آنها جهت گزارش گیری گسترده و یکپارچه، با تولید گزارشات کند و گران قیمت از کارائی و امکانات لازم برای ارائه اطلاعات پویا و راهگشای مدیریتی برخوردار نیستند.بنابراین از فناوری OLAP و راهکار ایجاد انبار داده ها با استفاده از همگن کردن و یکپارچه سازی داده ها جهت تبدیل داده های نامتجانس به اطلاعات قابل استفاده در زمینه های مختلف استفاده می شود.

خصوصیات اساسی انبار داده ها : انبار داده ها موضوع گرا (Subject-oriented) است ،یعنی داده ها از بانکهای اطلاعاتی مختلف بصورت انتخابی به انبار داده منتقل شده و بر اساس موضوعات خاص دسته بندی می شوند. بنابراین کاوش داده ها در پرس و جوهای خاص با سرعت و دقت بیشتری انجام می گردد.همچنین انبار داده ها مبتنی بر زمان است و تغییرات داده ها بر اساس بازه های زمانی متفاوت نگهداری شده و در گزارشات تحلیلی مورد استفاده قرار میگیرد.به همین ترتیب انبار داده ها غیرقابل تغییر و غیر فرار می باشد و داده ها در آن بازنویسی و حذف نمی شود.بلکه تغییرات در بازه های زمانی مختلف نگهداری می شوند تا پاسخگوی ارجاعات مختلف باشد. سیستم های انبارداده مراحل تکاملی زیر را طی می کنند:
1-
داده ها از سیستم عملیاتی به یک سیستم غیر عملیاتی منتقل می‌شوند تا از کارهای بروزرسانی و تغییرات لحظه ای خارج شده و برای پردازش های تحلیلی آماده شوند.
2-
داده ها در فواصل زمانی منظم (روزانه ، هفتگی و ...) از سیستم های عملیاتی مختلف جمع آوری شده و پس از یکپارچه سازی به سیستم انبارداده ها کپی می شوند.
3-
داده های انبار داده به ازای هر تراکنش یا تغییر در سیستم های عملیاتی تغییر می‌کند و مطابق تغییرات بروز می شوند.
4-
انبار داده می تواند تراکنش هایی برای ایجاد تغییرات در داده های سیستم های عملیاتی تولید کند که بر فعالیت روزمره سیستم های عملیاتی و سازمان تاثیر مثبت گذاشته و به مرور سیستم را یادگیرنده و پویا می کند.

مرکز داده ها یا Data Mart: انبار داده ها حجم عظیمی از اطلاعات را در واحد های منطقی کوچکتری به نام Data Mart نگهداری می کند Data Mart ها نمونه های کوچکی از انبارداده ها بوده و همانند آنها حاوی کپی هایی ثابت از داده هایی هستند که در موارد خاص استفاده می شوند . Data Martها می تواند وابسته یا مستقل از هم باشند. هر Data Mart ، داده ها و ابعاد (Dimension ) خاص خود را دارد که می تواند با بقیه به اشتراک بگذارد.

داده کاوی یا Data Mining: ابزارهای داده کاوی بدنبال طرحها و گروه بندی هایی در داده ها می گردد که ممکن است از دید ما پنهان مانده باشد. در داده کاوی این ابزار است که استفاده کننده را هدایت می کند. ابزار فرض می کند که شما خود نیز دقیقا نمی دانید که چه می خواهید. اولین گام داده کاوی هدفدار ، انتخاب مجموعه داده ها برای تحلیل است. داده ها میتواند از انبار داده ها و یا بانک های اطلاعاتی عملیاتی استخراج شود . داده ها پس از جمع آوری و حذف موارد تکراری در قالبهای یکسان تجمیع و پاکسازی می شوند. سپس با استفاده از منابع مناسب ،اطلاعات ناقص اصلاح و کدگذاری شده و با ساختار جدیدی آماده میشوند.به این ترتیب داده ها برای داده کاوی آماده است و می توان به سوالات مختلف داده کاوی از بسته های نرم افزاری مختلفی همانند Oracle OLAP Server یا DB2 OLAP Server که شامل ابزارهای داده کاوی قدرتمندی هستند پاسخ داد.

 

نحوه عملکرد سیستم های OLAP

سیستم OLAP به صورت مرتب از داده های منابع اطلاعاتی مختلف کپی های خلاصه شده برداشته و آنها را در مکعبهای داده ای (Cube) مرتب می کند. پرس و جوهای کاربران می تواند روی این مکعب اجرا شود . روش های مختلف طراحی انبار داده ها امکان پردازشهای بهینه را بر روی مقادیر زیادی ازداده ها فراهم می آورند. پرس و جوهای پیچیده روی سیستم های OLAP به زمانی حدود تنها 0.1 درصد از زمان اجرای جستجوهای مشابه روی سیستم‌های OLTP احتیاج دارند. انواع ویژه ای از الگوهای پایگاه داده ها به نام ستاره ای یا دانه برفی برای طراحی انبار داده چند بعدی وجود دارد. در این حالت، پایگاه داده ها از یک جدول مرکزی و جداول چند بعدی تشکیل شده است روابط بین آنها کاملا مشخص است. برای دستیابی به سرعت بالا و زمان کوتاه ، سیستم هایOLAP جداول اطلاعاتی خود را در آرایش های ستاره ای یا دانه برفی مرتب می کنند. ساختار OLAP مثل یک مکعب روبیک است که می توانید آنرا در جهات مختلف بچرخانید تا بتوانید تحلیل هایی از دیدگاههای مختلف را بررسی کنید.

نحوه عملکرد این سیستمها به این صورت است که معیارهای اساسی تحلیل به عنوان ابعاد مختلف یک مکعب در نظر گرفته شده و این مکعب در انبار داده ها ساخته می شود. این ابعاد می توانند در سطوح مختلف و به صورت سلسله مراتبی نیز وجود داشته باشند.مثلا میزان فروش کل می تواند از سه بعد زمان ، نوع محصول و مشتری ساخته شود.زمان می تواند در سلسله مراتبی متشکل از سال، ماه، هفته، روز و.... قرار گیرد . یک بار که جداول حقیقی به OLAP معرفی شده و مکعب های متعدد با ابعاد یا (Dimension)های متنوع ساخته شدند،ابزارهای گزارش گیری مبتنی بر OLAP محیطی ساده را جهت استفاده کاربران از این اجزا فراهم می کند. به این ترتیب هر کاربری قادر است به بررسی نتایج از دیدگاه خاص خود و بر مبنای سلسله مراتب و سطوح مختلف اطلاعاتی بپردازد.

 

انواع مختلف سیستم های OLAP

در حال حاضر انواع مختلف OLAP وجود دارد، مثل Multi dimensional OLAP وRelational OLAP و Hybrid OLAP 
1-
سیستم های OLAP چند بعدی یا MOLAP: این سیستمها بدلیل ساختار خاص نگهداری اطلاعات از سرعت بالاتری نسبت به سایر مدلها برخوردارند و بجای ذخیره کردن اطلاعات در رکورد های کلید دار، بانکهای اطلاعاتی خاصی را برای خود طراحی کرده اند بطوریکه داده ها را به شکل آرایه های مرتب شده بر اساس ابعاد داده ذخیره می کنند . این سیستم ها جداول داده های حقیقی وجداول چند بعدی را با ایندکسهای فشرده نگهداری کرده و جستجوهای تحلیلی پیچیده را در حداقل زمان اجرا می کنند. سرعت این ابزار بالا ولی سایز بانک اطلاعاتی آن نسبتا کوچک است.
2-
سیستم های OLAP رابطه ای یا ROLAP : این ابزارها با ایجاد یک بستر روی بانکهای رابطه ای اطلاعات را ذخیره و بازیابی می کنند. بطوریکه اساس بهینه سازی برخی بانکهای اطلاعاتی رابطهای بر همین اساس استوار است. سیستم های ROLAP عملیات OLAP را در قالب استفاده از مدل سنتی Relational ساماندهی می کنند و لذا از سیستم های MOLAP کندتر عمل می کنند و به فضای بیشتری نیز نیاز دارند.
3-
سیستم های OLAP از نوع HOLAP : منظور از hybrid ترکیبی از ROLAP و MOLAP است که دارای بانک اطلاعاتی بزرگ و راندمان بالاتر نسبت به ROLAP می باشد. سیستمهای HOLAP به شکل بینابینی پیاده سازی شده اند . یعنی داده های Fact را در جداول فشرده و داده های Dimension را در فضای رابطه ای نگهداری می کنند لذا مزایای هردو مدل را دارند.

 

 

 

WHAT IS HOLAP?
To really answer this question, one must first understand what
OLAP is. OLAP (OnLine Analytical Processing) applications are
meant to allow users the freedom to interrogate their data. OLAP
basically allows users to compare similar data points at any level
of category. Basically, OLAP is supposed to offer fast access to
data along any business dimension. To allow this, technology
companies took two distinctly different paths. Some introduced
new databases built specifically for multi-dimensional queries,
while others offered very sophisticated SQL and navigational
methods on top of traditional RDBMS databases. As is often the
case with technology companies they decided to use this different
data store as a competitive difference in the marketplace. This
competition created the MOLAP (Multidimensional OLAP) and
ROLAP (Relational OLAP) camps. In reality both had very useful
qualities for OLAP applications. So it is that another alternative
came to be. Basically, HOLAP (Hybrid OLAP) is the bridging of
this technology gap. HOLAP allows the use of both MDDB and
RDBMS data stores for the best of both worlds.

 

 

واژه OLAP در اوایل سال‌‌های 1990 شکل گرفت. E.F.Codd بنیانگذار مدل داده‌ی رابطه‌ای، این واژه را در فرهنگ نامه کاربران بانک‌های اطلاعاتی توصیف نمود. 
مشابه یک بانک اطلاعاتی رابطه‌ای که شامل تعدادی جدول می‌باشد، یک بانک اطلاعاتی OLAP شامل تعدادی Cube است. هر Cube مجموعه ای از Dimension‌ها و Measure هاست. Dimension یک شیء تحلیلی است که محور‌های مختصات را برای پرسش‌های تحلیلی تعریف می‌کند و از Member هایی تشکیل شده است که Member هر Dimension در قالب سلسله مراتب می‌تواند تعریف شود؛ در حالیکه Measure یک مقدار عددی است که در مختصات Cube تعریف می‌شود که این مقادیر از جداول تراکنشی بدست می‌آید (جدول Fact) که جزئیات هر رکورد تراکنشی در آنها ذخیره می‌شود. Measure‌ها حاوی اطلاعاتی هستند که از پیش، محاسبات تجمیعی بر روی آنها براساس سلسله مراتب تعریف شده در Dimension انجام شده است.
ساختار OLAP شبیه به یک مکعب روبیک از داده‌ها است که می‌توان آنرا در جهات مختلف چرخانید تا بتوان سناریو‌های «قبلا چه شده» و «چه می‌شد اگر ...» را بررسی نمود. مدل چند بعدی OLAP طریقه نمایش دادن داده‌ها را در مقایسه با بانک‌های اطلاعاتی رابطه‌ای تسهیل می‌کند. غالبا OLAP داده‌ها را از یک انباره داده استخراج می‌کند. 


ابزارهای OLAP را به چند دسته تقسیم می‌کنند:



OLAP رو میزی:

ابزارهای ساده و مستقل که روی کامپیوتر‌های شخصی نصب شده و مکعب‌های کوچکی می‌سازند و آنها را نیز بر روی سیستم به شکل فایل ذخیره می‌کنند. بیشتر این ابزارها با صفحات گسترده ای نظیر Excel کار می‌کنند. به این ترتیب کسانی که در سفر هستند قادر به استفاده از این دسته از محصولات هستند. (در حال حاضر Web OLAP در حال جایگزین کردن این محصولات است(


MOLAP:

بجای ذخیره کردن اطلاعات در رکورد‌های کلید دار، این دسته از ابزارها، بانک‌های اطلاعاتی خاصی را برای خود طراحی کرده‌اند؛ بطوری که داده‌ها را به شکل آرایه‌های مرتب شده بر اساس ابعاد داده ذخیره می‌کنند. در حال حاضر نیز دو استاندارد برای این نوع ابزار وجود دارد. سرعت این ابزار بالا و سایز بانک اطلاعاتی آن نسبتا کوچک است. 


ROLAP:

این ابزار‌ها با ایجاد یک بستر روی بانک‌های رابطه‌ای اطلاعات را ذخیره و بازیابی می‌کنند. بطوری که اساس بهینه سازی برخی بانک‌های مانند Red Brick ،MicreoStrategy و ... بر همین اساس استوار است. اندازه بانک اطلاعاتی این ابزار قابل توجه می‌باشد. 


HOLAP:

در اینجا منظور از hybrid ترکیبی از MOLAP و ROLAP است. ابزار دارای بانک اطلاعاتی بزرگ و راندمان بالاتر نسبت به ROLAP می‌باشد. 


مقایسه گزینه‌های ذخیره سازی در OLAP:



MOLAP:

این نوع ذخیره‌سازی بیشترین کاربرد در ذخیره اطلاعات را دارد. همچنین به صورت پیش فرض جهت ذخیره‌سازی اطلاعات انتخاب شده است. در این نوع تنها زمانی داده‌های منتقل شده به Cube به روز می‌شوند که Cube پردازش شود و این امر باعث تاخیر بالا در پردازش و انتقال داده‌ها می‌شود. 


ROLAP:

 در ذخیره‌سازی ROLAP زمان انتقال بالا نیست که از مزایای این نوع ذخیره‌سازی نسبت به MOLAP است. در ROLAP اطلاعات و پیش‌محاسبه‌ها در یک حالت رابطه‌ای ذخیره می‌شوند و این به معنای زمان انتقال نزدیک به صفر میان منبع داده (بانک اطلاعاتی رابطه‌ای) و Cube می‌باشد. از معایب این روش می‌توان به کارایی پایین آن اشاره کرد زیرا زمان پاسخ برای پرس‌و‌جوهای اجرا شده توسط کاربران طولانی است. دلیل این کارایی پایین بکار نبردن تکنیک‌های ذخیره‌سازی چند بعدی است 


HOLAP:

این نوع ذخیره‌سازی چیزی مابین دو حالت قبلی است. ذخیره اطلاعات با روش ROLAP انجام می‌شود، بنابراین زمان انتقال تقزیبا صفر است. از طرفی برای بالابردن کارایی، پیش‌محاسبه‌ها به صورت MOLAP انجام می‌گیرد در این حالت SSAS آماده است تا تغییری در اطلاعات مبداء رخ دهد و زمانی که تغییرات را ثبت کرد نوبت به پردازش مجدد پیش‌محاسبه‌ها می‌شود. با این نوع ذخیره‌سازی زمان انتقال داده‌ها به Cube را نزدیک به صفر و زمان پاسخ برای اجرای کوئری‌های کاربر را زمانی بین نوع ROLAP و MOLAP می‌رسانیم. 
این سه روش ذخیره‌سازی انعطاف‌پذیری مورد نیاز را برای اجرای پروژه فراهم می‌کند. انتخاب هر یک از این روش‌ها به نوع پروژه، حجم داده‌ها و ... بستگی دارد.  در پایان می‌توان نتیجه گرفت که بهتر است زمان پردازش طولانی‌تری داشته باشیم تا اینکه کاربر نهایی در هنگام ایجاد گزارشات زمان زیادی را منتظر بماند. 
  

صفحه قبل 1 صفحه بعد
نظر شما
نام : *
پست الکترونیک :
وب سایت/بلاگ :
*
:) :( ;) :D
;)) :X :? :P
:* =(( :O @};-
:B /:) =D> :S
کد امنیتی : *
امتیاز بدهید : 1 2 3 4 5 6 | امتیاز : 0
موضوع : آموزشی,مقالات علمی, | بازدید : 682
برچسب ها : olap,holap,rolap,molap,
+ نوشته شده در پنجشنبه 14 / 11ساعت 07:22 توسط مدير سايت |