Elastic Search - Big Data گروه تخصصی
عنوان گروه یا کانال:

Elastic Search - Big Data گروه تخصصی


توضیحات: الستیک سرچ یک موتور ایندکس گذاری است که در کنار ابزار دیگر خود "کیبانا" و "لاگستش" تصویر سازی از اطلاعات را بدل به امری آسان میکند لینک گروه https://t.me/joinchat/GEOBFUFBnXUG3WhbH2a6iw لینک کانال @ElasticSearch_Iran «مرکز هوش مصنوعی» @AiCenter_ir
شناسه: @
تعداد اعضا: 337
لیلیان ۱۳۶۴۹۰

باسلام وقت همگی بخیر

این گروه به جهت بحث و گفتگو و ارتقا سطح علمی همه دوستان و بررسی و پاسخگویی به سوالات و استفاده از نقطه نظرات خبره‌های الاستیک سرچ ایجاد شده است.
این گروه یک گروه عمومی است و پیشنهاد میشود با معرفی آن به دوستان خود در پروژه تکمیل اطلاعات علمی آن و در جهت ارتقال سطح علمی در خصوص "الاستیک سرج" همکاری لازم را فراهم نمایید.

بهترین ها را برای همه آرزومندم...
موفق و موید باشید/.
🌹
لیلیان ۱۳۶۴۹۰

#نکات

👤 نظر یکی از فعالین این عرصه (جناب آقای بنایی از کاربران هدوپ ایران) 👇👇


برای بخش جستجوی اخبار سایت ریپابلیشن از سلر (solr) استفاده کرده بودیم که به دلیل عدم آشنایی حرفه ای با آن و به تبع آن پیکربندی نامناسب ، سرعت لازم را نداشت . به پیشنهاد CTO پروژه قرار شد الاستیک سرچ (Elastic Search) را هم به عنوان یکی دیگر از راهکارهای جستجوی متن بررسی کرده ، تست های لازم را انجام دهم و نتیجه را به ایشان اعلام کنم .

با جستجوی اولیه به این نتیجه رسیدم که این گزینه می تواند راهکار مناسبی برای ما باشد. بعضی از مزایای الاستیک سرچ که برای ما حائز اهمیت بود از قرار زیر است :

عدم نیاز به تعریف اولیه ساختار داده ها (Schemaless)
توزیع شوندگی آسان در یک شبکه
سادگی در نصب، مدیریت و پیکربندی
سرعت بالا در ساخت شاخص و پاسخگویی به جستجوها
بعد از جستجوی اولیه و بررسی شرکتهایی که از این فناوری استفاده کرده بودند (که بسیار بنده را برای استفاده از این راهکار ترغیب کرد بخصوص بعضی سایتها با سی میلیون یوزر و یا دویست میلیون داده روزانه که به راحتی با الاستیک سرچ به کاربرانشان با سرعت بالا پاسخ می دادند ) یک کد پایتون نوشتم برای ورود اخبار به این موتور جستجو که یک میلیون و چهارصد هزار خبر را با تکرار اخبار چند تا از خبرگزاریهای معروف دنیا برای ایجاد یک محیط تست واقعی وارد الاستیک سرچ لوکال کردم و کوئری هایی که لازم داشتیم مانند جستجوی معمولی و یا پیشنهاد اخبار بر اساس خبری که کاربر در حال مشاهده آن است را نوشتم و اجرا کردم .
نتایج تست هم بسیار رضایت بخش بود . کوئری هایی که با هر ترکیب فیلتر و کوئری در بدترین حالت ۲ ثانیه و به طور معمول حدود ۲۰ میلی ثانیه برای اجرا نیاز داشت (با افزونه PostMan کروم کوئری ها را اجرا کردم). با این نتایج امیدوار کننده از سلر به الاستیک سرچ کوچ کردیم و با آخرین تستها روی سرور تست شرکت، جستجوی اخبار را به این سامانه منتقل خواهیم کرد .

برای کاربردهایی مانند پرسش و پاسخ، مقالات و مانند آن در سایتها توصیه می کنم این گزینه را که به راحتی نصب و آماده کار میشود را استفاده کنید .

https://goo.gl/X8g101
لیلیان ۱۳۶۴۹۰

#آموزش_انگلیسی


آموزش ویدئویی شروع کار با الستیک سرچ - ElasticSearch
یک ویدئوی خوب برای شروع کار با استیک سرچ

http://www.aparat.com/v/Qr6Of
لیلیان ۱۳۶۴۹۰

#آموزش_فارسی

👤 در این فایل صوتی "رضا شادمان" در خصوص Elasticsearch صحبت میکنند:


چکیده ای از بحث های مطرح شده در مورد Elasticsearch :
- معرفی Elasticsearch
- تاریخچه
- کاربرد Elasticsearch
- Elasticsearch و پایگاه های داده RDBMS و Nosql
- سرویس ابری Elasticsearch
- پکیج Elastica در php
- ٍElasticsearch و laravel
- نصب و راه اندازی Elasticsearch
- Performance و Elasticsearch
- معرفی Logstash
- معرفی Kibana
- معرفی منابع آموزشی Elastic
- حل مشکل کلمات هم معنی در Elasticsearch
- کوئری های Geolocation
- پلاگین نوشتن در Elasticsearch


https://goo.gl/lhPTAO
لیلیان ۱۳۶۴۹۰

#نکات

📝 مقاله تاملاتی در خصوص انتخاب بانک اطلاعاتی
👤 جناب آقای بنائی از کاربران هدوپ ایران

👈الاستیک سرچ
یک موتور ایندکس گذاری روی متن با قابلیت پشتیبانی از کوئری های پیچیده و انواع درخواست ها به صورت تقریبا ریل تایم و نحوه ذخیره سازی جی سان . به عنوان یک دیتابیس روی الاستیک شاید نتوان حساب کرد چون اصلا برای این منظور طراحی نشده است و سازندگان آنهم هنوز آنرا به عنوان یک دیتابیس اصلی توصیه نکرده اند و بهتر است به صورت یک دیتابیس جانبی برای جستجوهای متنی پیشرفته مورد استفاده قرار گیرد و حتی اگر ایندکس های آن دچار اشکال شد ، بتوان از روی دیتابیس اصلی داده ها را بازیابی کرد .

بنابراین برای بخش جستجو ، اخبار مرتبط و نیز چنل ها ، انجمن های گفتگو، سوال و جواب ها، نظرات کاربران و مانند آن که نیاز به کوئری گرفتن روی متن داریم (با فیلترهای مختلف) یک انتخاب ایده ال خواهد بود با این شرط که اصل انتری ها و نیز چنل های کاربر در دیتابیسی جداگانه نیز ذخیره شود تا به هر دلیلی بعدها نیاز به ساخت مجدد ایندکس ها را داشته باشیم، بتوانیم این کار را انجام دهیم .


https://goo.gl/E47jY5
لیلیان ۱۳۶۴۹۰

#نکات

آدرس سایت رسمی الاستیک سرچ

https://www.elastic.co
لیلیان ۱۳۶۴۹۰

👤 نظرات دوستان مختلف در سایر گروه های همکار👇👇
لیلیان ۱۳۶۴۹۰

به نظر دوستان استفاده از الاستیک سرچ به عنوان دیتابیس با توجه به سرعت و کارایی که داره توصیه می شه یا خیر؟
لیلیان ۱۳۶۴۹۰

ماهیت elasticsearch پایگاه داده نیست اگر چه ممکن هست در برخی پروژه ها جوابگو باشد. این پروژه براساس آپاچی lucene که یک ابزار بسیار قدرتمند در حوزه بازیابی متن و Text indexing طراحی شده است.
لیلیان ۱۳۶۴۹۰

الاستیک سرچ عالیه. ساده و عالی و کامل. به راحتی هم می تونید براش کد بزنید و یا نودها رو توسعه بدین. داکیومنتش هم کامله
لیلیان ۱۳۶۴۹۰

#آموزش_فارسی

👤 در این فایل صوتی "رضا شادمان" در خصوص Elasticsearch صحبت میکنند:


چکیده ای از بحث های مطرح شده در مورد Elasticsearch :
- معرفی Elasticsearch
- تاریخچه
- کاربرد Elasticsearch
- Elasticsearch و پایگاه های داده RDBMS و Nosql
- سرویس ابری Elasticsearch
- پکیج Elastica در php
- ٍElasticsearch و laravel
- نصب و راه اندازی Elasticsearch
- Performance و Elasticsearch
- معرفی Logstash
- معرفی Kibana
- معرفی منابع آموزشی Elastic
- حل مشکل کلمات هم معنی در Elasticsearch
- کوئری های Geolocation
- پلاگین نوشتن در Elasticsearch


https://goo.gl/lhPTAO
برای شروع حتما پیشنهاد میشود اول سریع با این 🖕 پادکست که معرفی الاستیک بصورت فارسی انجام شده آشنایی اولیه پیدا کنید و انشاالله بهتر و سریعتر کار رو شروع کنید.
🌹
لیلیان ۱۳۶۴۹۰

#نکات
📝 نکات یکی از پست های فروم‌های مختلف

اصلا برای همین ساخته شده که باسرعت خیلی بالا پاسخ بده
الاستیک سرچ برای سایتهایی با حجم داده روزانه بالا مورد استفاده قرار میگره
stackoverflow
github
ebay
,...
از لحاظ سخت افراری نیاز به کانفیگ بالایی داره.
https://www.elastic.co/guide/en/elastics...dware.html


تست روی لوکال
با حجم داده ای 2 میلیون
زمان پاسخگویی تقریبا در حد زیر چندمیلی ثانبه بود
و لی تقریبا 700 مگ از رم به خودش اختصاص داده بود.

sphinxsearch گزینه بهتری است

—-------------------------------------------------------------------------------------------------------------
میتونید نگاهی به جستجوی پیشرفته ایجکس پرستا شاپ بیندازید.
https://github.com/PrestaShop/blocklayer...layered.js
اوایل یادگیری php یه فروشگاه ساز نوشته بودم بدون دیتابیس
بااستفاده از File و Json
چون اون موقع mysql بلد نبودم
با الگو گیری از نمونه کد بالا
یه جستجوی پیشرفته برای محصولات فروشگاه نوشتم که همین خروجی بالا رو داشت.

با همه این نفاسیر پس نیازی به استفاده از این 2 موتور جستجوی بالا نیست مگر اینکه خلافش ثابت بشه.


منبع : https://goo.gl/il4OsM
لیلیان ۱۳۶۴۹۰

الستیک سرچ یک موتور ایندکس گذاری است که در کنار ابزار دیگر خود "کیبانا" و "لاگستش" تصویر سازی از اطلاعات را بدل به امری آسان میکند

این گروه جهت مبادله تجربیات افراد خبره و علاقمندان به آن ایجاد شده است
https://telegram.me/joinchat/CMy3yEFBnXWTyweNv_gc4Q

لینک کانال :
https://telegram.me/ElasticSearch_Iran
محمدطه ۲۳۷۸۳۴

سلام از دوستان کسی با اسپارک و اسکالا کار کرده
جلال ۱۱۳۹۶۴

پروژه الاستیک سرچ، بر پایه کتابخانه آپاچی لوسن نوشته شده و جستجوی تمام متن رو با ویژگی های فراوان پشتیبانی میکنه.
رقیب قوی که در این حوزه (جستجوی تمام متن) داره، پروژه آپاچی سولار هست که به شخصه 4سال هست باهاش کار میکنم و بسیار قدرتمند هست
اما مزیتی که الاستیک داره، در واقع ابزارهای همراهش هست به اضافه پیاده سازی جالبش
جلال ۱۱۳۹۶۴

الاستیک به همراه logstash و kibana این امکان رو میدن که بتونید به سرعت یک سیستم realtime analytics به سادگی راه بیندازید
که این یکی از مهمترین مزایای این پروژه هست که بسیار کاربردی هست
که البته جزء وظایف یک موتور جستجو نیست
جلال ۱۱۳۹۶۴

مزیت دیگه این پروژه نسبت به رقیبش یعنی آپاچی سولار، فرآیند توزیع پردازشها توی این سیستم، به سادگی قابل انجامه
لیلیان ۱۳۶۴۹۰

مزیت دیگه این پروژه نسبت به رقیبش یعنی آپاچی سولار، فرآیند توزیع پردازشها توی این سیستم، به سادگی قابل انجامه
🌹
مهین ۱۷۹۰۷۴

پروژه الاستیک سرچ، بر پایه کتابخانه آپاچی لوسن نوشته شده و جستجوی تمام متن رو با ویژگی های فراوان پشتیبانی میکنه.
رقیب قوی که در این حوزه (جستجوی تمام متن) داره، پروژه آپاچی سولار هست که به شخصه 4سال هست باهاش کار میکنم و بسیار قدرتمند هست
اما مزیتی که الاستیک داره، در واقع ابزارهای همراهش هست به اضافه پیاده سازی جالبش
👏🏻👏🏻👏🏻👏🏻👌🏻
جلال ۱۱۳۹۶۴

و مزیت های دیگه ای که تعدادشون هم کم نیست
از جمله
سادگی راه اندازی و شروع کار با الاستیک
و ...
جلال ۱۱۳۹۶۴

اما پروژه آپاچی سولار هم، نسبت به الاستیک مزیت هایی داره

کانفیگ سولار کمی ساده تر از کانفیگ الاستیک هست
تیم توسعه سولار بزرگتر از تیم توسعه الاستیک هست
سولار فرمت های خروجی مختلفی رو پشتیبانی میکنه از جمله
Json
Xml
Csv
...
نزهت ۱۴۷۶۳۴

یک ابزار جالب برای دوستانی که با "الستیک سرچ" آشنا هستند
توسط این برنامه اطلاعات سنسورهای گوشی اندرویدی خود را بر روی یک سرور الستیک ذخیره کنید و توسط داشبورد "کیبانا" این اطلاعات را ویژوالایز نمایید
گفتنیست همانطور که قبلا اشاره شده، الستیک سرچ و فلینک تعامل خوبی باهم دارند.


https://play.google.com/store/apps/details?id=ca.dungeons.sensordump

@ApacheFlink 🐿
@ElasticSearch_Iran
جلال ۱۱۳۹۶۴

مزیت مهم دیگه هم وجود searchcomponent هست که امکان الصاق یک.کامپوننت (پلاگین، کد) جهت پردازش روی نتایج جستجو رو میده
مزیت دیگه هم امکان تغییر workflow به روز رسانی اسناد هست
شهروزه ۱۹۷۲۸۳

باسلام وقت همگی بخیر

این گروه به جهت بحث و گفتگو و ارتقا سطح علمی همه دوستان و بررسی و پاسخگویی به سوالات و استفاده از نقطه نظرات خبره‌های الاستیک سرچ ایجاد شده است.
این گروه یک گروه عمومی است و پیشنهاد میشود با معرفی آن به دوستان خود در پروژه تکمیل اطلاعات علمی آن و در جهت ارتقال سطح علمی در خصوص "الاستیک سرج" همکاری لازم را فراهم نمایید.

بهترین ها را برای همه آرزومندم...
موفق و موید باشید/.
🌹
درودبرشما وسپاسمندم از اطلاعات خوب شما همکاران ودوستان گرامی.
زری ۸۶۹۹۵

سلام. من الاستیک روی سرور با رم ۲ دارم. تقریبا هر روز کراش می کنه و مجبورم دوباره راه اندازی کنم.
elasticsearch[3103]: # There is insufficient memory for the Java Runtime Environment to continue.
elasticsearch[3103]: # Native memory allocation (mmap) failed to map 174456832 bytes for committing reserved memory.
کسی می دونه چجوری این مشکل رو می تونم برطرف کنم؟
تشکر
جلال ۱۱۳۹۶۴

سلام. من الاستیک روی سرور با رم ۲ دارم. تقریبا هر روز کراش می کنه و مجبورم دوباره راه اندازی کنم.
elasticsearch[3103]: # There is insufficient memory for the Java Runtime Environment to continue.
elasticsearch[3103]: # Native memory allocation (mmap) failed to map 174456832 bytes for committing reserved memory.
کسی می دونه چجوری این مشکل رو می تونم برطرف کنم؟
تشکر
سلام
میزان رم که به جاوا اختصاص دادید چه مقدار هست؟
زری ۸۶۹۹۵

سلام
میزان رم که به جاوا اختصاص دادید چه مقدار هست؟
از کجا می‌تونم ببینم؟
زری ۸۶۹۹۵

ES_HEAP_SIZE= 512m
و توی تنظیمات elasticsearch
bootstrap.mlockall: true
جلال ۱۱۳۹۶۴

از کجا می‌تونم ببینم؟
چه نسخه ای از الاستیک رو نصب کردید؟
نسخه 5 یا نسخه های قبلی؟
زری ۸۶۹۹۵

جلال ۱۱۳۹۶۴

ES_HEAP_SIZE= 512m
و توی تنظیمات elasticsearch
bootstrap.mlockall: true
طبق قانونی که سایت الاستیک ذکر کرده
مقدار رم مناسب برای الاستیک شما 1گیگ هست
که میتونید توی متغیرهای سیستم ست کنید
اما به نظر میاد
این مقدار رم کم باشه
البته این بستگی به حجم ایندکس و ... داره
جلال ۱۱۳۹۶۴

طبق قانونی که سایت الاستیک ذکر کرده
مقدار رم مناسب برای الاستیک شما 1گیگ هست
که میتونید توی متغیرهای سیستم ست کنید
اما به نظر میاد
این مقدار رم کم باشه
البته این بستگی به حجم ایندکس و ... داره
Choosing a Heap Size
There are two rules to apply when setting the Elasticsearch heap size, with the $ES_HEAP_SIZE environment variable:

No more than 50% of available RAM
Lucene makes good use of the filesystem caches, which are managed by the kernel. Without enough filesystem cache space, performance will suffer. Furthermore, the more memory dedicated to the heap means less available for all your other fields using doc values.
No more than 32 GB
If the heap is less than 32 GB, the JVM can use compressed pointers, which saves a lot of memory: 4 bytes per pointer instead of 8 bytes.
زری ۸۶۹۹۵

طبق قانونی که سایت الاستیک ذکر کرده
مقدار رم مناسب برای الاستیک شما 1گیگ هست
که میتونید توی متغیرهای سیستم ست کنید
اما به نظر میاد
این مقدار رم کم باشه
البته این بستگی به حجم ایندکس و ... داره
چون توی سرور برنامه های دیگه هم در حال اجرا هست به نظرم ۱ گیگ ممکنه به بقیه پروسس‌ها آسیب بزنه. حجم ایندکس من حدود ۲۰۰ هزار بود (حدود ۴ گیگ) که من به مقدار خیلی کم ۱۰ هزار کاهش دادم اما باز این کرش کردن اتفاق افتاده.
زری ۸۶۹۹۵

اول گروه یه عالمه تعریف و تمجید شده بود از الاستیک. به نظر من واسه سیستم‌های کوچیک و بر روی یک ماشین بهتره که از سیستم‌های ساده تر که تنظیمات ساده تری دارن استفاده کرد تا الاستیک. مثل پوستگرس که یه سری قابلیت full search هم داره. بیشتر قابلیت های الاستیک برای پروژه های به نسبت بزرگ و چند نودی دیده میشه.
نزهت ۱۴۷۶۳۴

Choosing a Heap Size
There are two rules to apply when setting the Elasticsearch heap size, with the $ES_HEAP_SIZE environment variable:

No more than 50% of available RAM
Lucene makes good use of the filesystem caches, which are managed by the kernel. Without enough filesystem cache space, performance will suffer. Furthermore, the more memory dedicated to the heap means less available for all your other fields using doc values.
No more than 32 GB
If the heap is less than 32 GB, the JVM can use compressed pointers, which saves a lot of memory: 4 bytes per pointer instead of 8 bytes.
نظرتون چی هست که از داکر برای اجرای الستیک استفاده کنن؟
نزهت ۱۴۷۶۳۴

اول گروه یه عالمه تعریف و تمجید شده بود از الاستیک. به نظر من واسه سیستم‌های کوچیک و بر روی یک ماشین بهتره که از سیستم‌های ساده تر که تنظیمات ساده تری دارن استفاده کرد تا الاستیک. مثل پوستگرس که یه سری قابلیت full search هم داره. بیشتر قابلیت های الاستیک برای پروژه های به نسبت بزرگ و چند نودی دیده میشه.
سلام و وقت بخیر
داکر رو امتحان کردین برای نصب؟
زری ۸۶۹۹۵

سلام و وقت بخیر
داکر رو امتحان کردین برای نصب؟
سلام
نه امتحان نکردم. اگه مشکل حل نشد حتما یه امتحانی می‌کنم پیشنهاد خوبیه.
نزهت ۱۴۷۶۳۴

به نظرم داکر مدیریت بهتری برای رم داشته باشه
طبق تجربه یکی از اساتید که میگفتند بر روی یک ماشین با پردازشگر اتم و همین مقدار رم الستیک رو روی داکر اجرا کردند باید مشکل حل شدنی باشه
زری ۸۶۹۹۵

با دستور bootstrap.mlockall: true توی تنظیمات الاستیک میشه مقدار رم الاستیک رو رزور کرد. من نمی دونم چرا با این وجود دچار مشکل میشه
نزهت ۱۴۷۶۳۴

سلام
نه امتحان نکردم. اگه مشکل حل نشد حتما یه امتحانی می‌کنم پیشنهاد خوبیه.
اگر امتحان کردین لطفا نتیجه رو هم با دوستان به اشتراک بگذارین
زری ۸۶۹۹۵

حتما
ممنون از شما و آقای تقی زاده
جلال ۱۱۳۹۶۴

اول گروه یه عالمه تعریف و تمجید شده بود از الاستیک. به نظر من واسه سیستم‌های کوچیک و بر روی یک ماشین بهتره که از سیستم‌های ساده تر که تنظیمات ساده تری دارن استفاده کرد تا الاستیک. مثل پوستگرس که یه سری قابلیت full search هم داره. بیشتر قابلیت های الاستیک برای پروژه های به نسبت بزرگ و چند نودی دیده میشه.
البته این به نظرم ارتباطی با خود الاستیک نداره
اگر این اشکال واقعا باشه مربوط به لوسن هست که مصرف رم ش مناسب نیست
با این حجم کم ایندکسی که دارید
مشکل رم خیلی عجیب به نظر میاد
صونیا ۷۲۱۰۰

سوال من در مورد Elastitic search اینه که
صونیا ۷۲۱۰۰

به تنهایی کار میک نه یا همرا با هدوپ نصب میشه
جلال ۱۱۳۹۶۴

نظرتون چی هست که از داکر برای اجرای الستیک استفاده کنن؟
تا بحال از داکر استفاده نکردم و تجربه ای توی این زمینه ندارم
زری ۸۶۹۹۵

به تنهایی کار میک نه یا همرا با هدوپ نصب میشه
به تنهایی کار می کنه
جلال ۱۱۳۹۶۴

به تنهایی کار میک نه یا همرا با هدوپ نصب میشه
نیازی به هادوپ نداره
صونیا ۷۲۱۰۰

دوم اینکه با استفاده از کیبانا داده های HDFS رو میشه Visualizeکرد
جلال ۱۱۳۹۶۴

دوم اینکه با استفاده از کیبانا داده های HDFS رو میشه Visualizeکرد
هر دیتایی که توی الاستیک ایندکس بشه
امکان بصری سازیش هست
نزهت ۱۴۷۶۳۴

ساخت یک داشبورد Real-Time با ترکیب Apache Flink 🐿, ElasticSearch و Kibana
https://www.elastic.co/blog/building-real-time-dashboard-applications-with-apache-flink-elasticsearch-and-kibana

@ApacheFlink 🐿
نزهت ۱۴۷۶۳۴

به تنهایی کار میک نه یا همرا با هدوپ نصب میشه
میتونه با ابزارهای دیگر بیگ دیتا مانند فلینک ترکیب بشه
جلال ۱۱۳۹۶۴

سلام. من الاستیک روی سرور با رم ۲ دارم. تقریبا هر روز کراش می کنه و مجبورم دوباره راه اندازی کنم.
elasticsearch[3103]: # There is insufficient memory for the Java Runtime Environment to continue.
elasticsearch[3103]: # Native memory allocation (mmap) failed to map 174456832 bytes for committing reserved memory.
کسی می دونه چجوری این مشکل رو می تونم برطرف کنم؟
تشکر
به نظر میاد این مشکل مربوط به jvm هست
و راه حلش اینه
https://www.theshell.guru/native-memory-allocation-mmap-failed-to-map-xx-bytes-for-committing-reserved-memory-jdk-1-8-centos-6-7/

تست کنید و اگر رفع شد اطلاع بدید
جلال ۱۱۳۹۶۴

سلام. من الاستیک روی سرور با رم ۲ دارم. تقریبا هر روز کراش می کنه و مجبورم دوباره راه اندازی کنم.
elasticsearch[3103]: # There is insufficient memory for the Java Runtime Environment to continue.
elasticsearch[3103]: # Native memory allocation (mmap) failed to map 174456832 bytes for committing reserved memory.
کسی می دونه چجوری این مشکل رو می تونم برطرف کنم؟
تشکر
به نظر میاد این مشکل مربوط به jvm هست
و راه حلش اینه
https://www.theshell.guru/native-memory-allocation-mmap-failed-to-map-xx-bytes-for-committing-reserved-memory-jdk-1-8-centos-6-7/

تست کنید و اگر رفع شد اطلاع بدید
محمدطه ۲۳۷۸۳۴

سلام از دوستان کسی توضیح کاملی از داکر بده و شرایط نصب و راه اندازیش رو تو اینجا بگه
ممنونم
نزهت ۱۴۷۶۳۴

سلام از دوستان کسی توضیح کاملی از داکر بده و شرایط نصب و راه اندازیش رو تو اینجا بگه
ممنونم
@mrzkhd سلام
ایشون مدیر گروه داکر هستند
فکر میکنم بتونن بهتون کمک کنند
كیا ۲۰۲۶۷۲

سلام از دوستان کسی توضیح کاملی از داکر بده و شرایط نصب و راه اندازیش رو تو اینجا بگه
ممنونم
سلام. سوال شما خیلی کلی هست. به همین منظور میتونید به سایت مراجعه کنید. Elastico.io
همینطور دوستان زیادی در موردش تو گروه داکر صحبت کردن که میتونید تو گروه مشاهده کنید
كیا ۲۰۲۶۷۲

برا #تازه_وارد هایی که قصد آشنایی با داکر رو دارند شاید مناسب باشه (به زبان فارسی)👇
https://faranesh.com/programming/14863-docker-in-action
كیا ۲۰۲۶۷۲

داکر (Docker) ابزاریست که با استفاده از اون میشه برنامه ها یا سرویس ها را از همدیگر روی یک سرور جدا کرد و به راحتی آنها را از یک سرور به سرور دیگری به راحتی منتقل کرد. شاید در شروع استفاده از داکر، نحوه کار کردش گنگ به نظر بیاد ولی بعد از شروع استفاده از اون متوجه میشین که داکر میتونه خیلی از مشکلاتی را در مرحله کد نویسی و مخصوصا Dependency ها برامون حل کنه.

در واقع همه برنامه های شامل کدهای اونها، دیتاهای یک برنامه (مثل عکس) ،تنظیمات برنامه و دیتابیس همه میرن داخل یک باکس که همه برنامه های داخل این باکس میتونند با هم کار کنند ولی برنامه های باکس های مختلف نمیتونند به فایلهای یکدیگر دسترسی داشته باشند. یکی از ویژگی های دیگه داکر اینه که راحت میشه این باکس های برنامه ها را از یک سرور به یک سرور دیگه به راحتی انتقال داد.
كیا ۲۰۲۶۷۲

همینطور تو سایت taakestan میتونید وبینار فارسی برای داکر مشاهده کنید
نزهت ۱۴۷۶۳۴

🐿 گروه تخصصی فلینک 💻
آپاچی فلینک به عنوان سریعترین ابزار پردازش کلان داده ها (Big Data) شناخته میشود. مجموعه ای از ابزارها و کتابخانه های نرم افزاری که امکان تحلیل داده های بزرگ و پیش بینی بر اساس آنها بصورت Real Time واقعی را میسر میسازند و بر بستر زبانهای قدرتمند جاوا و اسکالا نوشته شده اند.

در دنیای کلان داده ها دو نوع پردازش یکی بر اساس Batch Processing و دیگری بر اساس Streaming وجود دارد که هرکدام مزایا و معایب خود را دارند، اما در این میان تنها اسپارک و فلینک از این دو روش بصورت ترکیبی استفاده میکنند و تنها فلینک توانایی پردازش بسیار سریع با کمترین تاخیر زمانی را دارد.

از آنجایی که از تولد این تکنوژی زمان طولانی نمیگذرد جامعه توسعه گران بسیار بزرگی به نسبت رقبای قدیمی تر خود ندارد.
اما سرعت و شتاب رشد آن حیرت انگیز است تا جایی که پیش بینی میشود تبدیل به شماره یک در دنیای اوپن سورس کلان داده ها خواهد شد.

از این رو بر آن شدیم با تشکیل گروه و کانال مرتبط با آن ضمن معرفی و جلب توجه توسعه گران ایرانی، محیطی برای انتشار و تبادل تجربیات یکدیگر ایجاد کنیم.

خواهشمندیم با معرفی این متن به دوستان و همکاران توسعه گر خود به بالا بردن سطح آگاهی از این تکنوژی یاری رسانید

لینک گروه:
https://telegram.me/joinchat/CMy3yEBTEZz2JJlj4PjfVA

لینک کانال:
@ApacheFlink 🐿
محمدطه ۲۳۷۸۳۴

از دوستان کسی اسکالا کار کرده
نزهت ۱۴۷۶۳۴

این کانال توسط جناب آقای دکتر امیرحسین آل یاسین یکی از اساتید محترم کارگاه elasticsearch که در تاریخ ۱۸ و ۲۰ آبان ماه۱۳۹۵ در کافه آی تی برگزار گردید ایجاد شده تا ضمن ارایه فایل های مربوطه جهت پاسخ به سوالات مخاطبین رویداد و دیگر علاقه مندان به این موضوع اقدام فرمایند.
@itcafe

@elasticsearch_ir
https://telegram.me/elasticsearch_ir
نزهت ۱۴۷۶۳۴

سخنراني با عنوان "مهندسي سلول هاي بنيادي : هم افزايي مهندسي،بيولوژي و پزشكي"
سخنراني با عنوان "مهندسي سلول هاي بنيادي : هم افزايي مهندسي،بيولوژي و پزشكي"
آرگین ۱۴۰۴۸۹

سلام
از یک برنامه نویس جاوا دارای تجربه کار با Elasticsearch و Elastic geo
با حقوق و مزایای عالی دعوت به همکاری می شود. علاقه مندان رزومه خود را به ایمیل m.abbasifard@yahoo.com ارسال و یا با شماره ۰۹۱۲۳۸۳۸۳۶۵ تماس بگیرند.
ملكا ۱۲۹۶۶۱

راه اندازی Elasticsearch | Elasticsearch مرجع [5.1] |
https://www.elastic.co/guide/en/elasticsearch/reference/current/setup.html
نحوه ی راه اندازی ونصب elastic


@ApacheFlink 🐿
ژاكلین ۸۶۰۹۷

سلام دوستان. کسی در رابطه با موضوعات Recommender system- Collaborative filtering-cold start کار کرده؟
امنه ۴۰۵۹۲

سلام دوستان. کسی در رابطه با موضوعات Recommender system- Collaborative filtering-cold start کار کرده؟
به امیر صدیقی میتونید پیام بدید (@datamania) ایشون بنیان گذار http://recommender.ir/ هستند
ژاكلین ۸۶۰۹۷

به امیر صدیقی میتونید پیام بدید (@datamania) ایشون بنیان گذار http://recommender.ir/ هستند
ممنونم.
نزهت ۱۴۷۶۳۴

🛎️ 📈 میزان آشنایی شما با مباحث کلان داده (Big Data) در چه حدی است؟ @ApacheFlink 🐿

🤓 نام آن را شنیده ام و میخواهم بیشتر درباره آن بدانم – 40
👍👍👍👍👍👍👍 29%

⁦⌨️⁩ در حال یادگیری آن بصورت عملی هستم – 30
👍👍👍👍👍 22%

📚 موضوع تز و پایان نامه من است – 27
👍👍👍👍👍 19%

🔎 بر روی موضوعات مرتبط با آن مطالعات عمومی دارم – 17
👍👍👍 12%

🈲 آشنایی ندارم ⁦ – 11
👍👍 8%

🔧 شغل و حرفه تخصصی من است – 8
👍 6%

⁦✍️⁩ آن را آموزش میدهم و یا در آن صاحب نظر هستم – 6
👍 4%

👥 139 people voted so far.
نزهت ۱۴۷۶۳۴

معرفی اجمالی #آپاچی #فلینک توسط جناب آقای دکتر نیما حبیب زاده مطلق
در #کارگاه یک روزه #کلان_داده، برگزار شده در محل کافه آی تی @itcafe


با ما در کانال تخصصی آپاچی فلینک همراه باشید
@ApacheFlink 🐿
معرفی اجمالی #آپاچی #فلینک توسط جناب آقای دکتر نیما حبیب زاده مطلق
در #کارگاه یک روزه #کلان_داده، برگزار شده در محل کافه آی تی @itcafe


با ما در کانال تخصصی آپاچی فلینک همراه باشید
@ApacheFlink 🐿
ملكا ۱۲۹۶۶۱

http://dl.payamneshan.com/index.html?m=%D8%B9%D9%85%D8%B1%D8%AA%D9%88%D9%86_%D8%A8%D9%87_%D8%A8%D9%84%D9%86%D8%AF%DB%8C_%DB%8C%D9%84%D8%AF%D8%A7&m0=220..&m1=505&m2=21-21%2040051-01-9&m3=0&m4=3&m5=0%2F0lo2jg939bj.p&m6=000111&m7=ffffff&m8=%D8%B4%20%D9%85%20%D9%87%D8%B4%D8%B1%D9%86%20%D9%86%D9%88%D9%86%20%D8%AE%D8%AF%D9%88%20%D8%AB%20%D8%B3%D9%87%D8%A8%D8%B4%D8%A7%D8%A8%20%DB%8C%DB%8C%DB%8C%D9%87%D8%AF%D8%A7%D9%87%0A%D9%86%D8%AA%D9%86%D9%85%D9%84%D9%BE%D8%AA%20&m9=%D9%88%D8%B9%D8%B1%D9%88%20%D9%87%D8%A8%D9%86%DB%8C%DB%8C%D8%AF%20%D8%B4%20%D9%84%D8%A7%D9%85%D8%A7%DA%A9%20%D9%85%D8%AA%D9%86%D8%A8%20%D9%84%D8%AF%20%D9%84%D8%A7%0A%D8%A8%DB%8C%D8%AF%20%D8%A8%D8%B1&m10=0&m11=3&m12=0%2FaeMhanahbYlam35HmdazriSaead.p&m14=frwrieok&m15=0&m19=0&m20=fa&u=yon_yaldacard5
صونیا ۷۲۱۰۰

كسي الستيك رو رو هدوپ بالا آورده؟
مهدی یار ۳۵۸۹۷

كسي الستيك رو رو هدوپ بالا آورده؟
برای ذخیره سازی داده Elasticsearch از روش های storage خودش که در واقع همون روش های storage در Lucene ولی به صورت توزیع شده هست استفاده می کنه و نیازی به هدوپ نداره. اگر چه برای استفاده از Elasticsearch با سایر تکنولوژی های بر مبنای هدوپ ES-Hadoop استفاده میشه، ولی نه برای ذخیره سازی داده های Elasticsearch روی هدوپ، بلکه برای ارتباط در سطح API (به عنوان نمونه لود کردن داده های روی Elasticsearch و انجام تحلیل توسط Spark و دوباره ذخیره کردن داده ها روی Elasticsearch) . البته در یک مورد خاص اگر بخواید داده های Elasticsearch رو روی HDFS بک آپ گرفته بشه هم می تونید با استفاده از ES-Hadoop این کار رو انجام بدید. ولی در حالت کلی ذخیره سازی داده در Elasticsearch کاملا مستقل ار راه حل های بر مبنای هدوپ هست.
مهدی یار ۳۵۸۹۷

لینک ES-Hadoop:
https://www.elastic.co/products/hadoop
نزهت ۱۴۷۶۳۴

برای ذخیره سازی داده Elasticsearch از روش های storage خودش که در واقع همون روش های storage در Lucene ولی به صورت توزیع شده هست استفاده می کنه و نیازی به هدوپ نداره. اگر چه برای استفاده از Elasticsearch با سایر تکنولوژی های بر مبنای هدوپ ES-Hadoop استفاده میشه، ولی نه برای ذخیره سازی داده های Elasticsearch روی هدوپ، بلکه برای ارتباط در سطح API (به عنوان نمونه لود کردن داده های روی Elasticsearch و انجام تحلیل توسط Spark و دوباره ذخیره کردن داده ها روی Elasticsearch) . البته در یک مورد خاص اگر بخواید داده های Elasticsearch رو روی HDFS بک آپ گرفته بشه هم می تونید با استفاده از ES-Hadoop این کار رو انجام بدید. ولی در حالت کلی ذخیره سازی داده در Elasticsearch کاملا مستقل ار راه حل های بر مبنای هدوپ هست.
,ممنونم جناب آل یاسین
استفاده بردیم
مهدی یار ۳۵۸۹۷

,ممنونم جناب آل یاسین
استفاده بردیم
🙏🏻
نزهت ۱۴۷۶۳۴

ابزار رایگان و قدرتمند آموزش زبانهای برنامه نویسی پایتون، جاوا و ... بر روی تلفن همراه یا محیط وب
به همراه شبیه ساز محیط کد نویسی جهت آزمایش مطالب آموزش داده شده

https://www.sololearn.com/



@ApacheFlink 🐿
نزهت ۱۴۷۶۳۴

✔️ پیشرفت بزرگ مایکروسافت در زمینه هوش مصنوعی


🔴  http://digiro.ir/?p=51473

➖➖➖➖
🆔 @digiro
✔️ پیشرفت بزرگ مایکروسافت در زمینه هوش مصنوعی


🔴 http://digiro.ir/?p=51473

➖➖➖➖
🆔 @digiro
پویان ۲۲۸۶۳۵

سلام خدمت دوستان
پویان ۲۲۸۶۳۵

اگر امکانش هست
PDF
و یا
Link
جهت یادگیری Elasticsearch و کارایی اون بذارید
پویان ۲۲۸۶۳۵

درود برشما
پویان ۲۲۸۶۳۵

نزهت ۱۴۷۶۳۴

اطلاع رسانی رویداد:

⬅️⬅️⬅️کارگاه آموزشی پایتون برای داده کاوی ➡️➡️➡️

🕓 مدت دوره: ۴۰ ساعت

🗒پیش نیاز: اشنایی اولیه با مفاهیم اولیه برنامه نویسی و علاقه مند به یادگیری مباحث روز فن اوری تحلیل دیتا

🎯 اهداف دوره: اشنایی مقدماتی و پیشرفته با زبان مفسری پایتون با هدایت کاربر به سمت تحلیل بهتر دیتا

🔷 مدرس: دکتر مهدی حبیب زاده، فارغ التحصیل دانشگاه کنکوردیا کانادا و مدرس دانشگاه


✅ در انتهای این دوره دانشجویان قادر خواهند بود: دانشجویان با زبانی بسیار توانمند که امکان بسط و توسعه و کاربرد ان در علوم مختلف میسر است اشنا خواهند شد و همچنین دانشجویان در جلسات قسمت دوم با مباحث تجمیع دیتا- آنالیز دیتا – پردازش تصویر – یادگیری ماشین – وب کاوی نیز به خوبی اشنا می شوند.

اطلاعات بیشتر و ثبت نام:
http://neurochallenge.ir/fa/python/
@uxneurochallenge
#neurochallenge #Bigdata #datamining #workshop #python
نزهت ۱۴۷۶۳۴

کارگاه آشنایی با دیتابیس های Nosql، سه شنبه، ۲۸ دی ماه، ساعت ۱۷:۳۰
ارایه دهنده: آقای دکترمهدی حبیب زاده مطلق

لینک ثبت نام:
https://evand.com/events/itcafe-mdb

@itcafe

@ApacheFlink 🐿
کارگاه آشنایی با دیتابیس های Nosql، سه شنبه، ۲۸ دی ماه، ساعت ۱۷:۳۰
ارایه دهنده: آقای دکترمهدی حبیب زاده مطلق

لینک ثبت نام:
https://evand.com/events/itcafe-mdb

@itcafe

@ApacheFlink 🐿
نائیری ۹۹۴۳۹

پایگاه دانش و مستندات آموزشی
اشتراک گذاری و دانش افزایی در:
1- فناوری اطلاعات، هوش تجاری، شبکه بانکی، پرداخت و تجارت الکترونیک و استارتاپها
2- گزیده اخبار، مستندات علمی و آموزشی مرتبط (کتب،نشریات،مقالات و..)
3- پیامها و سخنان آموزنده
نشر اخبار،نظریات و مقالات به معنای تایید آن نیست
https://t.me/KMnewsDoc
آرنیس ۳۴۷۱۵

سلام دوستان
من در حال شروع کار با الستیک سرچ هستم و درحال نصب Marvel روی سرور debian هستم. با کمک داکیومنتهایی که داخل خود سایت الستیک سرچ بود بالاخره فهمیدم که روی سرورهای deb based باید چطوری marvel رو نصب کرد. داخل سایت گفته شده که با اجرای دستورات زیر license و marvel-agent نصب میشن .
cd /usr/share/elasticsearch
sudo bin/plugin install license
sudo bin/plugin install marvel-agent
البته من فایل plugin رو در فولدر bin ندارم و به جای اون فایل elasticsearch-plugin رو دارم. اما با اجرای این دستور ارور زیر رو به من میده
ERROR: Unknown plugin license
با روش آفلاین هم که میخوام امتحان کنم هیچ فایلی برای دانلود نمیاد. میخواستم بدونم مشکل کار من کجاست. ممنون میشم راهنمایی کنید.
مهدی یار ۳۵۸۹۷

سلام دوستان
من در حال شروع کار با الستیک سرچ هستم و درحال نصب Marvel روی سرور debian هستم. با کمک داکیومنتهایی که داخل خود سایت الستیک سرچ بود بالاخره فهمیدم که روی سرورهای deb based باید چطوری marvel رو نصب کرد. داخل سایت گفته شده که با اجرای دستورات زیر license و marvel-agent نصب میشن .
cd /usr/share/elasticsearch
sudo bin/plugin install license
sudo bin/plugin install marvel-agent
البته من فایل plugin رو در فولدر bin ندارم و به جای اون فایل elasticsearch-plugin رو دارم. اما با اجرای این دستور ارور زیر رو به من میده
ERROR: Unknown plugin license
با روش آفلاین هم که میخوام امتحان کنم هیچ فایلی برای دانلود نمیاد. میخواستم بدونم مشکل کار من کجاست. ممنون میشم راهنمایی کنید.
چه نسخه ای از elasticsearch رو نصب کردید؟
آرنیس ۳۴۷۱۵

آخرین ورژنی که روی سایت بود
5.1.1
البته الآن تونستم با vpn نسخه آفلاین رو دانلود کنم!
ممکنه اون حالت آنلاین هم دقیقا بخاطر همین موضوع پلاگین رو نمیشناسه
مهدی یار ۳۵۸۹۷

آخرین ورژنی که روی سایت بود
5.1.1
البته الآن تونستم با vpn نسخه آفلاین رو دانلود کنم!
ممکنه اون حالت آنلاین هم دقیقا بخاطر همین موضوع پلاگین رو نمیشناسه
بعد از نسخه 5، Marvel جزئی از X-Pack هست و باید X-Pack را نصب کنید با این دستور:
bin/elasticsearch-plugin install x-pack

البته وقتی X-Pack رو نصب می کند Marvel برای 30 روز کار می کنه، برای اینکه بتونید همیشه ازش استفاده کنید باید توی سایت برای Free License ثبت نام کنید.
https://www.elastic.co/subscriptions
مهدی یار ۳۵۸۹۷

که البته Marvelی که با Free License باشه یک سری محدودیتهایی داره که در صفحه بالا اشاره شده.
آرنیس ۳۴۷۱۵

آها خب پس یعنی اگر به shield هم نیاز داریم نمیتونیم رسما رایگان ازش استفاده کنیم؟ مگه اینکه نسخه های قدیمی تر elastic رو نصب کنیم. درسته؟
مهدی یار ۳۵۸۹۷

آها خب پس یعنی اگر به shield هم نیاز داریم نمیتونیم رسما رایگان ازش استفاده کنیم؟ مگه اینکه نسخه های قدیمی تر elastic رو نصب کنیم. درسته؟
نسخه 5 به بعد shield جزئی از x-pack هست و فقط 30 روز رایگان می تونید استفاده کنید. ولی با استفاده از یه راه هایی می تونید استفاده کنید همیشه اگه براتون مهم نباشه که سرورتون هر 30 روز restart بشه. اینطور که elasticsearch رو با داکر نصب کنید و volumeها دیتا elasticsearch رو روی هاستتون نگاشت کنید. اینطوری اگر هر 30 روز داکر رو پاک کنید و دوباره run کنید چون داکر immutable هست دوباره می تونید از اون 30 روز رایگان shield استفاده کنید.