HDF5 لبيانات القراد

[crisopeda]

مرحبا،

هل يستخدم أي شخص منك HDF5 بدلاً من قاعدة بيانات علائقية مثل (MySQL ، PostgreSQL)

إذا كان الأمر كذلك ، ما هي تجربتك مع ذلك للعمل مع فوركس داتا؟

[anpdnay979]

مرحبا ، هل أي شخص منكم يستخدم HDF5 بدلا من قاعدة بيانات علائقية مثل (MySQL ، PostgreSQL) إذا كان الأمر كذلك ، ما هي خبرتك معها للعمل مع فوركس داتا؟

لقد حققت في الأمر للحصول على تخزين العلامة واكتشافها دون المستوى الأمثل (على الأقل بالنسبة لي). القضية الرئيسية هي أنه مصمم. بمعنى أنه يجب عليك تحديد حجم المصفوفة (مثال: 4 مل من علامات التجزئة). تتطلب إضافة علامات التجزئة الجديدة تغيير حجم المصفوفة (التي قد تكون سريعة). هذا ممكن ، لكني لا أستمتع بالعمل بهذه الطريقة. حتى أكون مخطئا ، راجع للشغل ، أنا فقط حققت ذلك لبضع ساعات. لقد قمت بتنزيل جميع بيانات التجزئة من 4 وسطاء: FXCM و dbFX و Dukascopy جنبا إلى جنب مع GAIN Capital. لقد خلقت مضغوط مخصصة للحفاظ على ترتيب تخزين القراد لهم. لدي 10 جيجابايت عندما يتم حفظها كمستندات CSV لبيانات التجزئة ، والتي قد تستغرق 200 غيغابايت. إن البنية والضغط الخاص بي يحققان متوسط ​​2 بايتعلامة. أقوم بتخزين علامات التجزئة مع الحد الأدنى من عدد البايتات المطلوبة (4 بايت للطابع الزمني ، 3 بايت للمزايدة ، 2 بايت للتوزيع ، اطلب أن يكون العرض تفريق). أنا أستنشق مع LZMA (واحد من ضواغط من 7-الرمز البريدي). يتم تخزين القراد من كل ظهيرة في وثيقة منفصلة ، مثل FXCMEUR_. ضع علامة ، ... أضع أيضا في رأس كل ملف جميع البيانات التي لدي - اسم وسيط ، API المستخدمة ، واسم الزوج ، وعدد العد ، وتاريخ الاسترجاع ، بحيث عندما تختلط الملفات ، وأنا لن لديك قضية تلجأ لهم. لدي الآن 100.000 ملف ، لكنني أرغب في تجميعها ، من خلال الاحتفاظ بها في أرشيف شهري. حاولت استخدام SQLite في البداية ، ولكن لا مقياس ، ولا حتى الشموع M1. سيتم التعامل مع المزيد من خلال postgreSQL ، لكنه بالتأكيد لا يستطيع إدارة الرقم. في العمل (أنا مبرمج كمبيوتر) يستخدم واحد لدينا نظام HBase لتخزين البيانات الهائل. قد ترغب في البحث ، ومع ذلك ، فإنها تحتاج إلى مجموعة للاستخدام الأمثل (لديهم 10 آلات في هذا الوقت وتوفر حوالي 2 تيرابايت من البيانات ، 1 مليار وثيقة). EDIT: صورة برنامج التحميل الخاص بي في وضع التقدم - http://dl.dropbox.com/u/190212/public/tick.png

[crisopeda]

شكرا Adal ، يبدو مثير للاهتمام للغاية. في الوقت الحالي اخترت المضي قدما في HDF5.

[فجر عاسم]

هل لدى أي شخص أي إدخال جديد من خلال لقاء تخزين العلامة الخاصة بك؟ أنا أتطلع إلى هذا. شكر!