ebdata

ebdata oferă cod pentru a ajuta la a scrie script-uri care importă / crawl / analiza datelor de pe Web în ebpub, precum și extract (SUA) adrese de strazi din (limba engleză) text.
Acest pachet face parte din OpenBlock. Inițial dezvoltat pentru EveryBlock.com.
Pentru mai multe informații, consultați documentația sau site-ul proiectului.
Probleme pot fi raportate la problema tracker.
Discuție este pe grupul Google ebcode sau canalul #openblock pe Freenode.
Instalare
Nu încercați doar să easy_install sau pip instala ebdata. Ea are o mulțime de dependențe specifice, care nu pot / nu trebuie capturat de setup.py.
În schimb, consultați documentația completă la http://openblockproject.org/docs/install/index.html

What este nou în această versiune:

• Caracteristici noi:
• hărți Big partajabile: & quot; Exploreaza aceste elemente pe o hartă mai mare & quot; link pe toate listele de știri specifice acestui tip. De exemplu, http://demo.openblockproject.org/photos/filter/locations=neighborhoods,financial-district/ link-uri la http://bit.ly/njmZT6 care este partajabil prin permalink. (Există, de asemenea, sprijin pentru integrarea nedocumentat acestea prin iframe.)
• comentariile NewsItems. Necesită logare, iar schima trebuie să aibă allow_comments = true și has_detail = True. Are nevoie de docs.
• contribuit de utilizator & quot; Vecinul Mesaje & quot; și & quot; Vecinul Evenimente & quot; tipuri de știri, în pachetul ebpub.neighbornews. Are nevoie de docs.
• Suport mai bun pentru a rula într-o zonă multi-city:
• noi get_city_locations () funcție pentru a obține o listă cu toate locațiile care LocationType potrivește "city_location_type 'din settings.METRO_LIST.
• -. Opțiune pentru a bloca script-uri de import (și UI admin) FIX-orașe care permit fixarea blocuri importate, astfel block.city Meciuri o suprapunere-city ish Locatie existente
• curata intersecții și străzi la import, astfel încât acestea sunt regenerate în siguranță. Săriți opțional regenerare.
• unele bugfixes URL aferente.
• Import Locuri dintr-un fișier CSV prin interfața de administrare. Are nevoie de docs.
• Data și ora Picker widget-uri pe forme, dacă este cazul. (# 186)
• aspect import sprijină de filtrare de măsură implicit metrou, nu doar numele orașului. # 160
• Suport pentru evenimente viitoare, știri nu doar recent. Mai multe raclete sprijini acest: AM / Boston / evenimente screper, și generale / Meetups / racleta, și pachetul neighbornews. Vezi docs în docs / pachete / ebdata.rst. (Ticket # 246)
• Adăugat o racleta pentru Meetup.com, în ebdata / raclete / generale / meetups. E-configurare zero: doar bucle pe codurile zip și găsește toate meetups pentru cei. E la ebdata / raclete / generale / Meetup / meetup_retrieval.py și schema asociat poate fi încărcat astfel: loaddata django-admin.py ebdata / raclete / generale / Meetup / meetup_schema.json Va trebui să setați MEETUP_API_KEY în setările. py. (Ticket # 208)
• Adaugă o opțiune --reset a update_aggregates script, șterge toate agregatele și începe peste. (Bilet de avion # 221)
• Adăugați un script ebpub / bin / delete_newsitems.py, util în timpul dezvoltării schema: șterge toate newsitems și atributele și căutările unui anumit schema
.
• adăuga asemenea --quiet, --verbose, --dry-run, și help opțiunile de linie de comandă pentru a update_aggregates.

Alerte
• e-mail pot fi trimise prin intermediul unui script de linie de comandă. (Legate de bilet # 65). Include docs pentru cum să-l configurați cu cron.
• Email înscriere alertă poate fi dezactivată prin eliminarea "ebpub.alerts" din settings.INSTALLED_APPS. (Ref bilet # 65).
• obdemo include Flickr și Meetup in tipuri de știri implicit.
• Flickr raclete (bilet # 26). E la ebdata / raclete / generale / flickr / flickr_retrieval.py și schema asociat poate fi încărcat astfel: django-admin.py ebdata loaddata / raclete / generale / flickr / photos_schema.json Va trebui să setați FLICKR_API_KEY și FLICKR_API_SECRET în settings.py.
• locații importurilor din shapefile în UI admin (bilet # 59). Cu documentație (bilet # 234).
• blocuri importurilor din shapefile în UI admin. De asemenea, populează străzile, blockintersections, și intersecții. (Bilet de avion # 215)
• Puteți seta acum tipul locație implicită prin settings.DEFAULT_LOCTYPE_SLUG. (# 148)
• Adăugați opțiuni --verbose și --quiet la o grămadă de script de linie de comandă și raclete.
• Nu email erori răzuitoare implicit. Asta e doar nu frumos, și cron face deja asta.
• Toate raclete oferite log acum settings.SCRAPER_LOGFILE_NAME.
• aplicații personalizate generate prin Paster crea openblock -t acum includ un fișier WSGI pentru utilizarea cu mod_wsgi, un setări alternative fișier pentru utilizarea cu process_tasks django-admin, un cron configurare schelet, manage.sh executabil și fișiere manage.py. De asemenea, manage.sh este acum mai bine la găsirea automat și activarea virtualenv.
• obdemo include, de asemenea, un fișier de exemplu cron configurare, un fișier manage.sh, și ALT. Setări fișier. Și nu mai are, de exemplu, updaterdaemon config.
• Amazon EC2 nostru AMI va folosi acum cron, mai degrabă decât updaterdaemon. O mulțime de alte remedieri în scripturi EC2 prea.
• Bugs fix:
• Harta fixă ​​rupt pe pagina fluxuri, biletul # 237.
• Adaugata legături lipsă de forma schimbare a parolei.

Protecție
• CSRF pretutindeni, biletul # 185. (Ca efect secundar suntem acum, folosind JQuery 1.5.2.)
• Block import: (ex. & Quot; 12-100 Main St & quot; mai degrabă decât & quot; 100-12 Main St & quot;) nume generate acum fel numeric corect
• Block import: Nu încercați să ghiciți right_from, right_to dacă nu sunt prevăzute; asta înseamnă de obicei există într-adevăr este nimic pe acea parte a străzii.
• Boston demo:. inspecții restaurant racleta fixată pentru a caza schimbări marcare
• De-hardcoded & quot; cartiere & quot; din diferite URL-uri. (# 148)
• UI Cod postal import nu are nici un stat implicită (pentru a evita selectarea Alabama din greșeală).
• Cod postal import stabilește acum data creării (# 233)
• Eliminat NewsItem confuz & quot; Despre & quot; pagina. (# 228)
• harta eliminat din lista NewsItem în UI admin, a fost prea lent. (# 219)
• SavedPlace impune acum că are, fie un bloc sau o amplasare dar nu ambele. (# 213)
• Produse afisate pe harta de la pagina filtru schema folosi acum aceleași filtre ca elementele de pe pagina. (# 121)
• Suport 2010 US Census fișiere tigru (bilet # 147). Folositi-le pentru demo Boston.
• Georeport / open311 racleta: suport parametru neoficial "pagina" (bilet # 245); De asemenea, utilizați câmpul "adresă" pentru LOCATION_NAME dacă există.
• SeeClickFix racleta: permite city si de stat params, nu hardcode la Boston; bilet # 243.
• place_detail_overview nu a fost de fapt de filtrare de loc.
• Data ajax grafice ar exploda dacă nici un rezultat găsit.
• bilet Fix # 77:. Acum filtrarea știri de item_date loc de pub_date deoarece aceasta este data la care este prezentat și utilizate pentru agregate
• Fix & quot; Arată / Ascunde & quot; butoanele de pe locul pagina detaliu și pagina de cont. (Bilete # 204, # 115, 236)
• Fixed bug care a cauzat multe & quot; Necunoscut & quot; locatii din diagrame localizare. (Bilet de avion # 192). Și îndepărtat & quot; necunoscute & quot; în întregime din graficul.
• Locatii nu au fost valorificate pe unele pagini. (Bilet de avion # 202)
• mai multe erori legate de limitele-in Locație import (datorită Bret Walker) fixe.
• Scraper care creează datetimes-fus orar conștient nu mai sufla.
• GeoReport racleta: racla o cantitate rezonabilă de zile, nu de 60 de fiecare dată naibii. Și de a face paginare (bilet # 245)
• GeoRSS racleta: Dacă în față / coordonate înapoi încercare inversat: -
• GeoRSS screper:. Treci produs fără LOCATION_NAME
• Fix unele bug-uri de comanda de migrare.
• parse_date nu mai explodează dacă alimenta o data sau datetime instanță.
• remedieri CSS pentru diagrame data Ajax pe pagina de ansamblu locație.
• Documentație:
• O mulțime mai multe docs despre încărcarea datelor geografice.
• configurare email Document. (Bilet de avion # 205)
• Document ceea ce veți obține atunci când faci Paster crea openblock -t.
• Mai multe documente despre care rulează pe Amazon EC2.
• Descrieți diferențele de Everyblock
• Mai multe help_text adăugat mai multe domenii model UI astfel admin este puțin mai mult de auto-documentare.
• Multe multe actualizări minore și trucuri.
• Altele:
• modernizate la OpenLayers 2.11. (Bilet de avion # 250)
• modernizate pentru Django 1.3.1.
• modernizate la JQuery 1.5.2.
• eliminate unele etichete șabloane neutilizate (SHORT_NAME, STATE_ABBREV, EB_SUBDOMAIN).
• Eliminat versiune veche de cod hartă pop-up.

Ce este nou în versiunea 1.0.1 :