Połączenie OleDb z programem Excel; jak wybrać stałą szerokość, nieograniczoną wysokość?

Question

Używam OleDb do wybierania danych z arkuszy kalkulacyjnych programu Excel. Każdy arkusz kalkulacyjny może zawierać wiele małych tabel i ewentualnie mebli, takich jak tytuły i etykiety. Więc może wyglądać tak, gdzie mamy dwie tabele i kilka tytułów;

 
      A   B   C   D 
    1 .   .   .   . 
    2 .   .   .   . 
    3 Table1  .   .   . 
    4 Header1  HEADER2 .   . 
    5 h   huey  .   . 
    6 d   dewey  .   . 
    7 l   loius  .   . 
    8 s   scrooge .   . 
    9 .   .   .   . 
    10 .   .   .   . 
    11 .   .   .   . 
    12 .   .   .   . 
    13 .   Table 2 .   . 
    14 .   HEADER1 HEADER2 HEADER3 
    15 .   1   foo  x 
    16 .   2   bar  y 
    17 .   3   baz  z 
    18 .   .   .   . 
    19 .   .   .   . 

W poprzednim kroku użytkownik wybrał nagłówki interesującej go tabeli; w tym przypadku, patrząc na tabelę 2, wybiorą zakres B14:D14.

Ustawienia te są zapisywane, a następnie muszę wysłać zapytanie do tej tabeli. Może się zdarzyć w kółko, ponieważ dane w arkuszu kalkulacyjnym są aktualizowane; więcej wierszy może być dodanych w dowolnym momencie, ale nagłówki są zawsze stałe. Istnieje znacznik (pusty wiersz) oznaczający koniec danych.

Aby wybrać dane w tabeli, piszę takie zapytanie;

SELECT * FROM [Sheet1$B14:D65535] 

w celu wybrania danych w tabeli 2, a następnie ręcznego sprawdzania wiersza wskaźnika, ale wydaje się to niesatysfakcjonujące. W programie Excel 2003 można przeczytać tylko 65 535 wierszy (uint16), ale program Excel 2007 może czytać o wiele więcej (uint32), więc muszę napisać kod, który daje inne zapytanie dla programu Excel 2003 i 2007 na podstawie rozszerzenia pliku (.xls vs. xls?).

Czy ktoś wie o sposobie napisania zapytania, które mówi;

• "wybierz wszystko w dół i na prawo od B14"?
• 'zaznaczyć wszystko w kolumnach B-> D'
• 'wybierz B12: D *', gdzie * oznacza 'wszystko można'

Answer 1

Wymaganie wstępne: w kodzie można łatwo określić, jaka jest maksymalna liczba wierszy.

Zakładając (1) na SELECT jest duży narzut, więc WYBIERANIE wiersza na raz jest wolne (2) WYBIERANIE wierszy 64K lub 8M (nawet jeśli puste) jest wolne ... więc chcesz zobaczyć, czy gdzieś w środek może być szybszy. Wypróbuj to:

Wybierz jeden wiersz CHUNKSIZE (na przykład 100 lub 1000) naraz (mniej, gdy w przeciwnym razie przekroczysz MAX_ROWS). Skanuj każdy fragment pustego wiersza oznaczającego koniec danych.

UPDATE: Właściwie odpowiadając bezpośrednimi pytaniami:

Q: Czy ktoś zna sposób, aby napisać kwerendę, która mówi, albo;

Q1: "wybierz wszystko w dół i w prawo od B14"?

A1: select * from [Sheet1$B12:] nie działa. Trzeba by zrobić ...B12:IV w programie Excel 2003 i cokolwiek to jest w programie Excel 2007. Jednak nie jest to potrzebne, ponieważ wiesz, co jest kolumną po prawej stronie; patrz poniżej.

Q2: 'zaznaczyć wszystko w kolumnach B-> D'

A2: select * from [Sheet1$B:D]

Q3: 'wybierz B12: D *', gdzie 'wszystko można' * znaczy

A3: wybierz * z [Sheet1 $ B12: D]

Testowany przy pomocy Pythona 2.5 za pomocą następującego kodu:

import win32com.client 
import sys 
filename, sheetname, range = sys.argv[1:4] 
DSN= """ 
    PROVIDER=Microsoft.Jet.OLEDB.4.0; 
    DATA SOURCE=%s; 
    Extended Properties='Excel 8.0;READONLY=true;IMEX=1'; 
    """ % filename 
conn = win32com.client.Dispatch("ADODB.Connection") 
conn.Open(DSN) 
rs = win32com.client.Dispatch("ADODB.Recordset") 
sql = (
    "SELECT * FROM [Excel 8.0;HDR=NO;IMEX=1;Database=%s;].[%s$%s]" 
    % (filename, sheetname, range) 
    ) 
rs.Open(sql, conn) 
nrows = 0 
while not rs.EOF: 
    nrows += 1 
    nf = rs.Fields.Count 
    values = [rs.Fields.Item(i).Value for i in xrange(nf)] 
    print nrows, values 
    if not any(value is not None for value in values): 
     print "sentinel found" 
     break 
    rs.MoveNext() 
rs.Close() 
conn.Close() 

Answer 2

Para możliwych rozwiązań:

1. Połóż tabele w oddzielnych arkuszach roboczych, po prostu zapytaj cały arkusz roboczy.
2. Każdej tabeli w programie Excel podaj nazwę (w programie Excel 2007 wybierz tabelę, kliknij prawym przyciskiem myszy i wybierz Nazwij zakres ...), następnie w zapytaniu użyj tej nazwy zamiast "Arkusz1 $ B14: D65535" .

Nadzieję, że pomaga.

EDIT

Oto trzecia idea:

Nie jestem pewien, co używasz do kwerendy bazy danych, ale jeśli silnik zapytań obsługuje zmienne (jak SQL Server, na przykład) można zapisać wynik ...

SELECT COUNT (*) FROM NameOfServer ... Arkusz1 $

... w zmiennej o nazwie @UsedRowCount, który daje liczbę wierszy faktycznie wykorzystanycharkusz roboczy. Tak więc @UsedRowCount = LastRowUsed - InitialBlankRows.

Możliwe, że będziesz mógł użyć konkatenacji ciągów do zamiany "65535" na @UsedRowCount + @InitialBlankRows. Będziesz musiał ustawić @InitialBlankRows na stałą (w twoim przykładzie będzie to 3, ponieważ wiersz nagłówka pierwszej tabeli znajduje się w Wierszu 4).

Answer 3

Mówisz, że w poprzednim kroku użytkownicy wybrali nagłówki. Kto może powiedzieć, że poniżej obszaru obecnego zainteresowania nie ma kilku pustych wierszy, a po nich następnej niepowiązanej tabeli? Sugeruję, aby je ustawić na wybrać cały zakres, który jest zainteresowany - który powinien rozwiązać oba problemy.

Answer 4

Chciałbym pójść z rozwiązaniem od Johna (czytając 1000 wierszy na raz).

Jeśli masz zainstalowany program Excel, możesz również użyć automatyzacji OLE.

Zapisałem proste makro w programie Excel, które wybiera ostatnią komórkę w bieżącej tabeli.

Sub Macro2() 
    Range("B14").Select 
    Selection.End(xlDown).Select 
    //MsgBox ActiveCell.Address, vbOKOnly 
End Sub 
 

Teraz wystarczy przetłumaczyć to w C# i odczytać adres aktywnej komórki.

Answer 5

Czytamy cały arkusz kalkulacyjny (np .: SELECT * FROM [Sheet1 $]) i obsługujemy wszystko inne w naszym kodzie aplikacji. Łatwo jest prześcignąć wynikowy OleDbDataReader, aby dostać się do punktu początkowego danych i rozpocząć przetwarzanie.

Może to nie być absolutnie najszybszy sposób na pobieranie danych z programu Excel, ale jest niezawodny.