查看具有*lots*列的表的最佳方式

本文关键字:最佳 方式 lots | 更新日期: 2023-09-27 17:48:49

冒着被降级的风险,我想问一下,使用C#从带有列的表中查看数据的最佳机制是什么(对于这里固有的实践违规来说,最佳机制显然是主观的)。我说的很多,是指1000左右。

现在,在你获得所有点击率之前,或者抛出诸如"为什么你会有一个有那么多列的表"之类的回答之前,让我说这实际上是设计需求的一部分。我们正在以最快的速度从1000个数据点收集数据。我们需要尽可能快地储存这些,因此才有了平板。数据需要从SQL Server直接访问,因此数据库也需要直接访问(我们使用的是带有表直接的SQL Compact)。

所以,现在让我们忘记我们所学到的关于正确的数据库设计、规范化规则等的所有知识,只关注这样一个事实:我有一个有1000列的表,我希望能够在屏幕上显示数据,以验证数据是否真的在那里。

我试过一个数据网格。它之所以令人恶心,是因为(毫不奇怪)它的设计并不是为了处理那么多列。

我已尝试在Studio中使用查看器。它在256之后呕吐,加上最终用户无论如何都不会安装Studio。

目前,结果不需要漂亮,不需要可更新,也不需要对数据变化敏感——只需要在给定时间点对表中的数据进行静态快照。

相关(或半相关)信息:

  • 表有1000列(点击前阅读以上内容)
  • 使用SQL Compact 3.5版
  • 在桌面上运行
  • 正在查找托管代码答案

查看具有*lots*列的表的最佳方式

如果您要实现自己的自定义用户控件,您可以执行这样的鱼眼网格:

死图像链接

此示例显示了一个全尺寸3x4面板在9x10桌子内移动。由于(我认为)您不需要编辑这些数据,UI可以是用户抓住面板并拖动它的地方。如果你真的很受虐和/或有很多空闲时间,你甚至可以在同一个网格上有多个鱼眼面板,这样你就可以同时比较网格的一个或多个区域。

更新:Silverlight显然有这样一个。有点。

您可以将所有数字格式化为带空格的n字符字符串,然后以固定宽度的字体显示。

1       2       3       4       6      36     436    6346
2       3       4       6      36     436    6346       0
3       4       6      36     436    6346       3       4
4       6      36     436    6346     333     222     334

好的,对我来说正确的答案是使用ReportViewer控件,但不是以MSDN中记录的任何方式。问题是我有动态数据,所以我需要一个动态报告,所有的教程等等似乎都认为你可以在设计时了解一切,这样你就可以在向导中点击。

这个解决方案最终需要几个部分。首先,我必须创建代码来动态生成RDLC,ReportViewer使用RDLC来描述报告布局以及哪些数据字段映射到什么。这就是我想到的:

public static Stream BuildRDLCStream(
    DataSet data, string name, string reportXslPath)
{
  using (MemoryStream schemaStream = new MemoryStream())
  {
    // save the schema to a stream
    data.WriteXmlSchema(schemaStream);
    schemaStream.Seek(0, SeekOrigin.Begin);
    // load it into a Document and set the Name variable
    XmlDocument xmlDomSchema = new XmlDocument();
    xmlDomSchema.Load(schemaStream);        
    xmlDomSchema.DocumentElement.SetAttribute("Name", data.DataSetName);
    // load the report's XSL file (that's the magic)
    XslCompiledTransform xform = new XslCompiledTransform();
    xform.Load(reportXslPath);
    // do the transform
    MemoryStream rdlcStream = new MemoryStream();
    XmlWriter writer = XmlWriter.Create(rdlcStream);
    xform.Transform(xmlDomSchema, writer);
    writer.Close();
    rdlcStream.Seek(0, SeekOrigin.Begin);
    // send back the RDLC
    return rdlcStream;
  }
}

第二部分是我从Dan Shipe的博客上取下的XSL文件。那里的RDLC代码非常没有价值,因为它都是为Web使用而设计的,但XSL是纯金的。为了完整起见,我把它放在了这篇文章的底部,以防博客离线。

一旦我有了这两个部分,只需要创建一个带有ReportViewer控件的Form,然后使用以下代码进行设置:

ds.DataSetName = name;
Stream rdlc = RdlcEngine.BuildRDLCStream(
    ds, name, "c:''temp''rdlc''report.xsl");
reportView.LocalReport.LoadReportDefinition(rdlc);
reportView.LocalReport.DataSources.Clear();
reportView.LocalReport.DataSources.Add(
    new ReportDataSource(ds.DataSetName, ds.Tables[0]));
reportView.RefreshReport();

这里的关键是"ds"是一个DataSet对象,其中包含要显示的数据的单个DataTable。

同样,为了完整起见,这里是XSL——对大小感到抱歉:

    <?xml version="1.0"?>
    <!-- Stylesheet for creating ReportViewer RDLC documents -->
    <xsl:stylesheet version="1.0"
      xmlns:xsl="http://www.w3.org/1999/XSL/Transform"
      xmlns:msxsl="urn:schemas-microsoft-com:xslt"
      xmlns:xs="http://www.w3.org/2001/XMLSchema"
      xmlns:msdata="urn:schemas-microsoft-com:xml-msdata"
      xmlns:rd="http://schemas.microsoft.com/SQLServer/reporting/reportdesigner"  xmlns="http://schemas.microsoft.com/sqlserver/reporting/2005/01/reportdefinition"
      >
     <xsl:variable name="mvarName" select="/xs:schema/@Name"/>
     <xsl:variable name="mvarFontSize">8pt</xsl:variable>
     <xsl:variable name="mvarFontWeight">500</xsl:variable>
     <xsl:variable name="mvarFontWeightBold">700</xsl:variable>

     <xsl:template match="/">
      <xsl:apply-templates select="/xs:schema/xs:element/xs:complexType/xs:choice/xs:element/xs:complexType/xs:sequence">
      </xsl:apply-templates>
     </xsl:template>
     <xsl:template match="xs:sequence">
      <Report xmlns:rd="http://schemas.microsoft.com/SQLServer/reporting/reportdesigner" xmlns="http://schemas.microsoft.com/sqlserver/reporting/2005/01/reportdefinition">
       <BottomMargin>1in</BottomMargin>
       <RightMargin>1in</RightMargin>
       <LeftMargin>1in</LeftMargin>
       <TopMargin>1in</TopMargin>
       <InteractiveHeight>11in</InteractiveHeight>
       <InteractiveWidth>8.5in</InteractiveWidth>
       <Width>6.5in</Width>
       <Language>en-US</Language>
       <rd:DrawGrid>true</rd:DrawGrid>
       <rd:SnapToGrid>true</rd:SnapToGrid>
       <rd:ReportID>7358b654-3ca3-44a0-8677-efe0a55c7c45</rd:ReportID>
       <xsl:call-template name="BuildDataSource">
       </xsl:call-template>
       <xsl:call-template name="BuildDataSet">
       </xsl:call-template>
       <Body>
        <Height>0.50in</Height>
        <ReportItems>
         <Table Name="table1">
          <DataSetName><xsl:value-of select="$mvarName" /></DataSetName>
          <Top>0.5in</Top>
          <Height>0.50in</Height>
          <Header>
           <TableRows>
            <TableRow>
             <Height>0.25in</Height>
             <TableCells>
              <xsl:apply-templates select="xs:element" mode="HeaderTableCell">
              </xsl:apply-templates>
             </TableCells>
            </TableRow>
           </TableRows>
          </Header>
          <Details>
           <TableRows>
            <TableRow>
             <Height>0.25in</Height>
             <TableCells>
              <xsl:apply-templates select="xs:element" mode="DetailTableCell">
              </xsl:apply-templates>
             </TableCells>
            </TableRow>
           </TableRows>
          </Details>
          <TableColumns>
           <xsl:apply-templates select="xs:element" mode="TableColumn">
           </xsl:apply-templates>
          </TableColumns>
         </Table>
        </ReportItems>
       </Body>
      </Report>
     </xsl:template>
     <xsl:template name="BuildDataSource">
      <DataSources>
       <DataSource Name="DummyDataSource">
        <ConnectionProperties>
         <ConnectString/>
         <DataProvider>SQL</DataProvider>
        </ConnectionProperties>
        <rd:DataSourceID>84635ff8-d177-4a25-9aa5-5a921652c79c</rd:DataSourceID>
       </DataSource>
      </DataSources>
     </xsl:template>
     <xsl:template name="BuildDataSet">
      <DataSets>
       <DataSet Name="{$mvarName}">
        <Query>
         <rd:UseGenericDesigner>true</rd:UseGenericDesigner>
         <CommandText/>
         <DataSourceName>DummyDataSource</DataSourceName>
        </Query>
        <Fields>
         <xsl:apply-templates select="xs:element" mode="Field">
         </xsl:apply-templates>
        </Fields>
       </DataSet>
      </DataSets>
     </xsl:template>
     <xsl:template match="xs:element" mode="Field">
      <xsl:variable name="varFieldName"> 
       <xsl:value-of select="@name" />
      </xsl:variable>
      <xsl:variable name="varDataType">
       <xsl:choose>
        <xsl:when test="@type='xs:int'">System.Int32</xsl:when>
        <xsl:when test="@type='xs:string'">System.String</xsl:when>
        <xsl:when test="@type='xs:dateTime'">System.DateTime</xsl:when>
        <xsl:when test="@type='xs:boolean'">System.Boolean</xsl:when>
       </xsl:choose>
      </xsl:variable>
      <Field Name="{$varFieldName}">
       <rd:TypeName><xsl:value-of select="$varDataType"/></rd:TypeName>
       <DataField><xsl:value-of select="$varFieldName"/></DataField>
      </Field>
     </xsl:template>
     <xsl:template match="xs:element" mode="HeaderTableCell">
      <xsl:variable name="varFieldName"> 
       <xsl:value-of select="@name" />
      </xsl:variable>
      <TableCell>
       <ReportItems>
        <Textbox Name="textbox{position()}">
         <rd:DefaultName>textbox<xsl:value-of select="position()"/>
         </rd:DefaultName>
         <Value><xsl:value-of select="$varFieldName"/></Value>
         <CanGrow>true</CanGrow>
         <ZIndex>7</ZIndex>
         <Style>
          <TextAlign>Center</TextAlign>
          <PaddingLeft>2pt</PaddingLeft>
          <PaddingBottom>2pt</PaddingBottom>
          <PaddingRight>2pt</PaddingRight>
          <PaddingTop>2pt</PaddingTop>
          <FontSize><xsl:value-of select="$mvarFontSize"/></FontSize> 
          <FontWeight><xsl:value-of select="$mvarFontWeightBold"/></FontWeight> 
          <BackgroundColor>#000000</BackgroundColor> 
          <Color>#ffffff</Color>
          <BorderColor>
           <Default>#ffffff</Default>
          </BorderColor>
          <BorderStyle>
           <Default>Solid</Default>
          </BorderStyle>
         </Style>
        </Textbox>
       </ReportItems>
      </TableCell>
     </xsl:template>
     <xsl:template match="xs:element" mode="DetailTableCell">
      <xsl:variable name="varFieldName"> 
       <xsl:value-of select="@name" />
      </xsl:variable>
      <TableCell>
       <ReportItems>
        <Textbox Name="{$varFieldName}">
         <rd:DefaultName><xsl:value-of select="$varFieldName"/></rd:DefaultName>
         <Value>=Fields!<xsl:value-of select="$varFieldName"/>.Value</Value>
         <CanGrow>true</CanGrow>
         <ZIndex>7</ZIndex>
         <Style>
          <TextAlign>Left</TextAlign>
          <PaddingLeft>2pt</PaddingLeft>
          <PaddingBottom>2pt</PaddingBottom>
          <PaddingRight>2pt</PaddingRight>
          <PaddingTop>2pt</PaddingTop>
          <FontSize><xsl:value-of select="$mvarFontSize"/></FontSize> 
          <FontWeight><xsl:value-of select="$mvarFontWeight"/></FontWeight> 
          <BackgroundColor>#e0e0e0</BackgroundColor> 
          <Color>#000000</Color> 
          <BorderColor>
           <Default>#ffffff</Default> 
          </BorderColor>
          <BorderStyle>
            <Default>Solid</Default>
          </BorderStyle>
         </Style>
        </Textbox>
       </ReportItems>
      </TableCell>
     </xsl:template>
     <xsl:template match="xs:element" mode="TableColumn">
      <TableColumn>
       <Width>0.75in</Width>
      </TableColumn>
     </xsl:template>
     <xsl:template name="replace-string">
      <xsl:param name="text"/>
      <xsl:param name="from"/>
      <xsl:param name="to"/>
      <xsl:choose>
       <xsl:when test="contains($text, $from)">
        <xsl:variable name="before" select="substring-before($text, $from)"/>
        <xsl:variable name="after" select="substring-after($text, $from)"/>
        <xsl:variable name="prefix" select="concat($before, $to)"/>
        <xsl:value-of select="$before"/>
        <xsl:value-of select="$to"/>
        <xsl:call-template name="replace-string">
         <xsl:with-param name="text" select="$after"/>
         <xsl:with-param name="from" select="$from"/>
         <xsl:with-param name="to" select="$to"/>
        </xsl:call-template>
       </xsl:when>
       <xsl:otherwise>
        <xsl:value-of select="$text"/>
       </xsl:otherwise>
      </xsl:choose>
     </xsl:template>
    </xsl:stylesheet>

将数据存储在csv文件中怎么样,这将为您提供查看选项。如果您的用户有excel或Open Office Calc,他们可以很容易地导入数据(不确定Calc是否有列限制,但excel 2007可以容纳16384列)并通过该程序查看数据?

您需要在一个表上查看多行吗?

我的猜测是这个数据是数字的,有没有办法将单行数据显示为20*50网格或类似的东西,然后在各行中分页?

例如,第1行、第1列=数据库的第1列、第2行、第2列=数据库第21列等

Id = 1
     1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
----|--------------------------------------------------------
  0 |  
 20 |  
 40 |
 60 |
 80 |
100 |
120 |
etc |

尝试使用非常小的字体的html表

如果您关心格式化表格,请使用CSS:

td { font-size: 0.2em; text-align: right; }

或者,如果所有的数字都是相同的大小,你也可以只生成一个"数字墙"显示,例如使用固定宽度的字体,并在滚动面板

中显示5个字符宽的列

这在一定程度上取决于它需要有多漂亮。如果这只是一个调试/抽查工具,你可以把几个DataGrids放在一起,每个DataGrids都显示一组列。会有点难看,但可行。

OTOH,如果你需要一个半抛光的工具,你可能想想出一个自定义控件来处理它。基本上,你会加载数据库中正在查看的部分,并添加一点缓冲区,当用户滚动掉当前加载的数据时,运行一个新的查询。

DataGrid(甚至ListView)应该能够处理一个有32列32行的表,这将允许您一次显示整个DB行的数据。这将允许您立即查看某些单元格是否缺少数据。

即使建议这样做,我也觉得很恶心,但你可以做一些类似的事情:

SELECT Field1 + ' - ' + Field2 + ... AS EvilMegaColumn FROM Table

但实际上,我认为这属于"如果你遇到了这种限制,你就做错了什么"的范畴。我真的看不出有任何理由、速度或其他方面需要1000列。。。

谁将读取1000列表???试着想办法过滤或可视化数据。

也许您应该研究不同类型的数据库。我听说面向列的数据库适合做这类事情(而典型的RDBMS是面向行的)。此外,如果在第一次插入行后不想再更新行,那么二进制平面文件可能比大表更好?

我会把它做一个深入的研究。在第一页(或页面顶部)中,您将拥有用于选择行的控件。在下一页(或页面底部),您将显示所选行的数据。根据所需的单元格宽度,可以按100行10列或1000行1列的方式执行。

作为动态客户端javascript,这将非常容易做到——您甚至可以通过这种方式使其可编辑。我不确定这在C#中是如何工作的。

如果您刚刚完成验证,您是否可以通过程序检查每个字段并报告整行正常!。然后,您需要一个非常简单的数据网格,列出不太好的行。

然后可以通过任何可以应用于单行的技术来检查它们,因为在大多数情况下不需要浏览字段。我在这里假设您已经可以以某种方式查看整行,并且正在寻找一种同时浏览几行以查找丢失数据的方法(自动化这将使其更加可靠)。

从一个倾斜的角度来看,我想问用户是否需要一次"加载"所有列?

如果用户愿意同时显示列的子集(比如一次显示100个,或者一次显示特定集),那么我会使用某种数据网格(内置网格、ListView,或者可能是第三方网格)来显示子集,CheckedListView停靠在旁边,允许显示感兴趣的子集。

或者,您是否可以显示某种汇总数据,显示100列组的计数/平均值/xxx?

我建议研究平面布局之外的其他东西。根据我的经验,数据库对列计数和行字节大小有限制。

  • 您的SQL可能允许定义1000列
  • SQL行不能超过行字节限制

每个数据库实现都有一个页面大小(4k/8k),并且一行必须适合这个数据大小。NULL通常是免费赠品。这意味着1000 int 1000 x 4字节将刚好适合4k页面大小。

如果您使用varchars谈论数据,那么问题会更糟。每列中有多少个字符?可以填写多少列?如果您平均有10个字符,并且页面大小为8k,那么您会因为SQL错误而丢失数据。

如果你必须笑的话,但这种情况确实发生在一个扁平数据表中的一个特别长篇大论的打字员身上,我知道这个数据表正在突破极限。

以验证数据是否真的在那里。

也许它已经过时了,但你可以使用像素图,其中单个像素代表表格的单个单元格(屏幕大于1000),或者10个单元格代表一个像素,点击缩放区域。

像素的颜色将取决于数据。对于空/数据,它可以是黑/白。也可以用颜色来显示值随每一行的增加或减少。或者红色表示数据的突然跳跃。在数据网格中,你可以用眼睛正常捕捉到的所有异常。

然后,您只需要捕捉感兴趣区域中的点击坐标,并使用小表格来显示表格的该部分,而不需要任何滚动。

只需单击即可返回像素贴图。

考虑到用户无论如何都必须水平滚动,您可以使用显示合理列数(例如50)的常规数据网格。然后在网格下放置一个水平滚动条,选择要显示的列的子集。当滚动条在左边时,您会显示第1-50列,当您单击向右箭头时,您将转到第2-51列,等等。

这为您提供了滚动功能,而不必用数据重载网格控件。虽然您将失去在表中自由移动光标或进行大型矩形选择的能力,但这听起来并不是这个应用程序的问题。

有多少数据对初始视图至关重要?我可以看到在做一些类似于主/细节类型的网格的事情,将关键列(比如10)放在数据网格上,当用户点击查看细节时,你可以将剩余的列显示在"属性区域"或类似的地方。

如果你只需要确保数据被填充,那么为什么不让每一列都有一个默认值,比如"void"、"blank"等。

然后,您可以在计算非默认值/总数的同时进行迭代,以显示百分比。

现在,您可以用一个百分比值来可视化数据的完整性,甚至可以记录哪些列具有默认值(如列表/数组),以供进一步调查。

您可以考虑与您的用户群进行检查,看看他们真正需要看到什么,然后为每个不同的需求设置视图,以减少列计数。

另一种选择是读取数据,并从中创建一个巨大的静态html页面集。然后你可以从程序中调用浏览器来查看它。

有一个可滚动的窗格,一次显示10列(这些列可以主动加载或缓存,也可以根据你的需要)。向左滚动时,显示前十个。向右滚动时,显示后一列序列。总之,在任何给定的点上,只有10列是活动的。在我看来,试图实际显示1000列在任何其他方面都是疯狂的。附言:这不过是一个理想的猜测;我真的不确定这是否有可能。