文章/答案/技术大牛

发布

社区首页 >问答首页 >Python数据没有正确地写入DynamoDB

问Python数据没有正确地写入DynamoDB
EN

Stack Overflow用户

提问于 2018-02-27 15:54:55

回答 1查看 346关注 0票数 1

我有一个用Python解析字符串并在AWS中写入DynamoDB表的XML文件。标签是<IMAGE_ID>和<CVSS_FINAL>。当我循环并print()这些值时，它会返回所有这些值。然而，当我写到Dynamo时，只写了一行数据。因此，我不明白为什么print()会返回所有内容，但是只有一行被写入数据存储。

代码：

import boto3
import lxml
from lxml import etree

def WriteItemToTable():
    s3 = boto3.resource('s3')
    bucket = ‘xxxxxxxxxxxx’
    key = 'vuln_data.xml'
    dynamo = boto3.client('dynamodb')

    obj = s3.Object(‘xxxxxxxxxx’, 'vuln_data.xml')
    body = obj.get()['Body'].read()

    image_id = etree.fromstring(body).findall('HOST_LIST/HOST/EC2_INFO/IMAGE_ID')
    risk_score = etree.fromstring(body).findall('HOST_LIST/HOST/VULN_INFO_LIST/VULN_INFO/CVSS_FINAL')

    for el in image_id:
        i = el.text
        print(i)

    for el in risk_score:
        j = el.text
        print(j)

    response = dynamo.put_item(
    TableName='ExistingAMI',
        Item={
            'AMI_ID': {
                'S': i
             },
            'CVSS_SCORE': {
                'S': j
            },
         }
       )

WriteItemToTable()

XML:

<HOST_LIST>
    <HOST>
      <EC2_INFO>
        <PUBLIC_DNS_NAME><![CDATA[ec2-xxxxxxxxxxx.compute-1.amazonaws.com]]></PUBLIC_DNS_NAME>
        <IMAGE_ID><![CDATA[ami-xxxxxx]]></IMAGE_ID>
      </EC2_INFO>
      <OPERATING_SYSTEM><![CDATA[Linux x.y]]></OPERATING_SYSTEM>
      <VULN_INFO_LIST>
        <VULN_INFO>
          <QID id="qid_x”>x</QID>
          <TYPE>Vuln</TYPE>
          <CVSS_FINAL>3.5</CVSS_FINAL>
          <RESULT><![CDATA[TLSv1.0 is supported]]></RESULT>
        </VULN_INFO>
        <VULN_INFO>
      <QID id="qid_xxxx">xxxxx</QID>
      <CVSS_FINAL>2.1</CVSS_FINAL>
    </VULN_INFO>
    <VULN_INFO>
      <QID id="qid_xxxx">xxxx</QID>
      <CVSS_FINAL>4.3</CVSS_FINAL>
      <RESULT><![CDATA[TLSv1.0 is supported]]></RESULT>
    </VULN_INFO>
    </VULN_INFO_LIST>
    </HOST>
    <HOST>
      <EC2_INFO>
        <PUBLIC_DNS_NAME><![CDATA[ec2-xxxxxxxxx.compute-1.amazonaws.com]]></PUBLIC_DNS_NAME>
        <IMAGE_ID><![CDATA[ami-yyyyyy]]></IMAGE_ID>
      </EC2_INFO>
      <OPERATING_SYSTEM><![CDATA[Amazon Linux]]></OPERATING_SYSTEM>
      <VULN_INFO_LIST>
        <VULN_INFO>
          <QID id=“x”>x</QID>
          <CVSS_FINAL>3.6</CVSS_FINAL>
        </VULN_INFO>
    </VULN_INFO_LIST>
    </HOST>
</HOST_LIST>

print()输出：

ami-xxxxxx
ami-yyyyyy
3.5
3.6

Dynamo表：

发电机表

python

xml

amazon-dynamodb

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-02-27 22:41:16

虽然我对DynamoDB一无所知，但是您的dynamo.put_item代码应该只传递一个i和j值，因为您的dynamo.put_item代码块不是嵌套在两个for循环中，因此获得了它们的最后一个赋值。

只需在一个循环中一起运行image_id和risk_score搜索，这个循环可以嵌套在<HOST>级别。考虑一下xpath()，它可以在lxml中使用。当您导入import lxml方法etree时，不需要调用它。

doc = etree.fromstring(body)  # PARSE ONLY ONCE

hosts = doc.xpath('//HOST')

for h in hosts:
    i = h.xpath('EC2_INFO/IMAGE_ID')[0].text
    print(i)

    j = h.xpath('VULN_INFO_LIST/VULN_INFO/CVSS_FINAL')[0].text
    print(j)

    response = dynamo.put_item(
        TableName='ExistingAMI',
        Item={
            'AMI_ID': {
                 'S': i
             },
            'CVSS_SCORE': {
                'S': j
            },
         }
    )

WriteItemToTable()

# ami-xxxxxx
# 3.5
# ami-yyyyyy
# 3.6

对于多个CVSS_FINAL，使用XPath解析到<CSVSS_FINAL>，然后使用ancestor::*检索相应的IMAGE_ID

cvss = obj.xpath('//CVSS_FINAL')   # ALL CVSS_FINAL NODES

for c in cvss:        
    i = c.xpath('ancestor::HOST/EC2_INFO/IMAGE_ID')[0].text
    print(i)

    j = c.text
    print(j)

    k = c.xpath('concat(following-sibling::RESULT, "")')
    print(k)

    response = dynamo.put_item( ... )

# ami-xxxxxx
# 3.5
# TLSv1.0 is supported
# ami-xxxxxx
# 2.1
# 
# ami-xxxxxx
# 4.3
# TLSv1.0 is supported
# ami-yyyyyy
# 3.6
#

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/49012822

复制

相似问题

问Python数据没有正确地写入DynamoDB
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Python数据没有正确地写入DynamoDBEN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Python数据没有正确地写入DynamoDB
EN